[]
基于不用的用户业务场景和行业特点,Wyn 提供多种建模方式,以下是专为您设计的数据建模方式选型指南,从时效性、数据量、复杂度、更新频率、性能需求等核心维度切入,结合典型业务场景给出清晰建议:
在开始选型之前,我们先对 Wyn 提供的所有建模方式以及适用的范围做一个整体的认识,概览如下:
内容 | 建模方式简介 | 功能教程 | 使用范围 |
---|---|---|---|
直连模型 | 直连一个单一数据源的数据库,实时查询数据库中多张表的数据并对返回的数据进一步加工、处理,同时可以导入和 管理表关系,形成可用于分析的业务模型。 | 仪表板 | |
抽取模型 | 可跨源抽取多个数据源的数据库,并导入和管理表关系,将需要分析的多个业务场景的数据导入一个模型中,同时添加安全 过滤器隔离不同角色、组织的数据。 | 仪表板 | |
直连数据集 | 对分散、异构数据源中的数据联合处理整合形成一张宽表,直连数据库查询返回数据,用于某个业务场景分析的轻量级模型。 | 报表/仪表板 | |
缓存数据集 | 与直连数据集类似,缓存数据集对加工好的数据在本地进行缓存,再用于制作仪表板和报表。 | 仪表板/报表 | |
流式数据集 | 服务端直接将数据通过接口主动推送到 Wyn 并保持数据状态的更新,将数据存储到临时缓存中一段时间, 适用于分析一段短时间内的数据实时曲线变化,速度更快,占用资源更少。 | 仪表板/ 报表 | |
推送数据集 | 无需搭建数据库,服务端可直接将数据推送过来将数据写到磁盘数据库中用于分析,同时可设置数据驻留时间,主要用 于对实时性要求比较高的分析场景,和长时间段的历史数据趋势,存储的数据可用于分析趋势、历史记录等。 | 仪表板/ 报表 | |
原生查询数据集 | 对于有原生查询语法的特定数据源,以及生产制造行业采集存储的时序数据,可通过原生查询的语法实时查询和将数据 展示在仪表板和报表上进行展示和分析。 | 仪表板/ 报表 | |
物联网数据 | 通过 MQTT、WebSocket、HTTP 等多种通信协议,将各类智能设备的数据接入到 Wyn ,并将实时数据 展示到在仪表板。 | 仪表板 |
接下来我们从具体维度了解如何选型。
接下来将从核心决策维度:实时性要求 | 数据量级 | 计算复杂度 | 更新频率 | 系统负载容忍度给出精心决策指南。
建模方式 | 适用场景关键词 | 时效性 | 推荐数据量 | 典型业务场景 | 使用注意事项 |
---|---|---|---|---|---|
直连模型 | 实时决策、高频刷新 | ★★★★★ (秒级) | 中小型 | 实时交易监控、库存动态看板 | 避免复杂关联计算;高频查询可能压垮源库 |
直连数据集 | 简单实时查询、单一视图 | ★★★★★ (秒级) | 中小型 | 当日销售快报、客服工单实时状态 | 同直连模型,需优化查询语句 |
抽取模型 | 海量历史分析、复杂计算 | ★★★☆☆ (T+1/小时) | 超大型 | 年度财务报告、用户行为路径分析 | 支持ETL加工,需定期维护抽取任务 |
缓存数据集 | 平衡实时与性能 | ★★★☆☆ (近实时) | 中大型 | 高管战略大屏(含多表关联+指标计算) | 支持ETL加工,内存消耗需监控 |
原生查询数据集 | 复杂源库语法、存储过程调用 | 依赖查询效率 | 中小型 | 自定义逻辑、高级分析 | 牺牲跨数据库兼容性,需SQL专家参与 |
推送数据集 | 外部系统预加工数据、API集成 | 按推送节奏 | 灵活 | 主动推送结果、外部集成 | 依赖外部数据质量,需开发推送接口 |
流式数据集 | 持续涌入的时序数据、实时展示 | ★★★★★ (亚秒级) | 流式数据 | IoT设备监控、网络攻击实时检测 | 需定义时间窗口,存储成本较高 |
物联网数据 | 设备传感器时序数据、状态监控 | ★★★★★ (毫秒级) | 海量时序点 | 智能设备监控、IoT 展示 | 需启用时序压缩,专有函数处理时间序列 |
其他限制提前声明如下:
当您需要跨源建模时,只能使用抽取模型,直连模型仅支持单个数据源建模;
直连模型直连数据库,数据结构更加灵活,数据实时更新,常用于已有数据仓库和实时性要求较高的数据分析;
直连数据集和直连模型中仅包含对相关运算过程的定义,实际的数据在查看文档时获取,因此直连数据集/直连模型的数据是实时刷新的;
原生查询数据集在仪表板中不能进行进一步的数据加工和处理,仅能展示;
由于各数据源的技术特性不同,它们在数据集和数据模型的支持上也存在差异,请根据您接入的数据源合理选择支持的建模方式,可参考数据源支持的具体建模方式的矩阵。