[]
        
在线Demo 免费试用
(Showing Draft Content)

缓存数据集中使用ETL加工数据

1. 概述

1.1 功能概述

在缓存数据集中,通过ETL处理数据并输出为数据表,该数据表可与其他数据表无缝集成,支持后续的运算与分析操作。

2. 操作步骤

2.1 前提条件

  1. 数据源: 确保系统已成功创建可用的数据源/数据集。

  2. 界面状态: 已进入缓存数据集的数据准备界面。

2.2 操作步骤

步骤一:进入ETL查询界面

  1. 用户登录 Wyn ,进入文档门户,单击创建文档image,选择仪表板/报表的准备数据,单击缓存数据集,进入缓存数据集的数据准备界面。

    PixPin_2025-04-03_18-14-12

  2. 在缓存数据集的数据准备界面中,单击“ETL查询”,打开ETL查询设计器。

    PixPin_2025-04-03_18-14-40

步骤二:指定输入

  1. ETL查询设计器界面,选择左侧节点面板的输入节点拖动到画布区域。

    PixPin_2025-04-03_18-18-46

  2. 单击画布区域的输入节点,在画布区域下方展开节点配置及预览区域,单击选择数据表,进入数据源选择界面,选择已经创建好的数据源,作为数据流处理的起点。

    选择数据表对话框中,选择了数据源,用户可通过两种方式进行配置:

  • 表: 用户可直接从所选数据源中挑选特定的表,将其作为输入数据。这种方式操作便捷,适用于对数据源结构熟悉且无需复杂数据筛选的场景,能快速获取完整的表数据。

  • 自定义SQL: 用户可自行输入 SQL 查询语句,系统会执行该语句并将查询结果作为输入数据。此方式灵活性高,用户能够依据自身需求,运用 SQL 强大的查询和筛选功能,精准提取所需数据,实现复杂的数据处理逻辑。

    更多详细信息,请参考 ETL查询-输入

    image

步骤三:添加数据处理命令

  1. 指定输入节点后,可以通过添加一系列的数据处理节点对数据进行更进一步的加工,更详细的数据处理节点说明,请参考:ETL查询

    针对不同的处理需求,我们提供了三大组节点(列操作/行操作/合并数据) 供用户选择,用户将所需的节点拖到画布区域,通过连线与上一节点进行连接并完成其他配置(下面gif为便于演示,先筛选部分关键列展示,然后通过添加列命令计算金额字段):

    ETL查询

步骤四:查看节点预览数据

  1. 正确完成节点配置后,单击任意节点,在画布区域下方展开该节点配置及预览区域,单击数据,切换到数据页签,即可预览数据。

    PixPin_2025-04-03_18-33-32

步骤五:指定输出

  1. 数据处理流程中,每一条数据流都必然以 “输出” 节点作为收尾环节。“输出” 节点,其核心作用在于明确规定用于输出 ETL 流程所产生结果数据的表格结构。支持修改输出节点名称,该名称将作为最终输出的表名。

    image

步骤六:运行并保存

  1. 正确配置了ETL查询,可以先单击运行按钮,查看是否能成功运行。

    PixPin_2025-04-17_18-02-15

  2. 运行成功后,先单击保存按钮保存ETL查询,然后关闭ETL查询设计器。

    PixPin_2025-04-17_18-02-52

  3. 关闭后ETL设计器后将返回到缓存数据集设计器,输出的ETL查询结果数据表可直接参与后续的数据集设计。

    PixPin_2025-04-17_18-05-58

3. 注意事项

  1. 单ETL限制: 每个缓存数据集仅支持1个ETL查询。

  2. 输入要求: 至少1个输入节点,支持多数据源整合,多个输入需按需整合处理数据。

  3. 输出要求: 必须包含1个输出命令(唯一)。

  4. 数据预览: 默认显示1000行,可调整但可能影响性能。调整可参考ETL查询的预览行数设置。

  5. 与抽取模型区别: ETL查询仅允许单输出,而抽取模型支持多输出。