[{"id":"bcb0874d-299b-448e-9552-9e9b25ef80dd","tags":[{"product":null,"links":null,"id":"ba7e818e-4f6b-4211-b1ac-58e3bafcf439","name":"\u66F4\u65B0","color":"orange","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"ae60ae59-34f5-4f32-a8eb-243ed1457543","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"3d4848c3-910f-4ffa-9153-60bb507334a9","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"133f4ca6-d951-4d65-a618-3dc6301266f7","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"2426c71d-8332-4cbd-a436-1ec4f8666464","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"2ce7b6b0-78aa-4e4b-bf8a-e4ba2f988298","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"4706db46-0811-4652-8f59-1e0a1da84758","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"8f1271bb-2cd9-4f39-9897-c15b239ee7ab","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"677e13a7-6f3e-449f-986c-2c3a26f8d54f","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"5e40f6dc-caec-49d7-a1d0-be65f06815ba","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"2457f0e0-9e71-4860-a87d-065e0fb84f84","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"d5c67fd0-1145-482c-9113-97b492c44c18","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"a609a8fa-ab91-4c1d-a1c3-d209d0463303","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]},{"id":"b4a9eb15-94e5-48df-b218-a24138f0cf9c","tags":[{"product":null,"links":null,"id":"adf72f47-7f61-4239-8392-b9bcc127fa80","name":"\u65B0\u589E","color":"green","productId":"0995490e-43fc-4d6e-bc8d-8e66f38b0c63"}]}]
        
(Showing Draft Content)

创建抽取模型并抽取数据

功能概述

抽取模型是专为仪表板准备数据的一种缓存模式模型,把目标数据库的数据在建模时抽取并缓存下来,查询时取用缓存数据并返回结果。

相对于直连模型来说,抽取模型可以构建跨数据源的数据模型,以更加完整的业务建模取代简单的物理模型。

并且抽取模式可以根据不同的需求指定不同刷新频率,适合数据量非常大的场景。

本节内容为您介绍创建抽取模型的方法。

创建抽取模型

1. 在文档门户网站中单击加号,选择为仪表板准备数据。

image2022-5-23_10-24-46.png

选择创建抽取模型。

image


2. 为模型命名。该名称在模型设计器中不能再更改。

image2021-11-16_13-54-41.png


3. 进入模型设计器。

在模型设计器中我们的操作大体可以分为两部分:

  • 抽取数据 ,将数据加载到设计器中也即导入缓存数据库。也即下一步的抽取数据。

  • 数据建模,使用已缓存数据进行建模。详见数据建模

此外,还有一个相对独立的功能,即 重新抽取数据 (更新已缓存的数据表)。 详见更新模型数据

image


4. 单击获取数据 ,可为模型加载数据。支持通过数据源或数据集两种方式进行加载。

image

type=info

提示

多次获取数据时,将在原数据中新增表。即使选择相同的表再次获取,也会自动将表重命名然后再添加一次。

如您需要更新已加载的数据,请见手动更新(全量/增量)

通过数据源获取数据

在设计器中点击获取数据>来自数据源

image

选择已经创建的数据源,然后单击下一步

image2021-11-16_16-4-36.png

type=info

提示

抽取模型不支持使用 ODBC、ElasticSearchDSL、InfluxDB以及带参数的网络型JSON/Excel 数据源。

勾选需要的表或视图,还可以为表起别名。

如数据源中的列表较多,您可以通过页面上方的搜索框来快速查找所需的表或视图。

单击搜索框右侧的视图可限定当前显示的表或视图类型。

image2021-11-16_16-7-4.png

另外,可以选择image2021-11-16_16-36-50.png添加自定义的表(模型数据来自复用数据集时,不支持使用SQL语句添加表)。

填入自定义表名和 SQL 语句,然后单击验证,验证成功后即可单击右下角的添加表保存并继续添加

image

使用 SQL 语句创建的表会被自动勾选,其别名就是表名,修改别名时会自动更新表名。


关系和相关表的设置:

选择表和视图后,还可以进一步设置是否将表之间的关系或将相关联的表一并输出。

设置项

设计器中示意图(圆圈表示表,箭头代表表之间的关系)

说明

image2021-4-8_14-30-22.png

image2021-4-8_14-39-34.png

两个选项都勾选表示将表之间关系和与当前勾选的表相关联的表都一并添加。

图中红色线表示的是所选表的相关表。

image2021-4-8_14-40-49.png

image2021-4-8_14-41-2.png

仅输出勾选的表,不包含其他的相关表。

但输出了表之间的关系。

image2021-4-8_14-41-38.png

image2021-4-8_14-41-46.png

仅输出了勾选的表,没有其他的相关表。

并且表之间没有关系,是独立的表。

选择上一步选择的表中的数据列,可以为列起别名。当您使用的数据源在创建过程中进行了字段名称映射,那么别名也会显示到这里。

image2021-11-16_16-57-8.png

也可以使用SQl表达式添加新的列image2021-11-16_17-8-25.png

选择所在表(不支持 sql 语句添加的表),填入新的列名和 SQL 语句,然后单击验证按钮,验证成功后即可单击右下角的添加列保存并继续添加

image2021-11-16_17-6-57.png

type=info

提示

类型不是必填项,若不选择将会自动判断 SQL 表达式的值的类型;若选择,将会自动判断能否转换为目标类型。

使用 SQL 表达式添加的列会被自动勾选,其别名就是列名,修改别名时会自动更新列名。

image2021-11-16_17-11-5.png

接下来单击下一步就可以加载数据了。

若数据量大,加载数据的时间会比较长。加载数据有四个阶段,分别为读取数据,寻找缓存地址,迁移数据,加载数据到缓存,通过进度条呈现。

若有部分表载入数据失败,页面会出现重新加载按钮,点击即可重新加载失败数据。

点击完成会自动保存模型数据。

image2021-11-16_17-21-41.png


通过数据集获取数据

在设计器中点击获取数据>来自数据集

image

选择一个已经创建好的直连数据集或缓存数据集,然后单击下一步

image

type=warning

复用数据集时注意事项:

1. 要求复用的数据集中除常量参数外,未使用其他类型的参数。

2. 要求复用的数据集所引用的数据源中未使用用户信息上下文和组织信息上下文。

选择列,并根据需要为列起别名,有别名时在模型中优先显示别名。当数据列较多时,可使用上方的搜索框快速定位。然后点击下一步

image

抽取成功,点击完成

image

进入设计器,即可进行数据建模。

image