[]
        
立即下载
(Showing Draft Content)

AI模型管理

如果应用中配置了AI模型,将应用发布到服务端后,在管理控制台中可对应用的AI模型进行管理。

AI模型管理

在管理控制台中,单击应用管理,选择一个应用,并选择“AI模型”。

在AI模型页面中,您可以看到AI模型的名称、默认模型,并且可对其进行编辑。

image

编辑设置

单击“编辑”,在弹出的设置对话框中编辑AI模型的参数。

编辑完成后,单击“确定”,再单击AI模型页面的“保存设置”,将修改后的AI模型的信息进行保存以使用。

image


设置

说明

接口地址

填写AI模型平台提供的OpenAI SDK兼容接口地址。例如:http://open.bigmodel.cn/api/paas/v4

API Key

如果您使用的是第三方平台提供的AI模型,请填写API Key;如果您使用的是本地部署的AI模型,API Key可留空。

模型名称

即模型编码,例如:glm-4-flash,qwq-32b

最大输出Token数(max_tokens)

模型最大的输出Token数。

采样温度(temperature)

采样温度控制输出的随机性,必须为正数,取值范围是[0.0,1.0],值越大,会使输出更随机,更具创造性;值越小,输出会更加稳定或确定。建议您根据应用场景调整 top_p 或 temperature 参数,但不要同时调整两个参数。

核取样(top_p)

用温度取样的另一种方法,称为核取样,取值范围是[0.0,1.0],模型考虑具有 top_p 概率质量的令牌的结果。所以 0.1 意味着模型解码器只考虑从前 10% 的概率的候选集中取tokens;top_p为0时,该参数不起作用。建议您根据应用场景调整 top_p或 temperature 参数,但不要同时调整两个参数。

测试

测试AI配置是否成功。