[]
        
立即下载
(Showing Draft Content)

模型配置最佳实践

LLM模型配置界面

image

1. 名称配置

名称是什么?

名称是用于区分在设计器中不同地方使用的LLM实例的标识符。你可以为同一平台的不同模型分配不同的名称,便于管理和调用。

建议格式:

平台-模型-用途(例如:zhipu-glm4-chat

image

2. 接口地址

填写规则:

  • 必须为兼容OpenAI API标准的HTTP/HTTPS地址

  • 云服务商地址通常以/v1结尾(智谱AI例外)

  • 本地部署需包含端口号

示例:

3. 模型名称

填写方法:

  • 从对应平台的官方文档复制完整模型ID

  • 注意大小写敏感

常见示例:

平台

推荐模型

最低可用模型

阿里云

qwen-max/qwen-plus

qwen-turbo

智谱AI

glm-4

glm-4-flash

Ollama

deepseek-r1:70b

deepseek-r1:7b

4. 模型推荐

选型原则:

  • 7B以下:仅适合简单文本处理

  • 7B-32B:通用对话场景(推荐起点)

  • 70B+:复杂逻辑/专业领域

5. 采样温度(Temperature)

配置建议:

取值

适用场景

风险提示

0-0.3

事实问答/数据提取

可能过于刻板

0.4-0.7

常规对话/内容创作

平衡点

0.8-1

创意生成/头脑风暴

可能偏离主题

特殊设置:

  • 法律/医疗场景建议≤0.3

  • 广告文案建议0.6-0.8

6. 常见错误排查

典型错误:

  • 401:API_KEY未设置或失效

  • 429:平台额度耗尽或QPS超限

  • 503:模型未成功加载(Ollama常见)

  • 422:输入参数错误,可能不支持function_call或者系统提示词不能为空

高级配置建议

如需进一步调试,建议通过Postman等接口测试工具验证接口可用性后再接入平台。


关于流式输出

  • AI对话单元格默认采用流式输出模式,即文本会像打字机一样逐步显示。

  • 启用函数调用功能后,输出模式将退化为非流式输出。

  • AI对话命令则默认以非流式输出模式运行。

  • 阿里云百炼平台的QWQ模型目前仅支持通过流式输出模式进行调用。

关于 function calling 功能1

  • 使用函数调用功能时,需注意可能存在意图匹配错误的风险,同时传统对话的生成质量也可能因此显著下降。

  • 请根据具体场景权衡利弊,谨慎选择是否采用函数调用,以确保整体交互效果的最佳平衡。

  • 不建议通过函数调用直接生成复杂的 JSON 对象,尤其是当函数的参数需要传入复杂结构的 JSON 时。在这种情况下,推荐使用一个独立的 AI 对话命令来接管任务,由该指令负责意图识别和复杂 JSON 对象的生成。

关于 function calling 功能2

  • 推荐输入输出参数都是小驼峰的英文参数名,函数名也尽量为小驼峰的英文。

  • 智谱ai会把大驼峰的参数转成小驼峰返回导致function call 调用失败。

  • 智谱ai至少得有一个参数,即不允许有无参函数。

  • Deepseek-chat 则不支持中文函数名和参数名。

deepseek-chat 参数格式错误的报错如下:

image