[]
        
在线Demo 免费试用
(Showing Draft Content)

语言模型设置

1. 概述

1.1 功能概述

系统提供统一的语言模型服务管理功能,支持系统管理员灵活启停服务并配置OpenAI兼容模型的API密钥与地址。为提升性能和准确度,建议使用参数规模在 14B 及以上的模型。

  • 常用模型推荐: qwen-turbo, qwen-max, qwen2.5-14b-instruct, deepseek-chat, deepseek-r1-distill-qwen-14b。

2. 操作步骤

2.1 前提条件

  1. 授权要求: 产品授权需包含AI对话分析功能方可在系统设置列表显示系统AI设置项,否则请联系销售购买授权。

2.2 语言模型服务设置界面

  1. 系统管理员登录后,依次单击「系统管理>系统设置>AI设置」,进入AI设置界面,选择语言模型设置,启用语言模型服务开关,默认呈开启状态。但是其他配置项为空,需要系统管理员配置。

    image

2.3 配置语言模型服务

  1. 启用语言模型服务: 如果是关闭状态,必须先启用语言模型服务。

    image

  2. 添加模型:点击添加模型,在展开的模型配置窗口进行语言模型的配置。

    image

    • 输入模型名称: 请输入正确的模型名称,以确保语言模型服务正常运行,具体模型名称请参考模型的官方文档。本系统兼容符合 OpenAI 接口规范的大语言模型。为提升性能和准确度,建议使用参数规模在 14B 及以上的模型。主流模型推荐清单:

      通义千问系列:qwen-turbo, qwen-max, qwen2.5-14b-instruct,qwen-turbo-latest等

      DeepSeek系列:deepseek-chat, deepseek-r1-distill-qwen-14b等

    • 输入API Key: 请输入语言模型服务API的密钥,API密钥用于认证语言模型服务,请参考模型的官方文档。

    • 输入API地址: 请输入语言模型服务API接口地址,只需输入基础URL,无需额外填写/chat/completion,系统会自动处理完整路径,请参考模型的官方文档。以 Ollama 平台为例,正确设置:http://localhost:11434/v1。

    • 配置完成后,单击创建模型按钮,配置语言模型服务完成。用户可在文档门户的对话分析页面体验对话分析,也可以在仪表板设计器中体验对话分析。

  3. 选择模型: 用户可以添加多个语言模型,将以列表的形式展示在语言模型设置面板中,用户根据需要选择合适的语言模型即可。

    image

    注意:

    该选项为系统设置选项,此处的变更将影响到所有使用对话分析的组织及用户,请谨慎修改。

2.3 采用本地部署的模型

  1. 支持使用本地化部署的语言模型,建议采用Ollama部署的模型。Ollama 是一个用于在本地部署和运行大语言模型(LLMs)的工具,旨在降低使用 LLMs 的复杂性并提升隐私性和效率。它允许用户在本地机器上运行训练好的开源语言模型,而无需依赖外部 API 或云服务。

    配置项

    说明

    模型名称

    本地部署的模型名称。请输入正确的模型名称。如:qwen2.5:14b

    API Key

    ollama

    API地址

    http://localhost:11434/v1

    提示:

    如果使用的模型参数规模太小,对于对话分析来说,无法把请求读取完成,也就无法理解请求和要求,生成的结果无法达到预期。所以为提升性能和准确度,建议使用参数规模在 14B 及以上的模型。

    对于本地采用Ollama部署的模型,需要修改模型,具体步骤:

    1. 请在命令行中执行如下命令。

      ollama show --modelfile  deepseek-r1:14b > Modelfile

    2. 打开Modelfile这个文件,添加一个参数设定:PARAMETER num_ctx 32768。

      image

    3. 继续在命令行中执行如下命令。

      ollama create deepseek-r1:14b-32k -f Modelfile

    4. 配置项模型名称使用新的模型名称 deepseek-r1:14b-32k。

    5. 保存更改。