> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coze.cn/llms.txt
> Use this file to discover all available pages before exploring further.

扣子编程已接入多款大模型，支持对各种大模型进行精细化的参数设置，例如生成多样性、输入及输出设置等。各个模型支持调整的参数不同。
## 选择模型 {#63c60cc0}
你可以在低代码智能体的编排页面为智能体选择一个合适的大模型，例如对于长文生成或优化相关的智能体选择一个支持长文本的大模型、对于具有复杂业务逻辑的智能体选择一个支持 Function call 的大模型。选择模型并完成智能体的技能、知识等设置后，你也可以切换成不同的模型，测评各个模型在同一个智能体中的效果，选择最合适的模型。
各个订阅套餐支持的模型资源，请参考[模型服务](/guides/model_service)。
![Image=400x277](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/f10e3b8159bd49239b93e1d69b124bbf~tplv-goo7wpa0wc-image.image)
## **切换 Responses API** {#f8084d58}
Responses API 是模型新推出的 API，不仅延续了 Chat API 的易用性，还原生支持高效的上下文管理和前缀缓存。适用于需要多步推理等复杂任务链处理的场景。
你可以在协议类型中选择 **Chat API** 或 **Responses API**，用于指定智能体与大模型交互时使用的协议。当选择 Responses API 后，扣子编程将切换至大模型的 Responses API 进行调用，其模型参数设置及对话交互均基于该协议。仅部分模型支持切换为 Responses API，具体支持的模型列表请参见[模型服务](/guides/model_service)。
### **核心优势** {#3ebe250d}

1. **原生上下文管理**：在多轮调用模式下，系统能够自动管理上下文，持续追踪和记忆之前的对话内容，使对话更加连贯自然，大大提升了智能交互体验。
2. **成本优化**：支持前缀缓存，通过缓存提示词，将角色设定、背景描述等高频不变的初始化信息进行缓存，后续调用模型时无需重复发送此信息给模型，即可自动命中初始化信息的缓存。从而加快响应速度并降低使用成本，尤其适用于具有重复提示或标准化开头文本的应用。
3. **状态保持**：默认开启存储功能，可自动记录输入与输出消息，在不同轮次间可靠地维持推理状态与工具上下文，为复杂任务链的执行提供保障。

### 特色配置项 {#c89cd8a8}
Responses API 模型支持设置**上下文管理**的相关参数。具体支持的模型列表请参见[模型服务](/guides/model_service)。
<!-- @cols-width: 150,662 -->
| | | \
|**配置项** |**说明** |
|---|---|
| | | \
|**缓存**  |你可以根据需要开启或关闭前缀缓存。开启前缀缓存可以加快模型的响应速度，同时能降低智能体的使用成本，具体用法请参考[前缀缓存](/guides/llm#8b3b9036)。 |
| | | \
|**存储** |开启后将自动存储输入、输出字段的消息，不存储思维链中的消息。默认开启该功能。 |\
| |若需使用前缀缓存功能，需开启存储功能。 |
| | | \
|**缓存/存储时长** |设置上下文缓存和存储的有效时长，最大为 259200 秒（3天）。 |\
| |访问缓存时，不会重新计算缓存的有效期，缓存的生命周期仍从初始设置时开始计时，到期后自动失效。 |

## 生成多样性 {#2abe1c06}
用于从多个维度调整不同模型在生成内容时的随机性。扣子编程提供以下预置的模式供你选择，每个模式的模型参数取值不同。

* 精确模式：模型的输出内容严格遵循指令要求，可能会反复讨论某个主题，或频繁出现相同词汇。
* 平衡模式：模型的输出内容更具随机性和准确性。
* 创意模式：模型的输出内容更具多样性和创新性，某些场景下可能会偏离主旨。

你也可以根据需求，单击**自定义**页签，自定义各参数的值。建议不要同时调整生成随机性和 Top P，以免在多参数的影响下难以判断每个参数的调整效果。
<!-- @cols-width: 137,586 -->
| | | \
|**配置项** |**说明** |
|---|---|
| | | \
|生成随机性 |\
| |\
| |\
| |即 temperature，用于控制结果的随机性。 |\
| | |\
| |* 调高此参数值，会使模型的输出更具多样性和创新性。 |\
| |* 降低此参数值，会使输出内容更加严格遵循指令要求。当该数值接近零时，模型将变得确定和重复。 |\
| | |\
| |在基于事实的问答场景，你可以使用较低的回复随机性数值，以获得更真实和简洁的答案，例如售后客服场景；在创造性的任务例如小说创作，你可以适当调高回复随机性数值。 |
| | | \
|Top P |累计概率。 |\
| |模型在生成输出时会从概率最高的词汇开始选择，直到这些词汇的总概率累计达到 Top P 值。这样可以限制模型只选择这些高概率的词汇，从而控制输出内容的多样性。 |
| | | \
|重复语句惩罚 |frequency penalty，用于控制模型输出重复语句的频率。 |\
| |当该值为正时，会阻止模型频繁使用相同的词汇和短语，从而增加输出内容的多样性。 |
| | | \
|重复主题惩罚 |presence penalty，用于控制模型输出相同主题的频率。 |\
| |当该值为正时，会阻止模型频繁讨论相同的主题，从而增加输出内容的多样性。 |

:::tip 说明
不同模型支持配置的参数不同，具体以界面显示为准。
:::
## 输入及输出设置 {#518fc6c1}
用于指定模型的输出格式等参数，通常包括以下设置。
<!-- @cols-width: 118,586 -->
| | | \
|**配置项** |**说明** |
|---|---|
| | | \
|携带上下文轮数 |设置代入模型上下文的对话历史轮数。轮数越多，多轮对话的相关性越高，但消耗的 Token 也越多。 |
| | | \
|最大回复长度 |智能体在生成提示和响应时，所输出的最大 token 数量，不同模型的 token 限制也不同。指定最大长度可以防止过长或不相关的响应并控制成本。 |
| | | \
|输出格式 |模型输出内容的格式，例如文本、Markdown。 |

## 前缀缓存 {#8b3b9036}
扣子编程的部分模型支持开启或关闭上下文缓存中的前缀缓存。
### 功能简介 {#c044f1bc}
开启前缀缓存后，扣子编程可将**重复出现、内容固定**的提示词片段预先存储在缓存中，后续调用时无需重复向大模型传递完整内容，仅需传递动态变化的变量部分。智能体会自动拼接缓存片段与动态变量，生成最终请求，从而加快模型的响应速度。当前扣子编程对命中缓存的 tokens 实行限时免费，可降低智能体的使用成本。默认为关闭前缀缓存。
### 典型使用场景 {#0cc6fe88}
前缀缓存适用于需要重复使用相同系统提示词的场景，例如：

* 角色扮演：智能体的身份设定、语气风格与行为边界等描述内容通常固定，可作为缓存提示词。
* 基于长文本的问答：针对固定的长文本发送多次请求的场景中，如产品使用手册、教材、法律文件等，可将文档背景介绍、主题基础规则等作为缓存提示词。
* 模板化内容生成：当智能体需按固定模板生成邮件、报告或商品描述等内容时，可将模板本身作为缓存提示词。

### 使用限制 {#873ce60b}
前缀缓存的使用限制如下：
<!-- @cols-width: 127,381,354 -->
| | | | \
|**限制分类** |**Context API** |**Responses API** |
|---|---|---|
| | || \
|套餐限制 |仅扣子付费套餐支持开启前缀缓存。 | |
| | || \
|模型限制 |仅部分模型支持前缀缓存，具体模型列表请参考[模型服务](/guides/model_service)。 | |
| | | | \
|注意事项 |开启前缀缓存后： |\
| | |\
| |* 模型不支持 Function Call，即工具调用。 |\
| |* 智能体不能使用插件、触发器、变量、数据库、文件盒子、不能添加工作流和对话流。 |\
| |* 不支持使用插件和工作流相关的快捷指令。 |\
| |* 智能体和应用不支持多人协作。 |\
| |* 提示词不能包含以下内容，否则无法命中缓存： |\
| |   * 获取当前时间 |\
| |   * 变量 |\
| |   * 插件 |\
| |* 不能提交到提示词库、不支持提示词对比调试、不支持自动优化提示词。 |开启前缀缓存后： |\
| | | |\
| | |* 支持 Function Call、MCP 等工具调用。 |\
| | |* 替换系统提示词后，当前轮对话无法写入缓存。 |\
| | |* 深度思考启用状态与前轮不一致时，当前轮对话无法写入缓存。 |\
| | |* 智能体和应用不支持多人协作。 |\
| | |* 前缀缓存提示词不能包含以下内容，否则无法命中缓存： |\
| | |   * 获取当前时间 |\
| | |   * 变量 |\
| | |* 不能提交到提示词库、不支持提示词对比调试、不支持自动优化提示词。 |

:::tip 说明
* 开启前缀缓存后，发布到豆包时，前缀缓存不生效。
* 若需要在火山引擎方舟模型上使用前缀缓存，需要在[火山方舟控制台](https://console.volcengine.com/ark/region:ark+cn-beijing/openManagement?LLM=%7B%7D&OpenTokenDrawer=false)开通前缀缓存功能。
   ![Image=600x185](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/5ae4c07cf81f4a6785e995bdbe8253d3~tplv-goo7wpa0wc-image.image)
:::
### 操作步骤 {#62556032}

1. 在智能体编排页面或工作流的大模型节点中，模型列表中选择支持前缀缓存的模型。
2. 在模型设置区域开启前缀缓存。
   
   ::::cols
   @col 33
   智能体编排页面（Context API）
   ![Image=400x428](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/a88eb0ddd20c420cb003e896c9839c41~tplv-goo7wpa0wc-image.image)
   
   
   @col 33
   智能体编排页面（Responses API）
   ![Image=400x525](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/8fab7e6f2db644149940240abb8470c2~tplv-goo7wpa0wc-image.image)
   
   
   @col 33
   工作流模型设置
   ![Image=350x505](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/779b311583d64d2290c1f17fdd77f2af~tplv-goo7wpa0wc-image.image)
   
   ::::

3. 开启前缀缓存后，你需要设置**缓存提示词**和**非缓存提示词**。
   * 缓存提示词：大量重复出现的固定规则、模板框架或背景信息，用于指引大模型输出格式与风格。扣子编程会将其缓存并复用，大模型无需重新解析这部分固定信息。
   * 非缓存提示词：动态变化的个性化信息。每次请求都可能不同，需要实时计算。
   以电商平台的产品描述生成助手为例，缓存提示词为固定不变的描述模板，以下是提示词示例：
   
   :::: tabs
   @tab 缓存提示词
   ```Markdown
   # 角色
   你是电商平台专业的产品描述生成助手，能按照特定模板，以亲切、专业且避免夸张修辞的语言风格，生成标准化产品描述。
   
   ## 模板要求
   1. 当用户需要生成产品描述时，请按照以下固定模板生成：
       - 产品定位：需明确产品所属品类（如数码配件、家居用品、美妆个护等）、核心价值（如提升效率、改善生活品质、高性价比等），语言简洁有力，不超过 50 字。
       - 核心功能：分点列出 3 - 5 个核心功能，每点以 “・功能名称：功能说明（解决用户什么问题）” 格式呈现，单条不超过 30 字。
       - 目标用户：描述 2 - 3 类核心用户群体，说明其典型特征（如年龄、职业、需求痛点），每类不超过 40 字。
       - 使用场景：列举 2 - 3 个高频使用场景，结合场景说明产品价值，每场景不超过 40 字。
       - 产品优势：对比同类产品，提炼 2 - 3 个独特优势（如材质、技术、设计等），每点不超过 30 字。
       - 购买引导：以 “立即选购，享受 [权益]，让 [产品价值] 融入你的生活！” 为固定句式，括号内容需结合产品特性补充。
   2. 请确保各部分逻辑连贯，符合电商平台用户阅读习惯。
   ```
   
   
   @tab 非缓存提示词
   ```Markdown
   目标客户群体为{{target_audience}} 
   语言风格为{{tone_style}} 
   ```
   
   
   ::::

4. 验证缓存效果。
   在智能体编排页面与智能体进行对话，在调试详情区域，查看 **cached_tokens** 字段，如果值大于 0，表示命中缓存。
   ![Image=500x514](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/63d40cdcf7074d1787ea655ba3cdd91e~tplv-goo7wpa0wc-image.image)

## 默认指令 {#79e75604}
开启后，扣子编程将在对话中自动拼接并执行指令，包括：

* **当前时间**：开启后，智能体在与用户对话时能实时获取并提供准确的时间信息。
* **SP防泄漏指令**：开启后，当用户尝试获取或复述系统内部的规则、提示词或其他敏感内容时，智能体将礼貌地拒绝用户的请求，确保机密信息不被泄露。

## 深度思考 {#6f1bb7a5}
部分支持深度思考的模型，开发者可以选择开启或关闭深度思考，从而灵活控制模型在交互过程中的 Token 消耗。默认为开启状态。当前仅部分模型支持深度思考，具体支持的模型列表请参见[模型服务](/guides/model_service)。

* **开启深度思考**：开启后，智能体在与用户对话时会先输出一段思维链内容，通过逐步拆解问题、梳理逻辑，提升最终输出答案的准确性。但该模式会因额外的推理步骤消耗更多 Token。
   :::tip 说明
   开启深度思考后：
   
   * 模型不支持 Function Call，即工具调用。
   * 智能体不能使用插件、触发器、变量、数据库、文件盒子、不能添加工作流和对话流。
   * 不支持使用插件和工作流相关的快捷指令。
   :::
* **关闭深度思考**：关闭后，智能体将直接生成最终答案，不再经过额外的思维链推理过程，可有效降低 Token 消耗，提升响应速度。
* **自动**：启用自动模式后，模型会根据对话内容的复杂度，自动判断是否启用深度思考：
   * 简单问题（如事实查询、基础指令等）：自动关闭深度思考，快速响应。
   * 复杂问题（如逻辑推理、创意生成等）：自动开启深度思考，保证答案质量。

## 常见问题 {#7bb0ffc3}
### 和模型对话时报错平台错误 {#4a9e6e0e}

* **场景**：和模型的智能体对话时，如果智能体回复“平台错误，请稍后再试或提交反馈”，且调试台中提示错误信息包含 empty result，表示模型没有回复，通常原因为本次对话较为复杂，触发了模型回复的 Token 限制。
* **解决方案**：对于处理逻辑复杂、对话消耗 Token 较多的模型，建议在模型设置中调大最大回复长度，也可以将智能体的模型更换为消耗 Token 较少、或处理 Token 的上限较大的模型。
   ![Image=429x454](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/78f44e13bc454f34b7b3cb14d32dcf82~tplv-goo7wpa0wc-image.image)

### 问答智能体能否设置输入输出字数限制？ {#ca6e07c2}
当前问答智能体暂不支持设置输入内容的 token 限制，但可通过大模型的**最大回复长度**参数控制模型输出的最大 token 量级以限制输出长度。
### 智能体的响应时间是否比直接调用大模型更长？ {#cf048c71}
扣子编程智能体的响应时间与调用的链路复杂度有关。如果智能体涉及到插件等工具的调用，可能比直接调用大模型耗时更久。
### 为什么前缀缓存一直没有命中？ {#7e679a55}
如果前缀缓存未命中，cached token 始终为 0，可能是以下原因：

* 缓存提示词包含动态变量，如获取当前时间、插件、变量。
* 智能体开启了与前缀缓存冲突的功能，具体请参见[使用限制](/guides/llm#873ce60b)。

### 如何知道开启前缀缓存后节省了多少成本？ {#c7f2198f}
扣子编程当前对缓存命中的 token 实行限时免费，你可以在智能体编排页面的调试详情区域，查看 **cached token** 和 **total token** 的数量，根据两者的比例计算节省的成本。

* `cached token`：本次请求中命中缓存的 token 数量。
* `total token`：本次请求的总 token 消耗。
   ![Image=500x514](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/63d40cdcf7074d1787ea655ba3cdd91e~tplv-goo7wpa0wc-image.image)
   :::tip 说明
   此处返回的 token 仅为估算值，具体以火山账单为准。
   :::