> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coze.cn/llms.txt
> Use this file to discover all available pages before exploring further.

本教程以一个扣子中搭建的翻译智能体为例，指导你使用扣子罗盘的评测功能来评估智能体的翻译的正确性。
# 教程概览 {#a9eab034}
在本教程中，你将学习使用扣子罗盘的评测功能来评估翻译智能体的表现。该智能体的任务是将用户提供的中文技术内容翻译成英文。
我们的主要目标是确保翻译的准确性，无事实性错误。要完成这个评测，需要按照以下步骤操作：

1. **构建评测集**：首先，准备用于评测的测试数据。下表是我们将使用的测试数据。
   <!-- @cols-width: 356,491,181 -->
   | | | | \
   |中文 |参考翻译 |检测目标 |
   |---|---|---|
   | | | | \
   |使用docker pull命令从镜像仓库下载最新版本的应用容器。 |Use the docker pull command to download the latest version of the application container from the image registry. |术语一致性 + 简洁性 |
   | | | | \
   |当HTTP响应状态码为503时，表示服务暂时不可用。 |An HTTP 503 status code indicates that the service is temporarily unavailable. |被动语态 + 句式简化 |
   | | | | \
   |此配置项用于控制缓存过期时间，默认值为300秒。设置过小可能导致频繁缓存穿透，过大则可能引发内存溢出。 |This configuration item controls the cache expiration time. The default value is 300 seconds. A value too low may cause cache penetration, while a value too high may lead to memory overflow. |正确性 + 术语准确性 |
   | | | | \
   |警告：修改此参数可能导致系统不稳定，建议先在测试环境验证。 |Warning: Modifying this parameter may cause system instability. Verify changes in a test environment first. |正确性 + 简洁性优化 |
   | | | | \
   |该方案通过“削峰填谷”策略优化资源利用率。 |The solution optimizes resource utilization through a "peak shaving and valley filling" strategy. |正确性 |
   | | | | \
   |使用Redis的SETNX命令实现分布式锁时，需注意处理锁过期和羊群效应问题。 |When using Redis's SETNX command to implement a distributed lock, it is important to address issues related to lock expiration and the thundering herd problem. |术语一致性 + 简洁性 |

2. **创建评估器**：接下来，创建一个包含准确性检测规则的评估器，用于评估翻译智能体的输出结果。
3. **发起评测实验**：将评测数据输入智能体，并使用评估器对智能体的输出结果进行打分。
4. **分析实验结果**：最后，根据实验结果判断智能体的翻译准确性，并进行必要的调整和优化。

# 步骤一：创建评测集 {#004d2c72}
评测集是用于系统化评测 AI Agent 性能的**标准化测试数据集。​**评测集通常包含输入样本与参考输出，作为衡量 AI Agent 表现的基准。评测集是创建评测任务的第一步。
参考以下步骤，创建评测集。

1. 访问[扣子罗盘](https://loop.coze.cn)，然后单击右上角的**立即体验**。
2. 使用扣子账号登录。
   如果你尚未注册扣子账号，参考[账号注册](https://www.coze.cn/open/docs/guides/sign_up)注册一个扣子账号并完成登录。
3. 在左侧导航栏顶部，选择一个空间。
4. 在左侧导航栏，选择**评测 > 评测集**，然后单击 **+ 新建评测集**。
   ![Image=585x217](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/286983f23f644939ac27242a92855610~tplv-goo7wpa0wc-image.image)
5. 在**新建评测**集页面，参考以下信息配置评测集的输入数据列和输出列信息，然后单击**创建**。
   <!-- @cols-width: 175,488 -->
   | | | \
   |**配置项** |**说明** |
   |---|---|
   | | | \
   |**名称** |输入一个评测集名称。 |
   | | | \
   |**描述（可选）** |提供一个评测集描述。 |
   | | | \
   |**配置列-input** |指定输入样本列配置： |\
   | | |\
   | |   * **名称**：输入列名称。必须以英文字母开头，支持添加字母、数字和下划线。 |\
   | |   * **数据类型**：选择一种数据类型。通过校验数据类型，避免导入数据不匹配的情况，保证评测的数据质量。 |\
   | |   * **查看格式**：选择一种渲染评测数据的格式，提高数据的可读性和维护性。 |\
   | |   * **描述信息**：提供描述信息，便于帮助开发者后续理解与维护数据。 |
   | | | \
   |**配置列-reference_output（可选）** |指定数据集中期望输出列配置： |\
   | | |\
   | |   * **名称**：输入列名称。必须以英文字母开头，支持添加字母、数字和下划线。 |\
   | |   * **数据类型**：选择一种数据类型。通过校验数据类型，避免导入数据不匹配的情况，保证评测的数据质量；同时可以提高数据的消费和存储成本。 |\
   | |   * **查看格式**：选择一种渲染评测数据的格式，提高数据的可读性和维护性。 |\
   | |   * **描述**：提供预期输出的补充信息，可作为评估时的参考标准。 |\
   | | |\
   | |:::tip 说明 |\
   | |预期输出主要作为参考答案提供给评估器评分使用。开发者可根据选择的评估器是否需要该输入，按需选择是否提供该字段。 |\
   | |::: |
   | | | \
   |**其他列** |单击 **+添加列**补充其他信息，供评测对象与评估器执行评估时消费使用。 |\
   | |评测对象通常需要多个输入字段。例如，当前请求的查询、历史聊天的上下文等。此外，像`name`这样的字段可能需要维护额外的列，以确保完整的信息记录和分析。 |

   本教程中的评测集的列配置如下图所示。
   ![Image=562x425](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/ff104d578bc94e018fd1de490e2fe95b~tplv-goo7wpa0wc-image.image)
6. 在评测集详情页面，选择**添加数据 > 手动添加**来添加测试数据。
   ![Image=602x247](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/85f0236477354e93b6b71b1c2173ba06~tplv-goo7wpa0wc-image.image)
   扣子罗盘评测集支持手动添加和本地导入两种方式来添加数据。本教程中选择**手动添加**方式。更多关于评测集的操作说明，参考[管理评测集](/cozeloop/create-dataset)。
   :::tip 说明
   * 最多可添加 5000 条测试数据。
   * 本地上传的 CSV 文件仅支持 UTF-8 编码格式。
   :::
7. 在**添加数据**页面，输入第一组测试数据，然后单击 **+ 添加数据项**添加更多测试数据。最后，单击**添加**完成数据添加。
   ![Image=529x434](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/40ef987c4d0d4b3e8f675a967894843c~tplv-goo7wpa0wc-image.image)
8. 添加数据后，单击**提交新版本**提交评测集。
   :::tip 说明
   在创建评测实验时，只能使用已提交的评测集，不支持使用草稿状态的评测集。
   :::
   ![Image=603x275](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/615dd1cfe69c44e0a26ca8b304a78ffc~tplv-goo7wpa0wc-image.image)

# 步骤二：创建评估器 {#99f6fdde}
提交评测集后，接下来要创建一个评估器，设置评估规则。
参考以下步骤，创建评估器。

1. 在左侧导航栏，选择**评测 > 评估器**，然后单击 **+ 新建评估器**。
   ![Image=669x247](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/aa2ab76ab5034b5ea92ce671a53b23a5~tplv-goo7wpa0wc-image.image)
2. 在**新建评估器**页面，参考以下信息配置评估器。
   <!-- @cols-width: 149,551 -->
   | | | \
   |**配置** |**说明** |
   |---|---|
   | | | \
   |**名称** |输入评估器名称。 |
   | | | \
   |**描述**  |提供一个评估器的说明信息。 |
   | | | \
   |**模型选择** |使用豆包模型。 |\
   | |目前，评估器仅支持豆包模型。 |
   | | | \
   |**Prompt** |输入评估器的提示词，指示评估器如何进行评估，可以使用内置的评估 Prompt 模板或二次修改模板后使用。 |\
   | |单击**选择模板**链接，选择**正确性**模板，最后单击**确认**。 |\
   | | |\
   | |   ![Image=432x238](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/aa3dc903b09b4917bf23010a66dec330~tplv-goo7wpa0wc-image.image) |
   | | | \
   |**+ 添加 User Prompt** |（可选）单击 + **添加 User Prompt**  输入你希望强调的评估规则。 |\
   | |本教程中，在正确性的评估中更关注无错误翻译和漏译这个规则。所以可以输入以下内容： |\
   | |`确保没有错误翻译和漏译。` |

3. 在完成评估器配置后，单击**调试**，测试一下评估器效果。
   :::tip 说明
   在调试评估器时，会产生 Token 消耗。
   :::
   在弹出的**预览与调试**页面，输入一组测试数据，然后单击**运行**查看评估效果是否符合预期。
   以下图中的评估器为例，它对构造的`output`内容评估完全准确。
   ![Image=658x290](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/cf7da8cda9064204a688456621af4ffe~tplv-goo7wpa0wc-image.image)
4. 在调试后，单击**创建**完成评估器创建并提交评估器版本。
   :::tip 说明
   在创建评测实验时，只能使用已提交的评估器。
   :::

# 步骤三：发起实验 {#63f30a5e}
在准备好评测集和评估器后，就可以发起实验来测试翻译助手智能体的翻译准确性了。
参考以下步骤，发起实验。

1. 在左侧导航栏，选择**评测 > 实验**，然后单击 **+ 新建实验**。
2. 输入一个实验名称，然后单击**下一步: 评测集**。
3. 选择已创建的评测集，并选择要使用的评测集版本，然后单击**下一步：评测对象**。
   ![Image=591x334](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/08f9038a82134528baa950cd95140f15~tplv-goo7wpa0wc-image.image)
4. 评测对象选择 **Coze 智能体**，然后选择要评测的智能体和版本，再通过字段映射的方式选择评测集中的哪列数据作为智能体的输入传递给智能体，最后单击**下一步：评估器**。
   ![Image=643x455](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/ab54b6c688654d65a80dbbdcd8cab46e~tplv-goo7wpa0wc-image.image)
5. 选择已创建的评估器和版本，然后将评测集的字段、评测对象的实际输出与评估器的参数关联，确保评估器准确获取数据并执行评估，最后单击**确认实验配置**。
   ![Image=623x407](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/8b23f3695768435d85d6d6c9676c2410~tplv-goo7wpa0wc-image.image)
6. 检查实验配置，确认无误后，单击**发起实验**。
   发起实验后，你可以刷新实验页面，查看评估进度。
   ![Image=2374x1265](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/3255c3dfe9414c1c88aa1a471d792e98~tplv-goo7wpa0wc-image.image)

# 步骤四：分析实验结果 {#ad8ed9ee}
在评估器执行完所有评估任务后，你可以在实验页面查看实验报告。通过实验报告来判断评估对象是否符合预期。
## 查看评测结果 {#6d5f00fa}
在**实验详情**页面，你可以查看评估器对每个测试数据的执行结果的评分，以及评分的具体原因。
如果某个测试数据的评估器自动打分不准确，你可以将鼠标悬浮至评分上，然后点击出现的**人工校准**图标。在弹出的页面中输入修正的分数和原因。
![Image=2410x1263](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/6f37bd3ca12a43b7bfd5ce76ef7cb2c0~tplv-goo7wpa0wc-image.image)
## 查看实验报告 {#5fb9a89b}
在**实验详情**页面，单击**指标统计**查看实验数据报告。
![Image=2374x1051](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/40955c4815cd441ab86d529362cc4f6c~tplv-goo7wpa0wc-image.image)
至此，我们已经完成了翻译智能体的正确性评估。从实验报告上来看，翻译准确性还是比较高的，没有出现事实性错误。