向评测集添加多模态数据

扣子罗盘支持全链路的多模态评测，准备多模态的评测集数据后，可以基于评测集发起针对多模态 Agent 的评测实验。本文档介绍如何准备多模态的评测集。

什么是多模态数据

多模态数据，可以是图片、音频或视频，也可以是文字、图片、音频与视频的组合。
以下示例展示了混合了文字、图片、音频和视频的多模态数据。该数据的结构为 Array<Object>，其中每个 Object 的 key 指明了多模态类型，value 为对应的数据。
对于图片、音频和视频，其 value 均为 URL。在你向评测集添加数据时，扣子罗盘处理此 URL 的方式有两种：

• 上传源文件：扣子罗盘会将文件上传至云端，并自动将生成的 URL 填入 value。
• 使用外部链接：扣子罗盘会直接将你提供的链接填入 value。

[
  {
    "type": "text",
    "text": "What is in this image?"
  },
  {
    "type": "image_url",
    "image_url": {
      "url": "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
    }
  }，
  {
    "type": "audio_url",
    "audio_url": {
      "url": "https://example.com/audio"
    }
  }，
  {
    "type": "video_url",
    "video_url": {
      "url": "https://example.com/video"
    }
  }
]

步骤一：创建多模态类型的评测集

创建多模态评测集的操作步骤如下：

1. 登录扣子罗盘。
2. 在左侧导航栏顶部，选择一个空间。
3. 在左侧导航栏选择评测 > 评测集，然后单击 + 新建评测集。
   
4. 在新建评测集页面，为评测集设置名称和描述。
5. 配置评测集的列，确保评测集中存在多模态类型的字段。
   例如评测一个支持图片理解的 Agent，评测集的输入字段（input）设置为多模态，数据结构固定为 Arrary