对话内容安全策略

对话内容安全策略可帮助企业自动识别并过滤用户与智能体对话过程中的涉黄、涉敏、诈骗等各类风险，高效处理违规内容，确保内容合规，从而保障业务生态的健康与安全。本文介绍对话内容安全策略的配置方法。

功能简介

扣子编程支持以下两种内容安全策略：

• 扣子安全策略：扣子编程默认的内容安全机制。
• 火山引擎安全策略：基于火山引擎内容风险识别产品，提供更高阶的内容风控能力。其通过前沿的 NLP 算法模型，结合海量敏感词库和企业自定义的风控规则，能自动识别文本、图片等对话内容中的潜在合规风险，当用户输入包含敏感词或违规内容的信息时，智能体直接拒绝回复对话内容，从源头降低企业因违规对话引发的业务风险，同时减少人工监控的运营成本。

火山引擎安全策略的主要功能包括：

• 多维度风险识别：支持从涉黄、涉敏、违禁、谩骂、联系方式、广告、诈骗等多个维度，对用户输入的对话内容进行精准识别和拦截，确保对话内容符合合规要求。
• 自定义词库：支持企业根据自身业务特点，维护自定义的敏感词库，提升风险识别的准确性。

对话拦截效果类似如下图所示。

费用说明

使用火山引擎安全策略会涉及如下两块费用，这些费用将自动从你的火山引擎余额中扣款，不支持用积分抵扣。

• 内容风险识别产品的相关费用，包括文本风险识别和图片风险识别，具体收费标准请参见购买内容风险识别套餐时，页面的费用说明。
• TOS 对象存储的存储容量费用，具体收费标准可参考对象存储计费概述。

使用限制

• 对话内容安全策略仅支持拦截 API 渠道的对话内容，其他渠道暂不支持。
• 扣子编程、火山引擎内容风险识别和 TOS 对象存储需要在同一个火山引擎主账号下。

步骤一：火山侧配置内容安全策略

1. 登录内容风险识别控制台。

2. 在左侧导航栏选择应用管理，单击新建应用，配置应用信息。

3. 配置文本风险识别场景。

   1. 在左侧导航栏选择文本风险识别 > 场景配置，在页面左上角的应用下拉列表中选择上一步创建的应用，单击启用服务。
   2. 在左上角单击新建场景，配置场景名称、自定义该场景的 bizType、选择行业分类和需识别的风险。
      

      参数	说明
      场景名称	自定义一个方便识别的场景名称，如对话输入文本检测。
      场景 bizType	自定义该场景的 bizType，用于标识该场景，例如 input_text。 说明 请记录场景的 bizType，后续在扣子侧配置内容安全策略时需要填写该 bizType。
      行业分类	选择业务所属的行业，系统会根据你选择的行业，应用其内置的行业特定敏感词库，使风险识别更精准。
      需识别的风险	勾选需要识别的风险类型。
      文本自定义库	你可以在文本风险识别 > 自定义库中新建自定义库，根据业务需求添加敏感词及其拦截策略，并将其关联到相应场景，以提升风险识别的准确率。

4. 配置图片风险识别场景。

   1. 在左侧导航栏选择图片风险识别 > 场景配置，在左上角选择上一步创建的应用，单击启用服务。

      说明

      • 启用服务时，系统会弹出存储 TOS 的授权提醒，用于获取你账号下火山引擎 TOS 的存储权限，以便转存图片。如跳过此授权，可能导致你查看日志时，相关图片无法正常显示，但不会影响识别效果。
      • 图片转存需要使用火山引擎 TOS 对象存储产品。如你尚未开通 TOS 服务，可登录对象存储控制台，开通 TOS 服务并完成基础配置，具体请参见TOS 快速入门。
   2. 在左上角单击新建场景，配置场景名称、自定义场景的 bizType、行业分类和需识别的风险。
   3. （可选）单击左上角的存储配置，可以修改图片存储配置。
      • 授权 TOS 存储权限：单击授权。
      • 修改存储策略：默认存储违规和疑似图片，你也可以修改为存储全量图片。

步骤二：扣子编程侧配置内容安全策略

扣子编程默认采用扣子自身的安全策略，企业超级管理员可以根据需要，将其修改为已在火山引擎内容风险识别中配置的策略。

1. 企业超级管理员或管理员登录扣子编程。

2. 在左下角单击个人头像，选择企业> 团队与企业管理。
   

3. 在左侧导航栏选择企业设置，在顶部选择内容安全策略配置页签。

4. 分别配置对话-Input 文本、对话-Input 图片、对话-Response 文本和对话-Response 图片的策略。
   单击对应场景右侧的编辑，配置内容安全策略、火山应用 ID 和 bizType，单击保存并应用。
   

   参数	说明
   内容安全策略	默认为扣子安全策略，本场景中选择火山安全策略。
   火山应用ID	请填写你在火山内容风险识别控制台上创建的应用所对应的 AppID。
   bizType	请填写你在火山内容风险识别控制台上相应场景配置中设置的 bizType。

步骤三：验证策略生效

完成配置后，你可以验证内容安全策略是否正常工作。

1. 将智能体发布 API 渠道，调用发起对话 API 与智能体对话时，尝试输入包含敏感词或违规内容的信息，如果智能体拒绝回复对话内容，则表示内容安全策略生效。
   
2. 在内容风险识别控制台左侧导航栏选择文本风险识别 > 日志查询，查看拦截的消息日志。