AI 助手
扣子 AI 帮助与支持
你好,我是 扣子 文档问答助手 🎉 你在阅读当前文档的过程中,无论对文档概念的解释,还是文档内容方面的疑问,都可以随时向我提问,我会全力为你解答
推荐问题
扣子 3.0 都有什么新特性?
扣子和扣子编程有什么区别?
扣子如何收费?
文档反馈
低代码项目
动态
快速开始
智能体
工作流
应用
资源
发布
模型
多人协作
推广与变现

集成火山引擎 RTC SDK

本文介绍在 PC 端、微信小程序、Electron 等跨平台智能终端上,通过火山引擎 RTC SDK 实现与智能体的音视频通话功能。

前提条件

开始集成 RTC SDK 前,请确保开发环境满足以下要求:

操作

说明

发布智能体

已成功搭建并发布智能体为 API 服务。搭建步骤可参考搭建可视化智能体搭建低延时语音助手,发布步骤请参见发布为 API 服务

说明

若需使用视频理解能力,请为智能体配置一个视觉模型,例如豆包视觉理解模型。

获取访问密钥

获取访问密钥,用于身份认证与鉴权。

  • 体验或调试场景:建议生成短期的个人访问令牌(PAT),以快速完成 Realtime SDK 的整体流程。个人访问令牌的获取方法请参见添加个人访问令牌
  • 线上环境:在线上环境中,应使用服务访问令牌(SAT)或 OAuth 鉴权方案,各鉴权方式的详细说明请参考鉴权方式概述

说明

扣子编程 SDK 封装了多种鉴权方式,能够有效简化鉴权流程,你可以参考鉴权示例代码实现不同方式的 OAuth 认证,以获取和管理访问扣子编程 API 所需的令牌。

开通 RTC 服务

火山引擎控制台开通 RTC 服务

实现流程

步骤一:创建智能体并发布为 API 服务

搭建智能体,详细步骤请参见搭建一个低代码智能体
发布智能体为 API 服务,详细步骤请参见发布为 API 服务

步骤二:集成 RTC SDK

根据业务需求选择合适的 SDK,以下是各平台的 SDK 集成指南:

步骤三:创建房间

  1. 调用创建房间 API 创建房间。
    调用扣子编程提供的创建房间 API,创建一个房间,并将指定的智能体加入房间,然后才能调用 RTC SDK 和智能体开始音视频通话。
    创建房间时可以通过 voice_id 参数指定智能体使用的音色,扣子编程提供一系列系统音色,如果没有合适的系统音色,你也可以调用复刻音色API,复刻指定音频文件中的人声音色。此外,你还可以设置房间内的音频编码格式,提高音频通话质量。
    创建房间后会返回 appID、roomID、userID 和 Token,调用 RTC SDK 加入房间时需要设置这些信息。

    curl --location --request POST 'https://api.coze.cn/v1/audio/rooms' \
    --header 'Authorization: Bearer pat_OYDacMzM3WyOWV3Dtj2bHRMymzxP****' \
    --header 'Content-Type: application/json' \
    --data-raw '{
        "bot_id": "734829333445931****"
    }'
    

    {
        "detail": {
            "logid": "202410291302044CD1CC3B4AE0897***"
        },
        "data": {
            "room_id": "room_id_7431057983427067913",   // 房间 id
            "app_id": "6705332c79516e01****",       // app_id
            "token": "0016705*****NzkxMxcANTE1MjkFAAAAAAAAAAEAAAAAAAIAAAAAAAMAAAAAAAQAAAAAACAA58QEAvxdy3LHNzSwq6apM9PUKM2rOsxIg/VB4b1xEFA=",
            "uid": "uid_7431057983427051529"
        },
        "code": 0,
        "msg": ""
    }
    

  2. 智能体加入房间。
    成功创建房间后,智能体会自动加入房间。

    说明

    • 创建房间后返回的 Token,其默认有效期为 3 分钟,如果 3 分钟内没有用户加入房间,或者用户静音 3 分钟,智能体将自动退出房间,房间随即被释放,后续若要再次和智能体对话,则需重新创建房间。
    • 若有用户进入房间,智能体在房间中最长可以持续 24 小时,直至用户主动退出房间或用户设备异常断电等导致连接断开。

    步骤四:用户加入房间

    调用 RTC SDK 的 joinRoom API 加入 RTC 房间,即可在房间中与智能体开展音视频通话。具体实现方式请参见 RTC SDK 集成指南中的实现音视频通话相关内容。