流式插件配置教程

扣子编程支持流式插件，低代码智能体或工作流在单次调用插件时，可以输出多条消息，每条消息能够以类似打字机的效果逐条动态显示，实现流式输出效果。

应用场景

流式插件适用于需要实时处理和展示连续消息流的场景，它能够提供动态的消息输出，增强用户体验，例如聊天机器人和实时通知场景。

注意事项

关于流式插件的相关注意事项如下：

• 绑定了流式插件的低代码智能体和应用不支持以卡片的形式输出消息，即便是流式插件绑定了卡片，也不会生效。
• 在低代码智能体中使用流式插件，流式输出的内容不会经过大模型处理，对于非流式输出的最后一条消息内容，可以选择是否需要大模型处理，而在工作流中使用流式插件，流式输出的内容都不会经过大模型节点处理。
• 仅基于已有服务创建的插件，支持配置流式插件；端插件和在 IDE 中创建的插件都不支持配置流式插件。
• 配置流式插件时，编辑工具页面中的输出参数无需配置。

SSE 协议实现

配置流式插件，你的业务接口需要实现 Server-Sent Events (SSE) 传输协议，并遵守扣子编程插件所定义的数据协议规范。

基本约束

• 每个数据包最大为 250KB。
• 每个数据包间隔的超时时间为 60s。

数据结构定义

数据结构定义说明如下：

以下是一个流请求的数据包标识示例：

以下是一个数据包返回示例：

{    
    "id" : "xxxxx1",
    "event": "play",
    "data": {
        "is_last_msg":false,
        "is_finish":false,
        "is_last_packet_in_msg":false,
        "stream_id":"message1",
        "context_mode": 0,
        "output_mode": 0 ,
        "return_type": 0 ,
        "content_type": 0 ,
        "content": "{插件输出内容}",
        "ext":{
            "example1":"{xxx}",
            "example2":"1"
        }
    }
}

传输协议规范

实现 SSE 协议时，HTTP 响应头需满足如下要求。

数据 Schema 验证

按照 SSE 的数据包协议进行返回，确保数据格式符合以下示例。

配置流式插件

你已经创建了一个插件，API 接口已经实现 SSE 传输协议，并且 API 接口遵守扣子编程插件所定义的数据协议规范，详情请参考快速搭建智能体列表查询插件。

1. 登录扣子开发平台。
   扣子开发平台是扣子编程的旧版本，你也可以在扣子编程首页右上角单击回到旧版，进入低代码项目的管理入口。
2. 在页面顶部选择目标工作空间，然后在左侧导航栏中单击资源库。
3. 在插件页签下，单击目标插件。
4. 在插件详情页，单击使用代码编辑工具的图标。
   
5. 在更新插件页面，单击编辑。
6. 在 openapi (填写 yaml) 区域，找到需要配置为流式输出的接口，在operationId下添加x-runMode: Streaming，以开启该接口的流式输出模式。
   代码示例如下：

   info:
       description: stream output demo
       title: Stream Demo
       version: v1
   openapi: 3.0.1
   paths:
       /your/stream/api:
           post:
               operationId: stream
               x-runMode: Streaming
               requestBody:
                   content:
                       application/json:
                           schema:
                               type: object
               responses:
                   "200":
                       content:
                           application/json:
                               schema:
                                   type: object
                       description: empty response
                   default:
                       description: ""
               summary: stream demo
   servers:
       - url: https://www.demo.com
   

配置完成后，你可以调试插件。如果插件输出结果符合预期，你就可以发布插件。

使用流式插件

你可以在智能体或工作流中使用流式插件，详情可参考使用插件。