扣子罗盘提供了演示空间,方便你快速了解扣子罗盘的各种功能。
说明
演示空间的数据为测试数据,仅供演示使用。
参考以下步骤,访问扣子罗盘体验空间。
登录扣子罗盘后,默认进入到 Prompt 开发页面。在这里,你可以查看平台预设的 Prompt,单击详情了解 Prompt 的详细设计。扣子罗盘支持以 MessageList 的方式托管提示词模板,以满足复杂的业务场景。更多关于 Prompt 开发的详细说明,参考开发提示词。
评测模块为开发者提供系统化的评测能力,能够对 Prompt 和扣子智能体的输出进行评测。你可以通过分析实验结果,深入研究异常案例,并进行有针对性的优化。
你可以切换到评测功能模块,体验扣子罗盘的评测能力。我们将按照评测实验流程引导你一步步体验扣子罗盘的评测功能。你也可以参考评测入门教程,发起一个评测实验。
要发起评测实验,需要先创建一个评测集,为评估对象添加测试数据。
扣子罗盘支持使用大模型评估器对评估对象进行自动化评测。在准备好数据集后,就需要准备评估器,制定评测标准。
在准备好评测集和评估器后,就可以对评估对象发起评测实验了。扣子罗盘支持对 Prompt 和扣子智能体进行评估。
扣子罗盘为开发者提供了全链路执行过程的可视化观测能力,完整记录从用户输入到 AI 输出的每个处理环节。
观测功能支持平台提示词(Prompt)开发、扣子智能体、扣子 AI 应用的数据自动上报,也支持通过集成 SDK 上报其他框架(Eino/Langchain)开发的 AI 应用。详情请参考SDK 概述。
在观测 > Trace 页面,选择时间范围、任务节点范围和观测对象,查看已上报的 Trace 数据。关于 Trace 数据的详细说明,参考Trace 信息说明。
扣子罗盘提供了不同维度的统计指标看板,可直观了解观测对象的运行情况和成本消耗。