懂车帝是字节跳动旗下的一站式汽车信息、交易与服务平台。为进一步优化用户体验,懂车帝基于 AI Agent 提供智能车型推荐、车型 PK、AI 选车等能力。基于扣子罗盘提供的实时全链路观测与节点性能监控等能力,懂车帝 AI Agent 构建及调优效率大幅提升。
懂车帝是字节跳动旗下的一站式汽车信息、交易与服务平台,凭借海量专业汽车资讯、全面车型数据与创新购车服务,在用户群体中树立起极高口碑。为进一步优化用户体验,懂车帝基于 AI Agent 提供智能车型推荐、车型 PK、AI 选车等能力,致力于打造更智能、便捷、个性化的汽车资讯及服务生态,全方位满足用户选车、购车、用车等环节的需求。
在构建与调优 AI Agent 的复杂进程中,懂车帝研发团队面临诸多关键难题。一方面,需要精准洞悉 Agent 各个关键节点的输入与输出情况,以此判断模型实际输出效果是否符合设计预期以及业务场景的真实需求,进而为 AI Agent 的调优工作提供真实、全面的线上运行数据支撑。另一方面,Agent 的性能优化与成本把控也是至关重要的环节。特别是在大模型节点,时常出现运行耗时过长甚至报错的状况,此时急需能够快速定位瓶颈点,并及时采取有效优化措施。
然而,懂车帝团队在调优 AI Agent 时,遭遇了传统观测系统的局限。传统观测系统并不完全适配大模型复杂场景,对于 Prompt 内容展示、大模型输入/输出、工具调用等核心关键环节,存在追踪与分析的重重困难。因此,团队只能借助离线数仓的方式,留存 Agent 线上运行数据,并编写脚本对模型输出数据与业务场景的匹配度进行回溯分析,以此指导 AI Agent 的下一步调优工作。但在此过程中,一系列问题逐渐凸显:
扣子罗盘为懂车帝上述研发困境提供了行之有效的解决方案:
备注:业务数据敏感,因此使用 Demo 数据示意产品功能
自引入扣子罗盘后,懂车帝的研发效率实现了跨越式提升。问题排查模式从以往的 T + 1 转变为实时监控定位,业务部门获得自主查询实时问题的权限,极大提升了工作自主性与灵活性。研发人员基于扣子罗盘提供的精准定位结果,能够迅速开展工作,快速调优 AI Agent 的效果与性能。这一系列积极改变,显著提升了用户使用懂车帝 AI Agent 的流畅度与满意度,进一步巩固了懂车帝在汽车资讯与服务领域的领先地位,为平台的长远稳健发展奠定了坚实的技术基础。
在扣子罗盘的支持下,我们正在持续探索智能选车的新方向。其中 Trace 功能发挥了重要作用,无论是开发初期的调试,还是上线后的维护,它都能有效提升开发的调试效率,为我们带来显著的便利和效率提升。
- 数据来源:本页面所展示的客户案例相关数据均由客户方提供。