助手
扣子 AI 帮助与支持
你好,我是 扣子 文档问答助手 🎉 你在阅读当前文档的过程中,无论对文档概念的解释,还是文档内容方面的疑问,都可以随时向我提问,我会全力为你解答
推荐问题
如何快速了解这个空间的核心内容?
有哪些近期更新的重点文档?
我应该从哪些文档开始阅读?
文档反馈

文本-可用性评估器

更新于: 2026-06-25 18:07:33

评估器信息

分类

详情

基础信息

评估器名称

文本创作-可用性

评估器类型

黑盒评估器,评估标准的明细不对客展示

效果说明

功能概述

定义:用于综合衡量一篇文本在完成既定任务目标、符合体裁规范、可读可信,并具备有效表达与价值输出方面的整体可用性。该指标强调 “能否直接投入使用”,兼顾底线要求与增益表现。
评估维度(8 项):
指令遵循:对任务要求的把握与执行度(主题、边界、必含 / 禁忌、受众取向)。
范式理解:对指定文体 / 行业规范的匹配度(结构、要素、风格与客观性等)。
格式排版:呈现清晰度与可读性(段落、标点、列表 / 重点突出、版式合规)。
真实性:事实与内在逻辑的可信度;对用户指令的忠实度,不臆造。
语言文采:表达的准确性、流畅度与感染力(用词、句式、修辞、风格稳定)。
创意构思:观点、结构或表现手法的新颖性与独特性。
基础质量:核心信息完整、论证清晰、逻辑通顺、无常识性错误。
写作深度:超越表层的洞见与分析力度,观点的分量与启发性。
判定逻辑:
底线项:指令遵循、真实性、基础质量为使用门槛;任一明显不合格,则整体评为不可用。
增益项:范式理解、格式排版、语言文采、创意构思、写作深度用于区分一般可用与优质可用。

评估方式

复合评估器(LLM + Code)

评估对象

文本

评估目标

内容质量

应用场景

AIGC 产物质量评估

评估规则说明

0分:完全不符合要点要求
1分:只能符合部分要点要求
2分:基本符合要点要求,少量未满足
3分:符合要点要求,只存在小的次需瑕疵
4分:回复可以符合所有要点要求

评估置信度

90.00%

评估器参数说明

参数

参数名称

是否必填

参数说明

输入信息

query

用户输入内容

reply

模型的回复文本

main_point

评估的考察点

输出信息

result_str

评估分数和具体评估理由

输入格式 (Input Schema)

{
    "{{query}}": {
        "content_type": "text",
        "json_schema": "{\"type\": \"string\"}",
        "text": "给男朋友定制红包封面,写晨昏与四季,后面怎么加"
    },
    "{{reply}}": {
        "content_type": "text",
        "json_schema": "{\"type\": \"string\"}",
        "text": "为红包封面搭配文案,既可以延续浪漫氛围,也能融入甜蜜小心思。这里结合不同风格,为你推荐后续搭配: - **诗意浪漫风**:晨昏与四季,余生皆是你 - **俏皮可爱风**:晨昏与四季,爱你没道理 - **简洁深情风**:晨昏与四季,共赴岁月长 - **古风雅韵风**:晨昏与四季,白首不相离 - **未来期许风**:晨昏与四季,岁岁都有你"
    }
    ,
    "{{main_point}}": {
        "content_type": "text",
        "json_schema": "{\"type\": \"string\"}",
        "text": "[ { '维度': '指令遵循', '要点': [ '指令-体裁规范:红包封面文字需简洁凝练,字数建议控制在4-8字内,确保内容与卡面适配', '指令-核心主题:补充内容需紧扣‘晨昏与四季’主题,呼应定制红包封面表达情感的目的', '指令-局部创作要求:补充内容应与既定主题‘晨昏与四季’的温馨浪漫风格保持一致' ] }, { '维度': '格式排版', '要点': [ '标点符号使用正确,呈现自然流畅的阅读体验', '整体排版简洁美观,体现红包封面创意与简约的特点,无冗余标点、空格或换行' ] }, { '维度': '创意构思', '要点': [ '是否从独特的角度对‘晨昏与四季’进行补充,有新奇的想法', '在极简结构中是否融入了独特的预期违背、双关等技巧,让读者感受到新奇与趣味', '补充内容是否具有一定的想象力,且合理不脱离实际' ] }, { '维度': '真实性', '要点': [ '客观事实一致性:情感表达自然真挚,字里行间体现对男朋友的爱', '虚增信息:避免加入与‘晨昏与四季’主题或送红包情感表达无关的内容与信息' ] }, { '维度': '语言文采', '要点': [ '用词精准、优美,适当融入押韵或层次感,凸显‘晨昏与四季’的自然意境与情感深意', '运用比喻、双关、拟人等修辞手法,丰富表达层次,同时保持内容直白易懂' ] }, { '维度': '基础质量', '要点': [ '主题明确清晰,凸显‘晨昏与四季’中关于陪伴、守护的情感核心', '逻辑推理合理,补充内容与‘晨昏与四季’自然衔接,无明显矛盾或跳跃' ] }, { '维度': '写作深度', '要点': [ '观点有一定深度,能从‘晨昏与四季’中挖掘出独特的情感或价值观,引发进一步思考', '分析不过于表面,能体现出对情感表达的深入理解' ] } ]"
    }
}

输出格式 (Output Schema)

{
  "综合得分": "0",// 表示整体的评估分数
  "维度得分": {}, //各个维度的得分
}