RAG · AGENT · AI SERVICE

Service Agent

AI 优先应答,低置信度问题进入人工质量闸门

面向高端摄影咨询,设计查询改写、检索、重排序、置信度分流、人工复核与知识回流,重点解决准确性、边界控制和持续更新。

AgentRAGHuman-in-the-loop
18类咨询场景
3 级置信度分流
90%+检索准确率内部估算
50%+基础咨询自动应答内部估算

口径说明:以下准确率与自动应答率为内部小样本估算,待固定评测集与线上数据验证。

01

PROBLEM & SCOPE

先定义问题和责任边界。

业务问题

  • 价格、档期、拍摄流程与敏感边界容错率低,纯大模型容易编造;静态 FAQ 又无法覆盖自然语言表达。
  • 客服知识持续变化,若没有审核和回流机制,检索库会快速过期或被低质量对话污染。

我的职责

产品定义 / Agent 架构 / 评估方案 / MVP 开发

团队
3 人创业团队
周期
2026.04 - 至今
交付状态
业务验证中
02

PRODUCT DECISIONS

关键决策,不只是功能列表。

01

定义 18 类咨询场景与明确的可答、需确认、必须转人工边界,先设计风险策略再设计对话。

02

采用查询改写、候选检索与重排序链路,并通过三级置信度决定直接建议、人工复核或兜底转人工。

03

把人工确认作为知识更新的质量闸门,优质会话才进入飞书主源、检索库和 JSON 镜像。

03

SYSTEM ARCHITECTURE

从输入到反馈的产品链路。

01

场景路由

18 类意图、敏感边界与人工接管条件

02

查询理解

对话上下文、查询改写与关键词补全

03

检索增强

向量召回、候选重排序与引用上下文

04

质量闸门

高分建议、中分复核、低分转人工

05

知识飞轮

归档、清洗、人工确认和多端同步

实现栈
PythonLangGraphDifyLangSmithSentenceTransformerCloudBaseCOSGLM
04

EVIDENCE & OUTCOMES

展示证据,也说明证据边界。

01

完成从需求定义、知识组织、Agent 编排到 PC 客服辅助界面的端到端验证。

02

内部小样本估算检索准确率 90%+,基础重复咨询自动应答 50%+;指标已明确标注为估算。

03

形成“对话使用 - 归档清洗 - 人工确认 - 知识同步 - 检索增强”的可持续闭环。

指标边界

以下准确率与自动应答率为内部小样本估算,待固定评测集与线上数据验证。

06

TRADE-OFFS & NEXT

取舍、风险和下一步。

关键取舍

  • 不追求无条件自动回复,牺牲部分自动化率以换取价格、档期与敏感场景的可靠性。
  • 保留飞书权威主源和本地 JSON 镜像,避免单一向量库成为不可解释的知识黑箱。

下一步验证

  • 建立覆盖 18 场景的固定评测集,分开统计召回率、答案采纳率、转人工率与知识过期率。
  • 在真实流量中做分阶段灰度,校准置信度阈值并记录误答成本。

CONTACT

正在寻找 AI 应用 / Agent 产品经理机会。

联系我 下载简历