将系统分为感知、理解、执行三层，分别负责多模态识别、字段映射和校验写入。
DATA AGENT · MULTIMODAL
Collator 数据摄入 Agent
把聊天、图片、语音与文档转成可校验的业务数据
以感知、理解、执行三层 Agent 处理多源非结构化输入，通过四步清洗、五重约束与人工确认，将资料稳定写入数据中台。
3 层Agent 架构
4 步清洗流水线
5 重约束校验
7张业务表 Schema
01
PROBLEM & SCOPE
先定义问题和责任边界。
业务问题
- 业务资料大量存在于聊天记录、图片、语音与文档中，人工整理慢且容易遗漏字段。
- LLM 直接提取后写库会产生格式、枚举、状态和逻辑错误，自动化越快，错误扩散越快。
我的职责
产品架构 / Schema 设计 / MVP 开发
- 团队
- 个人主导
- 周期
- 2026.03 - 2026.06
- 交付状态
- MVP 验证完成
02
PRODUCT DECISIONS
关键决策，不只是功能列表。
把隐性业务规则显式化为 JSON Schema、枚举、状态机和一致性约束；不确定数据进入人工确认。
规则学习器只学习用户确认后的同义词和字段映射，避免模型自行修改关键规则。
03
SYSTEM ARCHITECTURE
从输入到反馈的产品链路。
感知层
文本、图片、语音和文档识别
理解层
实体提取、字段映射与上下文判断
清洗层
空值、格式、枚举与默认值处理
约束层
必填、状态机、逻辑一致性和低置信度
执行层
人工确认、写入与反馈学习
实现栈
PythonTesseract OCRWhisper ASRCLIP飞书 APIJSON Schema规则学习器
04
EVIDENCE & OUTCOMES
展示证据，也说明证据边界。
完成 OCR / ASR / CLIP 多模态输入、四步清洗与五重校验的端到端 MVP。
为 7 张核心业务表定义 Schema，并将异常和低置信度记录送入人工确认队列。
作为数据中台的非结构化入口，减少重复整理并提高字段一致性。
05
PRODUCT EVIDENCE
界面、流程与实现证据。
06
TRADE-OFFS & NEXT
取舍、风险和下一步。
关键取舍
- 规则与 Schema 优先于端到端自动写入，牺牲少量速度以避免业务数据污染。
- 多模态引擎采用可替换接口，允许在成本、质量和本地部署之间选择。
下一步验证
- 建设人工确认界面的差异对比和批量审核，提高反馈效率。
- 用固定脏数据集测试字段准确率、约束拦截率与人工修改率。
07
CROSS-PROJECT RELATIONSHIPS