将 30+ 篇飞书文档清洗为 Alpaca 单轮与 ShareGPT 多轮数据，分离知识表达与对话风格学习。
MODEL FINE-TUNING · LOCAL INFERENCE
LoRA 客服 Agent 微调
从业务语料、QLoRA 训练到 OpenAI 兼容本地推理
将 30+ 篇业务文档清洗为单轮与多轮 SFT 数据，在 16GB 单卡上完成 Qwen 1.5B / 7B 双基座 QLoRA，并封装本地 RAG 与推理服务。
2个微调基座
4bitQLoRA 量化
2.377 → 1.3691.5B 训练 loss
2.732 → 1.5247B 训练 loss
01
PROBLEM & SCOPE
先定义问题和责任边界。
业务问题
- 通用模型不了解业务术语、服务流程和客服语气，RAG 检索失败时仍可能给出通用或编造回答。
- 云端 API 受成本、延迟与数据边界约束，需要验证本地模型能否作为可替换后端。
我的职责
产品验证 / 数据准备 / 训练与推理工程
- 团队
- 个人主导
- 周期
- 2026.06 - 2026.07
- 交付状态
- 训练与本地验证完成
02
PRODUCT DECISIONS
关键决策，不只是功能列表。
选择 QLoRA 4bit、LoRA rank 16 与双基座策略，在 16GB 单卡约束下平衡训练可行性、时延和质量。
推理层遵循 OpenAI 兼容协议，提供流式 SSE、会话管理、本地 RAG 和输出护栏，便于接入现有 Agent。
03
SYSTEM ARCHITECTURE
从输入到反馈的产品链路。
数据准备
飞书提取、去重、分块和格式转换
双基座训练
Qwen 1.5B / 7B、QLoRA 4bit、LoRA rank 16
模型导出
Adapter 检查点、基座合并和版本管理
本地 RAG
向量检索、上下文注入与输出护栏
兼容服务
FastAPI、SSE、会话和 OpenAI 协议
实现栈
PythonPyTorchLLaMA-FactoryPEFTbitsandbytesFastAPIbge-small-zh-v1.5
04
EVIDENCE & OUTCOMES
展示证据，也说明证据边界。
Qwen2-1.5B loss 从 2.377 收敛至 1.369；Qwen2.5-7B 从 2.732 收敛至 1.524。
完成数据准备、训练、Adapter 导出、模型合并、本地检索和 FastAPI 服务的端到端链路。
本地模型可作为 Service Agent 与微信机器人的备选后端，但业务效果仍需独立评测集验证。
05
PRODUCT EVIDENCE
界面、流程与实现证据。
06
TRADE-OFFS & NEXT
取舍、风险和下一步。
关键取舍
- 训练 loss 只能证明优化过程收敛，不等于业务回答质量；网站明确区分训练证据与产品效果。
- 小模型时延更低、部署更轻，7B 质量潜力更高；通过统一 API 保持可替换性。
下一步验证
- 构建涵盖事实准确、拒答、语气、流程与敏感边界的独立测试集，对比基座、LoRA、RAG 和 LoRA+RAG。
- 统计首字时延、吞吐、显存和单次推理成本，建立双基座路由策略。
07
CROSS-PROJECT RELATIONSHIPS