小模型下沉基层，大模型留在省级：模型分层落地清单

先看全局

逐条拆解

1. 先数清楚每天有多少条重复请求。如果同一类任务一天跑不到几百次，蒸馏和端侧部署的投入收不回来，直接调 API 更划算。
2. 把任务按输入长度分档。单份报告、单张表单这类短输入，小模型足够；需要跨年度卷宗比对的，留给省级长上下文模型。
3. 确认数据能不能出本地。涉及个人健康信息的，端侧或本地部署是硬约束，不是成本选择，这一条优先于所有价格比较。
4. 检查任务有没有标准答案。分类、抽取、格式转换这类有明确对错的活，小模型蒸馏后可用；开放式研判不要交给小模型。
5. 选一个可量化的基线。比如字段抽取准确率、人工转录耗时，先测一遍再上模型，否则验收时说不清有没有变好。
6. 蒸馏数据从省级模型的真实调用日志里取，不要自己造。真实分布和造出来的分布差得远，这一点在 BOTTLED 基准里被反复验证。
7. 端侧部署优先选开源权重模型。闭源 API 在断网或内网环境下无法降级，疾控场景不能接受这种单点依赖。
8. 留一条回退路径。小模型置信度低于阈值时，请求自动转发省级大模型，人工只处理两边都不确定的少数。
9. 验收看的是单位任务成本，不是单次调用价格。把人工复核时间折算进去，很多看起来便宜的小模型方案其实更贵。

最常见的三个误区

以上内容基于公开信息整理，仅作行业技术交流，不构成任何诊疗建议，所引数据均可在参考资料中核对。