LLM 为什么奖励专业能力

LLM 抬高能力下限

陌生语法、样板代码、常规写作和信息整理变得更容易，普通用户可以迅速得到“看起来可用”的产物。

专业知识抬高产出上限

专家知道哪部分值得追问、哪条建议违背系统现实，以及何时应该换表示、换工具或停止生成。

流畅不等于正确

模型最危险的输出不是明显错误，而是局部合理、整体失配，并且刚好超出使用者的识别能力。

同一个模型，不代表同一种能力

• LLM 让更多人具备跨领域的基础执行能力。
• 专家能从长回答中抓取关键结构，而不是逐句被模型带着走。
• 专家会主动提出替代表示、反例和更简单的路径。
• 有效提示来自对问题的理解，而不是模仿专家的短句风格。

模型杠杆依赖人的基础力量

• 领域知识越扎实，通常越能从模型中提取高价值结果。
• 人可能成为系统瓶颈：不知道想要什么，就无法定义正确目标。
• AI 辅助开发的稀缺能力正在从输入代码转向设计、引导与判断。
• “会用 AI”不能替代对软件工程本身的掌握。

专家的问题信息密度更高

“为什么重试后出现重复入账？”比“支付有 bug 怎么办？”携带更多结构。前者隐含了事件重复、幂等边界与状态写入顺序，模型可以更快定位到有限的候选原因。

专家能提供方向性误差信号

“方案增加了分布式锁，但现有 outbox 已能提供一次提交边界”比“方案不好”更接近优化器需要的梯度：指出偏差、给出约束、暗示更短路径。

告诉模型“通常怎么做”

例如幂等、缓存、事件驱动和分层架构。这些知识适合提出候选方案，也适合新项目的铺路设计。

决定“在这里应该怎么做”

例如当前服务已有 outbox、消费者允许重复投递、订单状态只能单向推进。真实约束通常比通用模式更能决定实现。

外观达到“资深”，理解仍停留在表层

• 架构术语完整，但没有对应到当前依赖关系。
• 测试数量增加，但关键失败路径没有断言。
• 文档解释流畅，但无法回答为何不采用更简单方案。
• 改动局部正确，却改变了重试、权限或数据所有权语义。

能说清楚“什么不应该发生”

• 明确不可破坏的不变量和兼容边界。
• 能预判最可能被模型忽略的系统细节。
• 知道何时需要领域负责人介入。
• 能在结果漂亮但证据不足时拒绝提交。

生产力中等提升，学习收益不明确

一项覆盖 23 项研究、27 个效应量的元分析发现：编程生产力的总体效应为中等正向（Hedges’ g = 0.33），但场景异质性很高；学习结果效应 g = 0.14，置信区间跨过零，未达到统计显著。

思考从执行迁移到管理

微软研究对 319 名知识工作者收集 936 个实例，发现更信任 GenAI 与更少批判性思考相关；更相信自身能力与更多批判性思考相关。思考重点从搜集与执行，迁移到信息判断、结果整合和任务负责。

• 目标清楚、验收可自动判断
• 局部改动、回滚成本低
• 训练数据中常见的标准模式
• 一次性代码、迁移脚本、样板与测试草稿

• 权限、财务、隐私与不可逆数据变更
• 跨服务一致性与复杂并发语义
• 缺少可观测性或可靠判定器
• 强历史约束、稀有技术与非典型系统

让模型先建立因果链

根据日志、调用链和最近变更：
1. 列出三个最可能原因；
2. 每个原因给出支持/反对证据；
3. 提出最小区分实验；
4. 暂不修改代码。

显式暴露“未知的未知”

把我视为该模块的新成员。
先说明这个改动最容易违反的
三个本项目惯例，并给出文件证据。
标记任何需要领域负责人确认的假设，
不要用通用最佳实践代替项目事实。

Prediction Before Generation

在询问模型前，先写下自己的原因判断、方案骨架或失败测试。模型返回后比较差异，才能把“阅读流畅”转换成可修正的认知误差。

Evidence After Generation

不以模型解释结束，而以运行证据、源码定位、实验或权威资料结束。记录“为什么错”，比收集更多万能提示词更能积累长期优势。

让代码库能够教会 Agent

• 把关键不变量放进测试，而不是只放进文档。
• 用 ADR 记录“为何如此”，保留被拒绝方案。
• 为核心模块维护最短调用链与数据所有权说明。
• 把线上故障模式变成回归样例与评估集。

把摩擦转移到高价值位置

• 减少格式、样板和机械搜索的摩擦。
• 保留需求澄清、方案预测和失败分析的摩擦。
• 新成员先写假设与测试，再查看 Agent 方案。
• 高风险变更要求明确的人类责任人。