AGI Hunt讨论代码生成失败率难降

一场关于 LLM 代码生成能力上限的讨论认为，Transformers 本质是采样器，生成 N 个样本中若有 k 个失败，工程 harness 只能通过验证与重试应对。形式化不能改变失败率，语言模型架构在严格规则编程任务中的结构性失败难以靠工程包装根治。

作者从 Transformer 的采样器本质出发，分析 LLM 架构为何难以同时胜任代码生成与自然语言写作。自然语言的开放、多义和动态特征，与编程的严格规则、语法及逻辑执行流存在冲突，导致代码重试开销大、形式化方法难以降低失败率，模型还可能因写代码而牺牲文笔。