性质测试证伪旧修复并给出稳健实现

Gemini 发现的 softmax 数值问题被 arXiv 论文 2610.36427 使用 Hypothesis 性质测试复现，测试同时证伪此前的修复方案：它在一个边界用例中仍会失败。论文作者据此提出更稳健的 softmax 实现，该实现通过全部测试并支持 causal attention masking，代码与测试均已开源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。