Cloudy重写内核提升gpt-oss解码性能

Cloudy使用Claude Code在单张H100上分析gpt-oss-20b和120b的解码瓶颈，仅依赖torch与triton重写297行kernels.py，覆盖RMSNorm、RoPE、split-KV解码注意力及分组MXFP4 MoE内核。调优后的vLLM 0.31.0在gpt-oss-20b batch 1上达到330.9 tok/s；以此为基线，自研内核在相关测试点位较vLLM领先约10.8%至15.2%，其中20b batch 1提升15.2%、120b batch 1提升14.9%。 官方展示称，贪心解码在20个提示词、每题1000步的测试中与fp32参考输出完全一致，GPQA-D和AIME25成绩也落在官方95%区间内；但120b模型满载服务时因prefill暂停解码，整体性能仍为vLLM的0.946倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。