单卡3090韩语RAG评测结果公布

Front-University4363公布单张RTX 3090上的韩语RAG基准结果：Qwen 27B思考模式得分77.3%，略高于Claude Opus的76.6%，但评测者称两者基本打平，1个百分点差距没有实际意义。测试使用Allganize基准的300道题和64份PDF，全部单次以temp 0运行；更换裁判模型后结果仍接近。 评测还发现跨硬件运行会造成11次判决翻转；gpt-oss 20B因思考过程被1024 token限制仅得57.5%，放宽至8192后升至69.6%。相关脚本、逐题判决和完整表格已开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。