HuggingArch开源离线推算模型性能

开发者 thuHanShen 开源 HuggingArch，可在没有 GPU、模型权重和运行环境的情况下，理论推算 HuggingFace 模型的计算量、内存流量与 KV cache 占用。 用户需以 YAML 描述模型结构，经 safetensors 文件头和建模源码校验后，由 Sympy 求值，生成不同 GPU、并行策略、精度及批处理与上下文组合下的理论性能表。该工具不执行张量计算，因此结果属于推算而非实际运行性能；项目还提供硬件、模型组件和推理规划等视图，部分内核数据使用 FA3、FlashInfer、DeepGEMM 实测结果校准。

AI 根据报道生成 · 31 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。