跳到正文
AGI Hunt· HankYeomans·· 3 小时前AI 评分18

本地运行 500B+ 参数模型:征集 Prefill/Decode 基准数据

Running 500B+ Models Locally? Seeking Prefill/Decode Benchmarks

AI 导读

面向本地运行 500B+ 参数模型的 Prefill/Decode 基准数据征集启动,呼吁拥有 Spark 设备和 Mac Ultras 的用户分享实测速度。征集覆盖模型与量化选择,并希望覆盖 32k、64k、128k 上下文长度,以补足消费级硬件集群可复现基准数据的稀缺缺口。

来源:AGI Hunt · agihunt.info