跳到正文
Hacker News·· 2 小时前AI 评分39

DeepX DX-M2 宣称以低于 5 W 功耗运行最高 100B 参数模型

DeepX claims inference up to 100B parameters at less than 5 W

AI 导读

DeepX 已完成第二代 AI 加速器 DX-M2 的流片,宣称可在低于 5 W 功耗下推理最高 100B 参数模型,面向机器人、无人机等边缘设备。芯片支持 20B–100B 参数模型、10–30 tokens per second,集成 Samsung LPDDR5x-PIM 后,Llama3.1-8B 的 tokens per second 可提升 6.7×;DX-M1 已量产。

来源:Hacker News · eetimes.com