Hacker News front page· VaibhaavTiwari·· 3 小时前AI 评分70
VaibhaavTiwari 用 190 行纯 JAX 实现 DeepSeek-V3 架构
Show HN: DeepSeek V3 in ~200 lines of pure Jax
AI 导读
VaibhaavTiwari 用 190 行纯 JAX 实现 DeepSeek-V3 架构,并公开训练代码、v1.0 检查点与复现流程。该项目包含 MLA、DeepSeekMoE、无辅助损失的专家均衡和 MTP,模型为 36.2M 参数,每个 token 激活 13.6M 参数。
来源:Hacker News front page · github.com