跳到正文
AGI Hunt· cneuralnetwork·· 1 小时前AI 评分50

cneuralnetwork 开源 llm-blocks,一行代码替换 LLM 架构组件

llm-blocks 开源:一行代码替换 MLA、Mamba-2、MoE 等 LLM 组件

AI 导读

开发者 cneuralnetwork 开源 llm-blocks,允许通过修改一行代码替换注意力、FFN 和残差连接等架构模块,同时保留训练循环与生成逻辑。该库使用 nn.Block 组合 GQA、RoPE、SwiGLU 和 RMSNorm,并可通过 summary() 输出逐层参数、激活参数量及每 token FLOPs 表格。

来源:AGI Hunt · agihunt.info