AGI Hunt· cneuralnetwork·· 1 小时前AI 评分50
cneuralnetwork 开源 llm-blocks,一行代码替换 LLM 架构组件
llm-blocks 开源:一行代码替换 MLA、Mamba-2、MoE 等 LLM 组件
AI 导读
开发者 cneuralnetwork 开源 llm-blocks,允许通过修改一行代码替换注意力、FFN 和残差连接等架构模块,同时保留训练循环与生成逻辑。该库使用 nn.Block 组合 GQA、RoPE、SwiGLU 和 RMSNorm,并可通过 summary() 输出逐层参数、激活参数量及每 token FLOPs 表格。
来源:AGI Hunt · agihunt.info