AGI Hunt· cneuralnetwork·· 2 小时前AI 评分60
Liquid AI 发布 LFM3,以 24 层混合架构支持 256K 上下文
Liquid AI LFM3 用 24 层混合架构实现 256K 上下文,推理快 25%
AI 导读
Liquid AI 发布 LFM3 1.7B,采用 13 层门控卷积、5 层滑动窗口注意力和 6 层全局注意力组成的 24 层混合架构。模型支持 256K 上下文窗口,4bit 量化后权重约 1GB,边缘设备上的 8K 上下文推理速度据报道比 LFM2-1.2B 快约 25%。
来源:AGI Hunt · agihunt.info