Lafa 流语言模型达 8B 规模，吞吐量提升 2.5 倍

UC Berkeley、Amazon、KAIST 与 CMU 联合发布 Lafa（Large flow language model），将连续流语言模型扩展至 8B 参数规模。Lafa 采用分块流模型，前缀使用因果注意力、块内进行双向异步流计算，并结合自推测解码，在追平自回归模型生成质量的同时，实现最高 2.54 倍吞吐量提升。