百度oHC以四元数约束模型连接
热点事件持续更新
百度oHC以四元数约束模型连接
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
百度论文提出基于四元数的正交超连接 oHC，用正交约束减少多流之间的同质化，同时保留跨流通信。在 3.9B 模型、累计训练 73B tokens 的条件下，oHC 在 16 个基准测试中的平均 BPB 较单流残差基线降低约 3.9%，显著性达到 6.2σ。 四元数构建正交连接的成本比 Sinkhorn–Knopp 迭代低 20.6 倍，但论文实验显示，正交约束仅能将流同质化推迟约 3 层等效深度。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 22:58
百度 oHC 用四元数实现正交残差连接，3.9B 模型 BPB 降低 6.2σ报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI Hunt百度 oHC 用四元数实现正交残差连接，3.9B 模型 BPB 降低 6.2σ
百度论文提出基于四元数的正交超连接 oHC，在 3.9B 模型、73B tokens 训练下，将 16 个 benchmark 的平均 BPB 相对单流残差基线降低约 3.9%，显著性达 6.2σ。oHC 保留跨流通信并避免流同质化，四元数对构建成本比 Sinkhorn–Knopp 迭代便宜 20.6 倍，但正交约束仅将流同质化推迟约 3 层等效深度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。