四种小型OCR架构完成结构可行性实测
先了解这件事
开发者 wightmanr 受 Meta in-fusion 论文启发,实测 Cruller、Fritter、Cronut 和 Berliner 四种兼容 NaFlex 的小型 OCR 架构,确认 in-fusion 结构与方案契合,但受训练预算限制,尚未证明最终 OCR 效果或超越基线。 实验以 NaFlexViT 编码器加文本解码器为基线,并测试 decoder-only 变体;将视觉参数融入 SmolLM2 135M 虽可训练,却因模型深度超过两倍而收敛较慢。训练使用 wightmanr 与 molbap 上传至 Hugging Face pixparse 的 idl-wds 数据集,wightmanr 称其标注噪声明显,只足以验证模型能否阅读;下一步计划用 agent 重新处理 idl、pdfa-eng 和 pdfa-multi,其中后两套数据尚未发布且标注问题较多。原方案依赖编码器的强预训练权重,因此短时间训练难以匹敌。
AI 根据报道生成 · 51 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AGI Hunt开发者受 Meta in-fusion 论文启发,实测四种小型 OCR 模型架构
开发者 wightmanr 受 Meta in-fusion 论文启发,实测并整理 Cruller、Fritter、Cronut 和 Berliner 四种兼容 NaFlex 的小型 OCR 模型架构。基于 NaFlexViT 编码器与文本解码器的 in-fusion 变体呈良好收敛趋势,但受训练预算限制未超越预训练权重基线;将视觉参数融入 SmolLM2 135M 也可行,但训练速度较慢。
- AGI Hunt开发者借鉴 Meta in-fusion 论文重训 OCR 模型,验证 decoder-only 变体可行
开发者受 Meta in-fusion 论文启发重启旧 OCR 项目,测试 NaFlexViT encoder + text decoder 及 decoder-only 变体,确认模型结构与方案契合。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。