网页自采数据微调复盘：去重顺序影响训练质量

开发者 Symeoon 分享网页自采数据微调经验，称训练集中的样板污染及去重顺序会明显影响模型输出。其方案是改用更定向的 DOM 提取，先精确去重、再做模糊去重和反向处理，并配合轮换 IP 的住宅代理层；多语种近重复检测仍未解决，MinHash 在多语种语料中仍有边缘案例。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。