网页自采数据微调复盘：DOM 提取与去重顺序影响训练质量

一位开发者复盘用自采网页数据微调模型时发现，样板污染和去重顺序会显著影响训练集与模型输出。解决方案包括放弃纯文本抽取，采用激进的 DOM 定向提取，并叠加按请求轮换 IP 的住宅代理层；先精确去重再模糊去重与反向处理的训练集差异可观。多语种近重复检测仍是未解难题，MinHash 在多语种语料中仍存在棘手边缘案例。