跳到正文
热点事件持续更新

DataFlow 开源训练数据加工架构解析

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

DataFlow 以 pipeline、operator 和 prompt 三层架构组织大语言模型训练数据加工,将样本生成、答案精炼、质量评估和过滤拆成可替换组件,并由 GitHub 开源项目 OpenDCAI/DataFlow 实现。不同任务可复用 operator,但预训练、监督微调、推理数据和 Text-to-SQL 仍需配置各自的处理序列与验收标准。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    DataFlow 开源架构解析:用 pipeline、operator 和 prompt 加工 LLM 训练数据

    DataFlow 以 pipeline、operator 和 prompt 三层架构组织 LLM 训练数据加工,将生成、评估与过滤拆分为可替换组件,并通过显式输入输出字段检查中间数据。不同任务可复用 operator,但预训练、SFT、推理数据和 Text-to-SQL 需要各自的处理序列与验收标准。该架构已由 GitHub 开源项目 OpenDCAI/DataFlow 实现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。