AGI Hunt· Puzzleheaded_Box2842·· 2 小时前AI 评分73
DataFlow 开源架构解析:用 pipeline、operator 和 prompt 加工 LLM 训练数据
开源 DataFlow:pipeline/operator/prompt 架构搞定 LLM 训练数据加工
AI 导读
DataFlow 以 pipeline、operator 和 prompt 三层架构组织 LLM 训练数据加工,将生成、评估与过滤拆分为可替换组件,并通过显式输入输出字段检查中间数据。不同任务可复用 operator,但预训练、SFT、推理数据和 Text-to-SQL 需要各自的处理序列与验收标准。该架构已由 GitHub 开源项目 OpenDCAI/DataFlow 实现。
来源:AGI Hunt · agihunt.info