跳到正文
AGI Hunt· ostrisai·· 6 小时前AI 评分36

新图像/视频模型趋势:微调 LLM 作提示词升采样器的架构猜想

新图像视频模型流行搭一个微调 LLM 做提示词升采样器

AI 导读

AI 图像模型开发者 ostris 观察到,许多新发布的图像/视频生成模型会附带一个微调 LLM 作为提示词升采样器,同时使用另一个不同的 LLM 作为文本编码器。他提出,与其分别训练两个 LLM,不如将 prompt upsampler 直接作为扩散模型的文本编码器联合训练,以提升效率。

来源:AGI Hunt · agihunt.info