跳到正文
热点事件持续更新

ChatGPT靠Transformer逐词生成回复

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

作者向妻子解释,ChatGPT并非由真人坐在后台逐条回答,而是利用Transformer学习文本模式,通过逐个预测token生成回复。2017年,Google一支8人团队提出让模型同时看到全部词项的架构,奠定了这类模型处理上下文的基础;如今顶级模型的训练量已超过32万亿个token,按其阅读速度计算相当于连续阅读约19万年。

AI 根据报道生成 · 55 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. Ben's Bites
    我的妻子认为 AI 是人:ChatGPT 如何用 Transformer 生成回复

    作者向妻子解释,ChatGPT 等 AI 并非有人坐在后台逐条回复,而是靠 Transformer 学习文本模式并逐个预测 token 生成回答。2017 年,Google 的 8 人团队让模型同时看到全部词项;顶级模型训练量超过 32 trillion tokens,连续阅读约需 190,000 years。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。