AGI Hunt· thesephist·· 2 小时前AI 评分30
越狱后的 Kindle Scribe 本地运行 GPT-2：4-bit 量化实测约 13 token/s
越狱 Kindle Scribe 跑起 GPT-2:4-bit 量化下实测约 13 token/s
AI 导读
开发者将 124M 参数的 GPT-2 通过 4-bit 量化部署到越狱后的 Kindle Scribe，实现本地推理，实测速度约 13 token/s。这一案例展示了小模型、量化与硬件破解结合在端侧及嵌入式部署中的可能性。
来源：AGI Hunt · agihunt.info