跳到正文
热点事件持续更新

Embedl发布Qwen端侧高速部署方案

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Embedl团队发布Qwen3.8-27B在Jetson AGX Thor上的高速部署方案。其测试结果显示,batch 1下解码速度为39.6 tok/s,端到端速度为23.6 tok/s,峰值显存占用为24.8 GiB。 该方案提供Embedl命令行工具和OpenAI兼容API,容器约1GB、模型权重约20GiB,用户也可直接在Thor的浏览器环境中试跑。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AGI Hunt
    Embedl 发布 Qwen3.8-27B 的 Jetson Thor 高速部署方案

    Embedl 发布 Qwen3.8-27B 在 Jetson AGX Thor 上的高速度部署方案,batch 1 下解码速度为 39.6 tok/s,端到端速度为 23.6 tok/s,峰值显存为 24.8 GiB。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。