AGI Hunt· kalyan_kpl·· 1 小时前AI 评分32
LLM 端侧部署综述:软件优化与专用硬件的可行路径
新综述梳理 LLM 端侧部署:软件优化+专用硬件可行路径
AI 导读
arXiv 综述《LLM Deployment on Resource-Constrained Edge Devices: A Practitioners Survey》梳理了资源受限边缘设备上的 LLM 部署路径,结论是近期软件与硬件创新已使端侧部署切实可行。综述覆盖量化、知识蒸馏等推理优化及专用硬件两条路线,并以本地数据处理、成本节省、更低延迟和个性化响应为部署动因。
来源:AGI Hunt · agihunt.info