AGI Hunt· CodeMichaelD·· 2 小时前AI 评分27
CodeMichaelD 手写 LLM 推理引擎翻车:GGUF 塞进 WebGL2 输出乱码连环感叹号
网友手写推理引擎翻车:GGUF 塞进 WebGL2 输出乱码连环感叹号
AI 导读
CodeMichaelD 的手写 LLM 推理引擎将 GGUF Q4 量化模型经 GLSL 跑在 HTML 内嵌 WebGL2 计算缓冲区中,却因 tokenizer 与词表问题输出乱码和连环感叹号。该实现已能完成对话,但被问“are you qwen”时出现中英混杂乱码。作者建议本地运行模型时直接 clone llama.cpp。
来源:AGI Hunt · agihunt.info