跳到正文
AGI Hunt· CodeMichaelD·· 2 小时前AI 评分27

CodeMichaelD 手写 LLM 推理引擎翻车:GGUF 塞进 WebGL2 输出乱码连环感叹号

网友手写推理引擎翻车:GGUF 塞进 WebGL2 输出乱码连环感叹号

AI 导读

CodeMichaelD 的手写 LLM 推理引擎将 GGUF Q4 量化模型经 GLSL 跑在 HTML 内嵌 WebGL2 计算缓冲区中,却因 tokenizer 与词表问题输出乱码和连环感叹号。该实现已能完成对话,但被问“are you qwen”时出现中英混杂乱码。作者建议本地运行模型时直接 clone llama.cpp。

来源:AGI Hunt · agihunt.info