AGI Hunt· CommonMinimum587·· 2 小时前AI 评分48
德国小银行自托管 Llama 3.3 70B 的审计难题:提示词版本可追溯怎么做
德国小银行自托管 Llama 3.3 70B 遇审计难题:prompt 版本可追溯怎么做
AI 导读
德国一家小银行的三人 ML 团队用两块 A100 和 vLLM 自托管 Llama 3.3 70B 建设内部政策助手,却无法追溯上月错误回答对应的提示词及文档版本。团队考虑以 LiteLLM 搭配自托管 Langfuse,或采用支持本地 Helm 部署和版本历史的 Orq.ai;企业版提供审计日志,但定价未公开。
来源:AGI Hunt · agihunt.info