跳到正文
热点事件持续更新

德国小银行寻求解决提示词审计难题

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

德国一家小银行的三人机器学习团队用两块 A100 和 vLLM 自托管 Llama 3.3 70B 建设内部政策助手,但目前无法追溯错误回答所对应的提示词及文档版本。 团队正考虑两种方案:用 LiteLLM 搭配自托管 Langfuse,或采用支持本地 Helm 部署并保留版本历史的 Orq.ai;Orq.ai 企业版可提供审计日志,但价格尚未公布。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    德国小银行自托管 Llama 3.3 70B 的审计难题:提示词版本可追溯怎么做

    德国一家小银行的三人 ML 团队用两块 A100 和 vLLM 自托管 Llama 3.3 70B 建设内部政策助手,却无法追溯上月错误回答对应的提示词及文档版本。团队考虑以 LiteLLM 搭配自托管 Langfuse,或采用支持本地 Helm 部署和版本历史的 Orq.ai;企业版提供审计日志,但定价未公开。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。