跳到正文
热点事件持续更新

NielsRogge分享计算机操控Agent循环

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

NielsRogge分享了一套可复现的计算机操控 Agent 循环:系统通过沙箱文件 API 截图,将模型返回的推理、Action 和工具调用交给 xdotool,执行点击与键盘输入,bash 也在同一沙箱中运行,形成持续循环。 该实现还提供 Gradio 界面,实时展示屏幕、推理过程和点击位置,并开放在线 Demo 供直接试用。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. AGI Hunt
    NielsRogge 分享可复现的 xdotool 计算机操控 Agent 循环

    NielsRogge 分享了可复现的计算机操控 Agent 循环,通过沙箱文件 API 截图,将模型返回的推理、Action 和工具调用交由 xdotool 执行点击与键盘输入。bash 在同一沙箱中运行,循环持续执行,Gradio UI 可实时展示屏幕、推理过程和点击位置,并提供在线 Demo 供试用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。