AGI Hunt· NielsRogge·· 3 小时前AI 评分72
NielsRogge 分享可复现的 xdotool 计算机操控 Agent 循环
screenshot→思考→xdotool 执行:可复现的计算机操控 Agent 循环
AI 导读
NielsRogge 分享了可复现的计算机操控 Agent 循环,通过沙箱文件 API 截图,将模型返回的推理、Action 和工具调用交由 xdotool 执行点击与键盘输入。bash 在同一沙箱中运行,循环持续执行,Gradio UI 可实时展示屏幕、推理过程和点击位置,并提供在线 Demo 供试用。
来源:AGI Hunt · agihunt.info