#AI 操作当前界面（实验性）

Aino 可以让右侧 AI Agent 通过“像用户一样操作界面”的方式控制当前桌面应用。开启后，AI 不只会读写 Vault 文件，还能观察当前 Aino 窗口、点击按钮、切换文件、在编辑器输入内容，或操作内置浏览器中打开的网页。

#适合什么时候用

文件工具适合直接读写 Markdown；AI 操作当前界面适合处理“必须通过界面完成”的任务：

• 在左侧文件树中打开某个笔记或文件夹
• 在中间 Markdown 编辑器里定位、输入或切换编辑模式
• 在内置浏览器网页中点击按钮、等待页面变化
• 在右侧任务列表里勾选任务或切换面板
• 让 AI 边操作边确认界面是否出现了预期文本

如果只是创建、搜索或批量修改笔记，优先使用 AI 智能聊天 中的 Edit / Agent 模式；AI 操作当前界面更适合验证 UI 状态和跨面板操作。

#如何开启

1. 打开 设置 → 实验特性
2. 打开 允许 AI 操作当前界面（实验性）
3. Aino 会提示加载 aino-desktop-automation Skill
4. 你确认后，开关才会真正启用

开启后，右侧 AI Agent 会获得页面控制工具：观察当前界面、点击、输入、按键，以及等待某段文本出现。

#可以控制哪些区域

当前能力面向正在运行的 Aino Desktop 窗口：

AI 每次执行前通常会先观察页面快照，再根据可见文本、按钮、输入框或稳定的界面标识来点击和输入。

#Prompt 示例

你可以直接在右侧 Agent 模式里描述目标：

请先观察当前 Aino 界面，然后打开左侧的「项目计划.md」。
在编辑器末尾追加一条待办：- [ ] 给自动化控制写文档。
最后打开右侧任务列表，确认这条任务已经出现。

操作内置网页时，可以这样写：

请观察当前内置浏览器页面，点击页面里的「继续」按钮。
等页面出现「完成」后告诉我结果。每一步都先确认页面状态。

#与权限开关的关系

AI 操作当前界面只控制“看见的界面”。它不会自动绕过其他安全设置：

• 允许写入 / 更新工具：控制普通模型和 MCP 写入类工具是否可用
• 允许删除工具：控制删除类 MCP 工具是否可用
• AI 操作当前界面：位于 设置 → 实验特性，控制 AI 是否能操作当前 Aino 窗口

如果 AI 通过界面点击了删除按钮或提交按钮，这仍然是真实界面操作。进行敏感操作前，应让 AI 先说明计划并等待你的确认。

#给 CLI Agent 使用

开启该开关后，本机 CLI Agent 也可以通过 aino-desktop-automation Skill 使用同一条本地桥接能力。适合你在 Claude Code / Codex 等环境里说：

使用 aino-desktop-automation 观察当前 Aino Desktop，打开任务列表并确认今天的未完成任务。

如果桥接未开启，CLI 会提示找不到本地 bridge 或状态文件。这时回到 Aino 的 设置 → 实验特性 开启即可。

#限制

• 这是实验性能力，界面布局变化可能导致 AI 需要重新观察和定位
• 它适合操作当前可见窗口，不适合后台批量处理大量文件
• 对文件内容的大规模修改，仍建议使用 Edit / Agent 模式中的文件工具并走 diff 审核

#相关操作

• AI 智能聊天 — 了解 Ask / Edit / Agent 模式
• MCP 服务器集成 — 为 AI 扩展外部工具
• LifeOS Skill — 让外部 Agent 理解 LifeOS Vault 结构