原文:Threads

摘要

@krumjahn 推薦一個叫 Tapkit 的工具:把 iPhone 用線接上 Mac,裝好 Tapkit 的 Mac app,
再透過 MCP 把 Claude 或 Codex 接進來,coding agent 就能看手機畫面、點按、滑動、打字,
等於替 AI 裝上一雙操作真手機的手。貼文只有一句話加一張圖,以下補上 Tapkit 官網與文件(tapkit.ai、docs.tapkit.ai)查到的細節。

重點

  • 做什麼:讓 AI agent「使用」真實 iPhone,不是模擬器。agent 拿到的是手機截圖,再決定下一步 tap/swipe/type。
  • 怎麼接:iPhone 接上執行 Tapkit app 的 Mac;控制走 Apple 的無障礙功能(Accessibility),手機端不用裝任何東西,不用越獄、不用開發者模式。
  • 接哪些 agent:Tapkit 內建 agent、Claude Code 與 Codex 的 plugin、任何 MCP client(端點 mcp.tapkit.ai/mcp)、或用 REST API+Python SDK 自己寫。
    • MCP(Model Context Protocol):一種讓 AI 工具呼叫外部功能的標準接口,這裡就是把「操作手機」包成 agent 可以呼叫的工具。
  • Codex plugin 另有開源 repo jootsing-research/tapkit-plugins-codex,除了接 MCP server,還附常見 iOS app 的操作 skill 指引。
  • 開源替代品:barkleesanders/iphonectl(Go,走 USB+WebDriverAgent,附 Claude Code skill)、isaachorowitz/taplyne-mac(USB 擷取畫面+藍牙輸入)、mobile-next/mobile-mcp(iOS/Android 都支援)。想自己架可從這幾個下手。
  • 本次查不到:價格、macOS 版本需求、延遲與穩定度,官網首頁沒寫,要裝了才知道。

個人洞見

這跟 WebMCP 是同一個方向的不同端:WebMCP 是網站主動把功能開給 AI,
Tapkit 則是 AI 繞過 app 直接「用」手機介面,對沒有 API 的 app(銀行、外送、LINE)特別有用。
搭配 Codex/Claude Code 的常用指令,可以先拿低風險的事試:
例如叫 agent 幫忙整理手機通知、批次操作某個 app 的設定;但它能點能打字,付款類操作要自己盯著。