【獨家實測】Claude Code Computer Use 全面支援 macOS:AI 操控電腦時代來臨,辦公自動化的終極形態
📺 影片出處:AI超元域
當 AI 能像人類一樣操控你的電腦——點擊按鈕、輸入文字、拖曳檔案——這聽起來像科幻小說,但事實是:這一天已經來了。Anthropic 最新版的 Claude Code 正式原生支援 Computer Use 功能,讓 AI 能夠直接操控 macOS 系統,完成過去只有人類才能做到的複雜任務。這不僅是技術的突破,更是辦公室自動化的一場大革命。
什麼是 Computer Use?
傳統的 AI 助手只能「說」或「寫」——它會給你建議,但無法替你執行動作。而 Computer Use 徹底打破了這個限制。透過這個功能,Claude Code 可以:
- 控制滑鼠游標,點擊任意位置
- 操作鍵盤,輸入文字或執行快捷鍵
- 截圖分析螢幕內容,理解當前畫面
- 自動操作任何應用程式
簡單來說,Computer Use 讓 Claude 擁有一雙「虛擬手」,能夠真正「操作」你的電腦。
三大實測場景:AI 真的能取代人類操作嗎?
AI超元域的影片進行了三項深度測試,驗證 Claude Code 的 Computer Use 能力到底有多強大:
| 測試項目 | 操作內容 | 測試結果 |
|---|---|---|
| ♟️ 自動下棋 | 操控 macOS 內建國際象棋軟體,AI 全自動決策 | 成功完成對弈,AI 展現策略思維 |
| 📱 APP 自動化測試 | 操控 iOS 模擬器,自動測試背單字 APP | 成功執行點擊、翻卡、滑動手勢 |
| 💻 程式開發 | 操控 Codex 桌面應用,自動開發登入頁 | 成功完成從提示詞到程式碼的完整流程 |
測試結果令人驚艷——AI 不只能「動手指」,更能「動腦筋」。它不是在做機械性的重複操作,而是真正理解任務目標後,做出合理的決策。
🚀 Claude Code Computer Use:10 分鐘快速上手
想要親自體驗 AI 操控電腦的快感嗎?跟著以下步驟,你也可以在 10 分鐘內啟動 Computer Use 功能!
步驟一:更新 Claude Code
首先,確認你已安裝最新版的 Claude Code。開啟終端機,輸入:
npm update -g @anthropic-ai/claude-code
更新完成後,輸入 claude --version 確認版本號。
步驟二:啟用 Computer Use MCP
Computer Use 功能透過 MCP(Model Context Protocol)提供。在終端機中輸入:
claude mcp add computer-use
這會啟用專門處理電腦操作的 MCP 工具。
步驟三:設定 macOS 輔助功能權限
由於 Computer Use 需要控制滑鼠和鍵盤,macOS 會要求你授權:
- 前往「系統偏好設定」→「隱私與安全性」→「輔助功能」
- 點擊左下角的鎖頭圖示解鎖
- 將你的終端機應用程式加入允許清單
- 如果有提示,確認授權
⚠️ 重要:請只授權給可信的終端機應用,避免安全風險。
步驟四:啟動 Computer Use 工作階段
在終端機中輸入:
claude --computer
或是在對話中直接告訴 Claude:「請使用電腦操作模式」
步驟五:下達你的第一個任務
現在你可以開始下達任務了!試試看:
- 「幫我開啟 Safari 並搜尋最新 AI 新聞」
- 「開啟 Xcode 並建立一個新專案」
- 「幫我整理桌面上的檔案」
觀察 Claude 如何理解你的指令、規劃操作步驟,並實際執行。
步驟六:將經驗寫入 Skill
影片中提到一個進階技巧:將成功的操作流程寫入 Claude Code 的 Skill 中,方便日後復用:
claude skill create my-automation "描述你的自動化流程"
日後只要呼叫這個 Skill,Claude 就會記住如何執行這項任務。
Claude Code 源代碼洩露:機會還是風險?
除了 Computer Use 功能之外,影片還提到一個重要消息:Claude Code 的源代碼近日透過 NPM 註冊表洩露,已被放上 GitHub,獲得數千個星星。
這對開發者社區來說是極大的好消息——現在任何人都可以深入研究 Claude Code 的內部架構,理解它是如何實現 Computer Use 功能的。但同時也引發了一些安全疑慮,畢竟完整的源代碼意味著完整的控制權。
辦公室自動化的未來
Computer Use 的出現,預示著辦公室自動化的未來方向:
| 傳統自動化 | AI 驅動自動化 |
|---|---|
| 需要編寫腳本 | 自然語言指令 |
| 處理固定流程 | 應對多變情境 |
| 需要技術背景 | 任何人都能使用 |
| 難以處理例外 | AI 自行判斷決策 |
有了 Computer Use,你不再需要學習複雜的程式碼或自動化工具。只要會「說話」,就能指揮 AI 替你操作電腦。
結語:AI 時代的下一個十年
回顧過去十年,我們見證了從智慧型手機到雲端運算的各種革命。而 Computer Use 的出現,預示著下一個十年的主戰場:人機介面的根本性轉變。
過去,我們學習操作電腦;未來,電腦將學習理解我們。這不是取代,而是進化。學會與 AI 協作,將是這個時代最重要的技能。
現在就開始體驗 Computer Use 吧——你的電腦,已經準備好為你工作了。