Computer Use — AI가 화면을 보고 마우스·키보드로 앱을 직접 다루기
클로드가 맥 화면을 캡처해 보고 클릭·입력으로 앱을 직접 확인합니다. 켜는 법과 안전장치, 잘 쓰는 요령을 정리했습니다.
Computer Use(컴퓨터 사용) 는 클로드가 화면을 캡처해 보고, 마우스와 키보드로 앱을 직접 조작하는 기능입니다. 따로 설치하는 스킬이 아니라 Claude Code에 들어 있는 기능입니다. 공식 문서 기준으로 macOS용 연구 미리보기 이고, Pro 또는 Max 요금제에서 쓸 수 있습니다(Team·Enterprise 요금제는 제외).
언제 쓰나
명령어나 API가 없는 프로그램을 다뤄야 할 때 — 디자인 도구, iOS 시뮬레이터, 회사 전용 프로그램 등
만든 앱을 실행해 버튼을 하나씩 눌러 보며 확인하고 싶을 때
창 크기에 따라 깨지는 화면을 재현하고 캡처할 때
클로드는 가장 정확한 도구부터 씁니다. 연결된 MCP가 있으면 그것을, 터미널 명령으로 되면 Bash를, 웹 작업이고 Claude in Chrome이 있으면 그것을 쓰고, 어느 것도 안 될 때 화면 조작을 씁니다. 가장 넓지만 가장 느린 방법이기 때문입니다.
어떻게 켜고 부르나
Claude Code 대화 중에 /mcp 를 입력하고 목록에서 computer-use 를 골라 Enable 합니다. 프로젝트마다 한 번이면 됩니다.
처음 화면을 다룰 때 맥이 손쉬운 사용 (클릭·입력)과 화면 기록 (화면 보기) 권한을 묻습니다. 둘 다 허용합니다.
앱을 빌드해서 실행하고, 탭을 하나씩 눌러 보면서
오류가 나는 화면이 있으면 캡처해 줘.
실제로 하는 일
필요한 앱마다 이번 세션에서 허용할지 묻습니다(허용 / 거부).
허용한 앱만 남기고 다른 앱은 잠시 숨깁니다. 터미널 창은 계속 보이지만 캡처에서는 빠집니다.
화면을 보고 클릭·입력을 반복하며 작업합니다.
끝나면 숨긴 앱을 되돌리고 결과를 알려 줍니다.
안전장치와 요령
언제든 Esc 를 누르면 바로 멈춥니다. 터미널에서는 Ctrl+C 도 됩니다.
터미널·Finder·시스템 설정처럼 권한이 큰 앱은 허용하기 전에 경고가 붙습니다. 꼭 필요한 앱만 허용하세요.
한 번에 한 세션만 컴퓨터를 쓸 수 있습니다.
글자가 작아 잘못 읽으면 앱 안에서 글자 크기를 키우세요. 캡처는 자동으로 줄여서 보내집니다.
화면에 보이는 글이 엉뚱한 지시를 담고 있을 수 있습니다(프롬프트 주입). 중요한 계정·결제 화면은 맡기지 않는 편이 안전합니다.
명령어로 안 되는 마지막 한 걸음은 클로드가 화면을 직접 눌러 확인합니다.