Understudy — OnePageDaily

LOCAL AGENT

한 번 보여주면
내 컴퓨터가 따라 배운다

Understudy는 데스크톱 자동화를 ‘워크플로 작성’이 아니라 ‘시연을 보고 배우는 동료’의 문제로 바꾼다.

브라우저, GUI, 셸, 메시징 앱을 따로 부르는 대신 하나의 로컬 에이전트 루프 안에서 섞어 쓴다. 사용자는 긴 절차서를 쓰지 않고, 평소 하던 일을 한 번 보여준다. 핵심은 클릭 좌표를 외우는 매크로가 아니라 의도, 매개변수, 성공 기준을 뽑아 재사용 가능한 스킬로 굳히는 것이다.

기본 메시징 채널

성장 레이어 설계

MIT

오픈소스 라이선스

▼ SCROLL

시연으로 배우는 로컬 에이전트의 구조

문제

자동화가 어려운 이유는 앱이 흩어져 있기 때문이다

Understudy는 GUI, 브라우저, 셸, 파일 시스템을 한 세션에서 다룬다
웹 조사부터 로컬 파일 생성까지 ‘한 문장 → 결과물’ 흐름을 데모로 제시한다

학습

버튼 위치가 아니라 일을 배운다

/teach start로 사용자의 실제 조작과 화면 흐름을 기록한다
/teach stop 이후 의도, 파라미터, 성공 기준을 뽑아 태스크 스킬 초안을 만든다

재생

한 번 배운 절차는 자연어로 다시 부른다

이미지 검색, 배경 제거, 텔레그램 전송 데모가 재사용 스킬로 출판된다
대상이 바뀌어도 ‘사람 이름’과 ‘연락처’ 같은 슬롯으로 일반화한다

라우팅

같은 일을 더 나은 경로로 바꿔 간다

브라우저 조작은 Playwright/Chrome 연결로, 다운로드는 셸 명령으로 업그레이드될 수 있다
네이티브 앱 제어가 필요한 Pixelmator Pro 같은 구간은 GUI 경로를 유지한다

파이프라인

스킬과 워커를 섞어 긴 작업을 구성한다

앱 리뷰 데모는 App Store 탐색부터 YouTube 업로드까지 6단계 플레이북으로 실행된다
워커는 결정적 절차, 스킬은 품질 게이트 안에서 자율 판단을 맡는다

현실성

오늘 되는 것과 아직 방향인 것을 구분한다

레이어 1~2는 구현되어 사용 가능하다고 밝힌다
기억 강화와 경로 최적화는 부분 구현, 선제적 자율성은 장기 목표로 남겨 둔다

같은 데스크톱 자동화, 다른 접근법

쟁점	Understudy가 택한 길	흔한 자동화/챗봇의 길
설정 방식	시연을 한 번 보여주고 대화로 스킬을 다듬는다	조건, 트리거, 액션을 워크플로 빌더에서 직접 조립한다
실행 범위	macOS GUI, 브라우저, 셸, 파일, 메시징을 한 루프에서 선택한다	브라우저나 특정 앱 커넥터 안에 갇히기 쉽다
학습 단위	의도, 파라미터, 성공 기준을 가진 태스크 스킬을 만든다	고정 프롬프트나 클릭 순서가 깨지면 다시 작성해야 한다
개선 방향	성공한 경로를 아티팩트로 굳히고 더 빠른 루트로 업그레이드한다	매번 채팅으로 재설명하거나 수동으로 레시피를 고친다

도입 전에 볼 체크포인트

🧑‍💻

웹 조사 후 랜딩 페이지 생성

한 문장 작업

📄

웹페이지 PDF 변환 후 텔레그램 전송

원격 디스패치

🖼️

인물 사진 검색·배경 제거·공유

시연 학습

📱

실제 iPhone 앱 탐색과 리뷰 영상 제작

자율 파이프라인

🧰

Skill·Worker·Playbook 조합

작업 아티팩트

💬

Telegram·Slack·Discord 등 메시징 호출

멀티 채널

데스크톱 자동화의 난점은 ‘클릭할 수 있느냐’보다 ‘내가 평소 어떤 식으로 일하는지 전달하기 어렵다’는 데 있다. Understudy는 이 병목을 워크플로 편집기가 아니라 시연으로 풀겠다고 선언한다.

사용자가 한 번 보여주면 에이전트가 의도, 바뀌는 값, 성공 확인 방법을 추출한다. 그래서 결과물은 좌표 매크로가 아니라 다시 부를 수 있는 태스크 스킬에 가깝다.

README의 데모들은 이 방향을 꽤 구체적으로 보여준다. 한 문장으로 웹 조사를 끝내고, 휴대폰 메시지로 Mac의 파일을 PDF로 바꿔 전송하며, Pixelmator Pro 같은 네이티브 앱까지 포함한 절차를 배운 뒤 자연어로 재생한다.

다만 모든 레이어가 완성된 것은 아니다. 현재 구현의 중심은 macOS에서의 네이티브 조작과 시연 학습이고, 기억의 결정화·경로 최적화는 부분 구현, 선제적 자율성은 장기 방향에 가깝다.

그래도 흥미로운 지점은 분명하다. Understudy는 자동화를 ‘규칙을 설계하는 일’에서 ‘동료에게 일을 인수인계하는 일’로 바꿔 보려 한다. 개인 컴퓨터 위에서 반복 업무를 가르치는 방식이 더 자연스러워질 수 있다.

자동화의 다음 입력은
프롬프트가 아니라 시연일 수 있다

Understudy가 설득력 있는 이유는 거창한 자율성보다 먼저, 사람이 실제로 일하는 화면을 보고 작은 루틴부터 배운다는 점에 있다.

원문 보기 · GitHub

한 번 보여주면내 컴퓨터가 따라 배운다

시연으로 배우는 로컬 에이전트의 구조

같은 데스크톱 자동화, 다른 접근법

도입 전에 볼 체크포인트

자동화의 다음 입력은프롬프트가 아니라 시연일 수 있다

한 번 보여주면
내 컴퓨터가 따라 배운다

자동화의 다음 입력은
프롬프트가 아니라 시연일 수 있다

Understudy — 시연으로 배우는 로컬 데스크톱 에이전트

Reference Links

Comments (0)