이제 녹화만 하면 업무자동화.
쉬운 설명
Skill Recorder는 쉽게 말하면 '내가 컴퓨터로 일하는 모습을 한 번 녹화하면, AI가 그걸 보고 똑같이 할 수 있게 배우는 도구'입니다. 예를 들어 여러분이 스프레드시트를 열고 거래처 이름을 검색해서 팀 채널에 요약을 올리는 걸 화면 녹화로 한 번만 보여주면, 이 도구가 그 과정을 분석해서 '무엇을 하려던 건지'와 '순서대로 어떤 단계를 밟았는지'를 글로 정리해 줍니다. 그리고 이렇게 정리된 절차는 AI 에이전트가 다음에 비슷한 일을 할 때 그대로 따라 할 수 있는 '기술서(스킬)'가 됩니다.
요약
AI 에이전트에게 반복 업무를 맡기려면 보통 사람이 그 절차를 하나하나 글로 적어줘야 하는데요, 문제는 손에 익숙한 작업일수록 오히려 글로 옮기기가 더 어렵다는 점입니다. 창을 전환하거나 중간에 슬쩍 확인하는 습관적인 동작들은 몸이 먼저 기억하고 있어서, 막상 매뉴얼로 만들면 그런 세세한 단계가 통째로 빠지기 쉽습니다. 그리고 이렇게 빠진 단계는 나중에 에이전트가 그 일을 대신할 때 그대로 실패 원인이 되죠.
Microsoft가 공개한 Skill Recorder는 이 문제를 사람이 받아쓰는 대신 실제 작업 화면을 녹화하는 방식으로 풀어냅니다. 화면 전환, 방문한 페이지, 원하면 음성 설명까지 기록한 뒤 GitHub Copilot CLI가 이 기록을 읽고 '무엇을 하려던 작업인지' 한 줄 요약과 순서가 매겨진 단계 목록으로 재구성해 줍니다. 이렇게 만들어진 결과물은 Microsoft Scout, Microsoft Copilot Cowork, Copilot Studio 같은 곳에서 바로 쓸 수 있는 재사용 가능한 스킬이나 자동화로 바뀝니다.
활용 포인트
실무에서는 반복적이지만 문서화하기 귀찮았던 업무들에 바로 적용해볼 수 있습니다. 예를 들어 매주 특정 웹사이트에서 데이터를 확인해 정리하는 일, 폼을 채워서 제출하는 일, 여러 시스템을 오가며 정보를 취합하는 일 등을 한 번만 화면 녹화로 시연하면, 이후에는 에이전트가 그 절차를 참고해서 비슷한 작업(예: 폼 하나 제출하는 걸 배우면 여러 개의 폼도 처리)을 스스로 처리하도록 만들 수 있습니다. 개발자라면 macOS나 Windows 11 환경에서 소스 릴리스로 설치해 gh CLI나 web_fetch 같은 에이전트 고유 도구를 우선 활용하는 방식으로 자동화 스킬을 구축해볼 수 있고, 기획자나 실무자는 코딩 지식 없이도 '내가 하던 일을 그대로 녹화'하는 것만으로 팀의 업무 매뉴얼을 자동 생성하는 용도로 쓸 수 있습니다.
또한 신입 직원 온보딩이나 사내 교육 자료 제작에도 응용할 수 있는데요, 숙련자가 업무를 한 번 수행하는 걸 녹화해두면 그 과정이 자동으로 '의도 + 단계별 절차'로 정리되니, 이를 그대로 매뉴얼화하거나 AI 에이전트용 스킬로 동시에 활용하는 식의 일석이조 효과를 기대할 수 있습니다.
주의 사항
녹화 및 저장, 화면 캡처, 음성 설명 텍스트 변환 등은 기본적으로 사용자의 컴퓨터에서 처리되지만, '분석(Analyze)'을 선택하는 순간부터는 이벤트 타임라인, 창/문서 제목, URL, 클립보드 미리보기, 캡처된 화면 이미지, 음성 텍스트 등이 GitHub 클라우드로 전송되어 Copilot이 처리하게 됩니다. 따라서 비밀번호, 액세스 토큰, API 키 등 민감한 정보는 녹화 중 절대 입력하거나 보여주지 않도록 주의해야 합니다. 또한 이 도구는 GitHub Copilot 접근 권한이 있는 계정과 Node.js 24 버전이 필요하며, macOS를 주요 대상으로 하고 Windows 11(x64, ARM64)도 지원하는 소스 릴리스 형태로 배포되므로 설치 및 버전 관리 방식이 일반 앱과 다르다는 점도 감안해야 합니다.
자체 검증
원문 자료를 대조해본 결과, Skill Recorder가 화면과 창 전환, 방문 페이지, 음성 설명을 기록하고 GitHub Copilot CLI로 이를 분석해 '의도+단계 목록'으로 재구성한다는 핵심 내용은 GitHub 저장소 설명과 정확히 일치합니다. 이 결과물이 Microsoft Scout, Microsoft Copilot Cowork, Copilot Studio용 재사용 가능한 스킬이나 자동화로 변환된다는 점, 녹화 자체는 로컬에서 이뤄지고 '분석' 단계에서만 클라우드로 데이터가 전송된다는 보안 관련 설명도 원문 그대로 확인됩니다. 다만 실제 사용 후기나 정확도, 다양한 업무 유형에서의 성공률 같은 구체적 성능 데이터는 원문에 언급되어 있지 않아 이 글에서도 다루지 않았습니다.
태그
#AI #마이크로소프트 #GitHubCopilot #자동화 #에이전트 #생산성도구
원문
https://discuss.pytorch.kr/t/skill-recorder-microsoft/11606
https://github.com/microsoft/skill-recorder