로봇이 실패를 기록하고 스스로 코드를 고치는 법, ASPIRE 살펴보기

쉬운 설명

로봇에게 물건을 집어 올리라고 시켰는데 자꾸 실패하면 어떻게 해야 할까요? 보통 사람 엔지니어라면 실패한 장면을 다시 돌려보면서 어디가 잘못되었는지 찾아내고 코드를 조금씩 고치겠죠. ASPIRE는 바로 이 과정을 로봇을 조종하는 AI(에이전트)가 스스로 하도록 만든 시스템이에요. 로봇이 작업에 실패하면 카메라 영상과 동작 기록을 꼼꼼히 살펴보고, 문제가 생긴 부분을 찾아내 코드를 고친 뒤, 다시 실행해서 잘 작동하는지 직접 확인하는 것이죠. 이 과정을 계속 반복하면서 로봇은 점점 더 다양한 일을 척척 해내게 된답니다.

요약

ASPIRE는 'Agentic Skill Programming through Iterative Robot Exploration'의 줄임말로, NVIDIA GEAR 연구실과 미시간대, UIUC, UC버클리, 카네기멜런대학교가 공동으로 개발한 '로봇 지속 학습 시스템'이에요. 이 시스템의 핵심은 로봇을 움직이는 코드를 일종의 '정책(policy)'처럼 다루는 데 있습니다. 로봇이 임무에 실패하면 코딩 에이전트가 로그와 시각 정보를 분석해서 원인을 찾고 코드를 스스로 수정하거든요. 인지(perception), 계획(planning), 잡기(grasping), 제어(control) 등 로봇이 움직이는 모든 단계마다 입력값과 출력값, 그리고 시각적인 증거까지 자세히 기록해 두기 때문에, 에이전트가 어느 단계에서 문제가 생겼는지 차근차근 범위를 좁혀가며 원인을 밝혀낼 수 있습니다.

이 기술이 주목받는 이유는, 새로운 작업에 맞춰 로봇을 프로그래밍하는 일이 여전히 사람의 손길을 많이 필요로 하기 때문이에요. 하지만 ASPIRE처럼 로봇이 실패를 스스로 분석하고 고치는 시스템이 자리를 잡는다면, 사람이 매번 코드를 새로 짜지 않아도 로봇이 새로운 작업에 척척 적응할 수 있게 됩니다. 게다가 한 번 터득한 노하우는 언제든 다시 쓸 수 있는 '스킬'로 차곡차곡 쌓이기 때문에, 작업을 반복할수록 로봇 시스템 전체가 더 똑똑해지는 놀라운 구조를 보여준답니다.

강의용 팁

학교 수업이나 강연에서는 ASPIRE를 '사람 엔지니어의 디버깅 과정을 코드로 똑같이 흉내 낸 흥미로운 사례'로 소개해 보시면 좋아요. 학생들에게 친숙한 디버깅 경험, 즉 '오류 로그를 보고, 원인을 찾고, 코드를 고친 뒤 다시 실행해 보는 과정'을 먼저 떠올리게 해 주세요. 그 후 ASPIRE가 이 똑같은 과정을 로봇 작업에 적용한 것이라고 연결 지어 설명하면 훨씬 더 쉽게 이해할 수 있습니다. 특히 '실행 로그 및 카메라 영상 기록 → 원인 좁히기 → 코드 수정 → 재실행 검증'으로 이어지는 4단계 흐름을 화이트보드나 슬라이드에 그림으로 그려 주시면 훌륭한 강의 자료가 될 거예요.

재미있는 실습 아이디어로는, 간단한 파이썬 코드나 로봇 시뮬레이터 안에서 일부러 오류를 내놓고 학생들이 직접 로그를 보며 원인을 찾아내는 미니 게임을 진행해 볼 수 있습니다. 이러한 실습을 통해 학생들은 '스스로 발전하는 AI 시스템(자기개선형 AI)'이 실제로 어떤 정보(관찰값, 입출력 데이터, 시각 자료 등)를 바탕으로 판단을 내리는지 몸소 체험해 볼 수 있으며, 이는 AI 에이전트나 자율 시스템 개념을 자연스럽게 소개하는 아주 좋은 도입부가 될 것입니다.

주의 사항

한 가지 기억해 두실 점은, ASPIRE는 현재 연구 단계에 있는 시스템이라는 사실이에요. 논문과 프로젝트 페이지를 통해 소개된 연구 결과물이기 때문에, 당장 상용 제품으로 출시되거나 실제 산업 현장에 곧바로 적용할 수 있는 단계는 아니랍니다. 또한 소개된 자료만으로는 구체적인 성능 수치나 상세한 실험 환경, 그리고 어떤 종류의 로봇들을 지원하는지에 대한 자세한 정보를 모두 파악하기 어려워요. 따라서 실제 기술이 적용되는 범위나 한계점이 궁금하시다면 공식 논문(PDF)을 직접 읽어보시는 것을 추천해 드립니다. 연구 프로젝트의 특성상 새로운 내용이 계속 업데이트되거나 바뀔 수 있다는 점도 미리 알아두시면 좋습니다.

자체 검증

관련 자료를 꼼꼼히 확인해 본 결과, ASPIRE가 'Agentic Skill Programming through Iterative Robot Exploration'의 약자라는 점과 NVIDIA GEAR 연구실을 중심으로 미시간대, UIUC, UC버클리, 카네기멜런대가 함께 협업하여 개발했다는 사실은 정확히 일치해요. 아울러 로봇의 인지, 계획, 잡기, 제어 단계마다 관찰값과 입출력 정보, 그리고 시각적인 자료를 꼼꼼하게 기록해 실패 원인을 차근차근 좁혀나간다는 핵심 메커니즘도 확실히 담겨 있습니다. 다만, 구체적인 실험 결과의 수치나 정확한 성능 향상 폭 같은 세부적인 수치 데이터는 원문 자료에 나와 있지 않아 이번 글에는 따로 담지 않았는데요. 이에 대해 자세히 알고 싶으신 분들은 원문 논문을 직접 참고해 보시길 권해 드립니다.

태그

#AI #로봇공학 #자율학습 #NVIDIA #코딩에이전트 #지속학습 #AI교육

원문

https://discuss.pytorch.kr/t/aspire-feat-nvidia/11066

https://research.nvidia.com/labs/gear/aspire/assets/Aspire.pdf

https://research.nvidia.com/labs/gear/aspire/

참고자료

ASPIRE 프로젝트 페이지 (NVIDIA GEAR)

NVIDIA GEAR Lab

Code as Policies: Language Model Programs for Embodied Control (arXiv)

PyTorch 한국 사용자 모임 - ASPIRE 소개글

← 새정보 전체 보기