쉬운 설명
로봇에게 커피를 가져오라고 시켰는데 중간에 컵을 놓치거나 문을 못 열면 어떻게 될까요? 지금까지 나온 로봇 AI는 대부분 일이 다 끝난 뒤에야 "아, 아까 실패했구나" 하고 알아차리는 방식이었습니다. 이미 엎질러진 물인데 말이죠.
Zetta는 바로 이 문제를 해결하기 위한 프로젝트예요. 로봇이 움직이는 도중 실시간으로 "어, 이거 뭔가 잘못되고 있는데?"라고 빠르게 알아채고, 즉시 대처법을 찾아 바로잡는 시스템입니다. 운전하다가 차선을 잘못 들었을 때 바로 핸들을 꺾어 고치는 것처럼, 로봇도 일하는 도중에 스스로 판단하고 바로잡을 수 있게 만든 거랍니다.
요약
Zetta는 로봇을 움직이는 핵심 AI 모델(눈으로 보고 언어를 이해해 행동하는 VLA 모델)을 굳이 다시 학습시키지 않고도, 그 위에서 실시간으로 실패를 감지하고 복구해 주는 '하네스(Harness)'라는 관리 시스템을 제안합니다. 하네스는 쉽게 말해 로봇 AI를 현장에서 지휘하는 감독관 소프트웨어인데요. 기존 방식은 정해진 순서대로만 행동하고 작업이 다 끝난 뒤에야 원인을 되돌아보는 구조였습니다. 하지만 로봇의 실패는 밀리초(1/1000초) 단위로 눈 깜짝할 사이에 벌어지다 보니, 덩치가 큰 거대 AI 모델로는 이렇게 빠른 속도에 맞춰 즉각 판단을 내리기 어려웠습니다.
Zetta는 이 문제를 코드로 영리하게 풀어냈습니다. 서로 다른 속도로 돌아가는 세 가지 루프(반복 처리 과정)를 설계한 건데요. 아주 빠른 주기로는 로봇의 움직임을 제어하고, 중간 주기로는 실패를 판단해 대처법을 제시하며, 가장 느린 주기로는 이를 검증해 새로운 기술로 시스템에 반영합니다. 그 덕분에 로봇 시뮬레이션 표준 시험(벤치마크)인 LIBERO-Pro와 RoboCasa에서 각각 90.8%, 93.6%라는 뛰어난 성공률을 달성했고, 처리 속도도 기존보다 11.1배나 빨라졌습니다.
활용 포인트
로봇공학이나 자율 시스템을 개발하고 계신다면, Zetta의 깃허브 저장소(air-embodied-brain/Zetta-Embodiment)를 클론해 LIBERO-Pro나 RoboCasa 시뮬레이션 환경에서 직접 테스트해 보실 수 있습니다. 저장소에 Python 3.10~3.12를 지원하는 가상환경 스크립트와 Docker 이미지가 잘 마련되어 있어서 개발 환경을 손쉽게 세팅할 수 있거든요. 특히 이미 학습해 둔 VLA 정책 모델을 그대로 둔 채 그 위에 감시·복구 레이어만 얹는 구조라, 기존 모델을 처음부터 다시 학습시키는 비용 없이 신뢰성을 높이고 싶은 팀에 훌륭한 레퍼런스가 됩니다.
기획자나 제품 담당자분들에게도 좋은 힌트를 줍니다. '작업 실행 중 실시간 오류 감지 및 복구'라는 개념은 로봇뿐 아니라 일반 자동화 시스템에도 얼마든지 응용할 수 있거든요. 예를 들어 챗봇이나 업무 자동화 워크플로우를 설계할 때도 결과를 다 낸 뒤 검토하기보다, 중간중간 상태를 체크해 곧바로 개입하는 구조를 넣으면 서비스 안정성을 크게 끌어올릴 수 있습니다. 학생이나 연구자라면 arXiv 논문을 살펴보면서 '주기가 서로 다른 여러 루프를 어떻게 유기적으로 설계했는지' 구조를 공부해 보시는 걸 추천합니다.
주의 사항
이 글에서 소개해 드린 수치(90.8%, 93.6%, 11.1배 등)는 논문에 명시된 특정 실험 조건(현재 롤아웃 예산 기준)에서 측정한 결과이므로, 실제 로봇 하드웨어나 다른 환경에서도 똑같은 성능이 나온다고 보장하기는 어렵습니다. 또한 이번 프로젝트는 시뮬레이션 환경(LIBERO-Pro, RoboCasa)을 중심으로 검증되었으며, 실제 물리 로봇을 이용한 대규모 검증 결과는 원문에 자세히 나와 있지 않습니다. 아울러 깃허브 저장소는 지금도 활발히 업데이트되는 중이라 설치 방법이나 세부 API가 달라질 수 있다는 점도 기억해 주세요.
자체 검증
원문 자료 세 곳을 꼼꼼히 교차 확인해 본 결과, Zetta가 VLA 정책 모델의 가중치를 다시 학습시키지 않고 코드 기반의 실시간 감시·복구 기능을 더했다는 핵심 내용은 모든 자료에서 일관되게 나타납니다. LIBERO-Pro 90.8%, RoboCasa 93.6%, 11.1배 속도 향상이라는 수치 역시 논문 초록과 깃허브 저장소 설명에 동일하게 적혀 있어 신뢰할 수 있는 정보임을 확인했습니다. 다만 '세 가지 시간 주기로 나뉜 루프'의 세부 알고리즘이나 'Aha Moment'라는 표현이 정확히 어떤 기술적 메커니즘을 뜻하는지는 요약본만으로 다 파악하기 어려우므로, 더 깊은 내용이 궁금하신 분들은 원문 논문 전문을 꼭 확인해 보시기 바랍니다.
태그
#AI #로봇공학 #VLA #에이전트 #자율주행로봇 #머신러닝 #오픈소스
원문
https://discuss.pytorch.kr/t/zetta-vla/11712
https://arxiv.org/abs/2608.16590
https://github.com/air-embodied-brain/Zetta-Embodiment