---
title: "가상 오리 4,096마리가 밤새 배운 걷기: 마이크로덕으로 시작하는 피지컬 AI 강화학습"
original_title: "CONNECT AI LAB(AI 멘토 제이) 유튜브, 마이크로덕 두 마리 입양과 가상 오리 4,096마리 강화학습 편 (영상 원제는 유튜브 응답 오류로 미확인)"
source: https://www.youtube.com/watch?v=4mXhWbJObI8
author: 다비(davi.kr)
author_url: https://davi.kr/
date: 2026-09-06
tags: [피지컬AI, 강화학습, 마이크로덕, 허깅페이스, Sim2Real, PPO]
---

원본 영상: https://www.youtube.com/watch?v=4mXhWbJObI8

문서의 목적: 마이크로덕을 소재로 강화학습과 Sim2Real의 원리, 무료 실습 경로, 영상이 말하지 않은 비용과 오류를 한 장에 정리합니다.

## 쉬운 설명

허깅페이스 로봇팀 폴렌 로보틱스의 두 발 오리 로봇 마이크로덕(399달러, 25cm, 800g 미만)을 소재로, 로봇 AI가 가상에서 배우고 현실로 옮겨지는 과정을 기초부터 보여주는 영상입니다. 발표자는 두 마리를 주문(액세서리 포함 약 152만 원)하고, 로봇이 오기 전 컴퓨터 안에서 오리 4,096마리를 동시에 훈련시킵니다.

원리는 강화학습입니다. "양말을 집어라" 같은 목표를 주고 성공하면 점수(보상)를 줍니다. 로봇은 점수를 더 받으려고 스스로 시도를 반복하며 행동 규칙(정책)을 고칩니다. 학습법은 2017년 오픈AI의 PPO입니다. 4,096마리를 한꺼번에 돌리는 이유는 홍길동 분신술처럼 서로 다른 경험을 모아 하나의 두뇌에 넣기 위해서입니다. 가장 큰 벽은 Sim2Real 갭, 가상에서 잘 걷던 오리가 미끄러운 바닥이나 줄어든 배터리 앞에서 흔들리는 문제입니다. 폴렌은 모터의 마찰과 전압 변화까지 흉내 내는 BAM 모터 모델과 조건을 무작위로 바꾸는 도메인 랜덤화로 이 갭을 줄이려 합니다. 발표자가 클라우드 GPU로 약 10시간, 14,500회 학습시킨 오리는 영상 끝에서 시뮬레이션 안을 지시 방향대로 걷습니다.

## 활용 방법

1. 설치 없이 허깅페이스 Space의 브라우저 시뮬레이터에서 방향키로 오리를 움직여 보십시오. 사람이 조종하는 단계이지 AI 학습은 아닙니다. https://huggingface.co/spaces/pollen-robotics/microduck-simulator
2. 진짜 학습은 GitHub의 microduck_rl(Apache 2.0)로 하십시오. 영상 고정댓글의 명령을 안티그래비티 IDE에 붙여 넣으면 설치와 실행이 됩니다. https://github.com/pollen-robotics/microduck_rl
3. 엔비디아 GPU가 없으면 학습 명령 끝에 --hf-jobs를 붙여 허깅페이스 클라우드 GPU로 돌리십시오. 토큰은 허깅페이스 Settings의 Access Tokens에서 만듭니다.

## 전문가 의견 (사실 기반)

강점

- 강화학습과 Sim2Real을 설명으로 끝내지 않고 실제 학습 결과까지 보여주는 드문 입문 영상입니다.
- 소재가 탄탄합니다. microduck_rl은 mjlab(MuJoCo Warp)과 PPO 위에 BAM 모터 모델을 얹고 기어 유격(±1도)까지 시뮬레이션하며, 공식 README도 이 크기에서는 모터 재현이 Sim2Real 갭의 대부분이라고 밝힙니다. 발표자 설명과 일치합니다.

한계

- 모터 개수 오류: 영상은 14개라 하지만 공식 사양은 15개입니다. RL 코드가 제어하는 서보가 14개(다리 10, 목과 머리 4)이고 나머지 1개는 부리용으로 추정됩니다.
- 클라우드 학습은 무료가 아닙니다. HF Jobs 기본 GPU(L4 1장)는 시간당 0.80달러라 10시간이면 약 8달러입니다. 영상은 비용을 말하지 않습니다.
- "상업적 사용 가능" 발언은 절반만 맞습니다. 코드는 Apache 2.0이지만 3D 모델 파일은 CC BY-SA-NC(비상업)입니다.
- Sim2Real은 본인 검증 전입니다. 로봇 배송은 4~6개월 뒤이고, 영상의 성공은 시뮬레이션 안에서만 확인됐습니다.
- 발표자는 유료 강의(aicitybuilders.com)를 판매합니다. "모두가 피지컬 AI를 소유할 것"이라는 전망은 검증할 수 없는 주장입니다.

## Bottom Line

로봇 없이도 됩니다. 무료 브라우저 시뮬레이터와 공개 코드로 강화학습의 흐름을 지금 당장 직접 돌려 보십시오. 클라우드 학습 버튼을 누르기 전에 시간당 0.8달러 비용부터 계산하십시오.

---

정리: 다비(davi.kr) https://davi.kr/

## 자체 평가: 86/100

검증한 것

- 가격 399달러, 25cm, 800g 미만, 모터 15개: 폴렌 로보틱스 공식 페이지와 국내외 보도
- microduck_rl README: mjlab+PPO, BAM(XL330) 모터 모델, 도메인 랜덤화, 기어 유격, --hf-jobs 옵션, 4,096 환경에서 1~2시간, 코드 Apache 2.0과 3D 모델 CC BY-SA-NC, 서보 14개 배치
- HF Jobs L4 1장 시간당 0.80달러: 허깅페이스 공식 요금 문서
- arXiv 2410.08650은 Rhoban의 서보 마찰 모델(BAM) 논문: dblp 확인
- 폴렌 로보틱스의 2025년 4월 허깅페이스 합류: 공식 프레스킷
- 브라우저 시뮬레이터 Space와 davi.kr 접속 확인

추론한 것

- 15번째 모터가 부리 구동용이라는 점(공식 사양은 모터 수와 부리를 따로 언급)
- 발표자의 학습 비용 약 8달러(기본 L4 요금과 10시간 발언 기준)
- 영상 발행일 9월 4일(설명란의 "오늘(9/4)" 문구 기준)

감점 사유

- 유튜브 페이지가 429 응답을 반환해 영상 원제를 확인하지 못함(-6)
- 152만 원의 세부 구성과 14,500회 반복은 영상 발언에만 의존(-4)
- 요약 본문이 500토큰을 다소 넘을 가능성(-4)