Physical AI, 용어와 구조부터

ChatGPT 같은 LLM은 다음 단어를 내놓지만, 로봇 AI는 다음 순간의 관절 각도를 내놓아야 한다는 표로 비교합니다.

학습 데이터에 있던 블록 위치에서도 실패했다면 일반화 문제가 아니라 정밀도 문제로 진단합니다.

글을 잘 쓰는 챗봇도 컵 하나를 집어 식기세척기에 넣지는 못한다는 대비로 설명합니다.

최종 프로젝트에서 바꾸는 것은 세계·시연자·성공 판정·명령 문장뿐이고 IK, 카메라, 데이터셋 형식, 학습 명령은 그대로입니다.

앞 장의 프로그램은 블록 좌표, 역기구학, 다섯 단계 상태 기계가 필요했지만, ACT는 이미지만 보고 바로 행동을 냅니다.

높이 상수 하나가 5 mm 어긋나자 성공률이 0%가 되었습니다. 산업용 로봇 대부분이 이 방식입니다.

Embodied AI는 연구 관점, Physical AI는 산업·제품 관점을 조금 더 강조하는 이름으로 구분합니다.

1차원 세계에서는 +1 또는 -1이었고, SO-101 로봇팔에서는 길이 6짜리 실수 배열입니다.

ACT 모델이 이 방식을 써서 묶음을 실행한 뒤 다음 관측에서 다시 계획합니다.

5부 실습에서는 신경망 정책이 에이전트 역할을 합니다.

정책 자리에 if문, IK와 상태 기계, PPO 신경망, ACT, SmolVLA, 그리고 LLM이 차례로 들어갔습니다.

LLM 에이전트와 로봇을 나란히 놓으면 둘 다 관측→판단→행동을 반복하고, 환경이 디지털이냐 물리 세계냐만 다르다고 정리합니다.

LLM이 사진으로 블록 위치를 1.5 cm 잘못 추정해 빈 집게를 옮겼지만, 다시 사진을 보고 블록이 그대로인 것을 알아채 위치를 고쳐 성공했습니다.

관측→판단→행동을 도는 세 줄 루프 자체가 닫힌 고리입니다.

실습의 LineWorld 클래스가 환경이고, 2부부터는 MuJoCo 시뮬레이터가 환경 역할을 합니다. 책상·블록·조명은 물론 로봇 팔 자체도 환경에 포함됩니다.

실습에서는 위치와 목표가 든 딕셔너리였고, 로봇에서는 카메라 이미지·관절 각도·그리퍼 개폐 여부가 됩니다. 관측을 무엇으로 줄지가 문제의 난이도를 좌우합니다.

AI 에이전트의 관측(도구 결과)·판단(LLM)·행동(도구 호출)이 로봇의 관측(카메라·센서)·판단(정책)·행동(관절 목표)과 칸칸이 대응합니다.

처음엔 if문 하나로 만든 정책이 책이 진행되며 강화학습 신경망, ACT, VLA로 바뀝니다.

3부까지는 시뮬레이터에서 블록 좌표(State)를 바로 읽고, 4부부터는 카메라 이미지(Observation)만으로 블록을 찾게 해서 난이도 차이를 체험합니다.

선을 따라가는 로봇카라면 카메라 한 장을 보고 바퀴 속도를 한 번 정하는 것이 1 스텝입니다. 목표까지 7 스텝 걸렸다면 고리를 일곱 번 돈 것입니다.

ACT는 2.5초마다 다시 보므로 블록을 살짝 밀어도 다시 찾아갈 수 있습니다.

관절 6개의 각도를 실수로 정하는 로봇팔 제어.

격자 세계에서 위·아래·왼쪽·오른쪽 네 방향을 0~3 정수로 고르는 것.

비전 Pick and Place는 시작할 때 사진 한 장만 찍는 열린 고리라 블록이 밀리면 실패합니다. 매 단계 다시 찍으면 닫힌 고리가 됩니다.

블록이 예상 위치에서 1cm만 벗어나도 실패하는 것이 Rule 기반 Pick and Place가 취약한 이유로 연결됩니다.

카메라는 물체의 앞면만 볼 뿐 뒷면이나 무게는 알 수 없습니다.

격자 세계에서 reset()은 에이전트를 (0,0)으로 돌려놓고, step()은 이동 후 보상과 done을 함께 알려 줍니다.

VLA에 이미지·언어 명령과 함께 Robot State를 넣어 행동을 얻는 그림으로 나옵니다.

Pick and Place의 각 단계는 '목표 위치로 이동'과 '집게 조작' 두 동작으로만 이루어지며, Lift 뒤 블록이 안 올라오면 실패로 끝냅니다.

이미지 분류가 (사진, 라벨)을 배우듯, 여기서는 (카메라 화면+관절각, 행동)을 배웁니다.

파인튜닝 전 SmolVLA는 0%였지만, 우리 데이터셋으로 파인튜닝하자 평균 23% 성공했습니다.

책에서는 로봇이 없으므로 3부의 규칙 기반 프로그램이 지치지 않는 자동 시연자가 되어 데이터를 만듭니다.

로봇 시연 50번으로 '빨간'의 뜻까지 가르치기는 어렵지만, VLM은 그 지식을 이미 가지고 시작합니다.

5×5 격자에서 100번 돌리면 우연히 33%쯤 성공하지만, 규칙 정책은 매번 최단 8걸음에 도착합니다.

'블록에 가까우면 +1'처럼 보상을 잘못 주면 로봇이 블록 옆에서 손만 흔들 수도 있다는 예를 듭니다.

목표 도착 +10, 시간 초과 -1, 매 걸음 -0.1로 '빨리 도착할수록 좋다'를 표현합니다. 모방학습에는 보상이 없습니다.

'목표가 오른쪽이면 오른쪽으로 한 칸'이라는 규칙 정책은 격자 세계에서 100% 성공하지만 벽 하나만 생겨도 갇힙니다.

'빨간 블록을 상자에 넣어'라는 문장과 이미지를 넣으면 행동이 나옵니다. RT-2, OpenVLA, π0, SmolVLA로 발전해 왔고, 학습 방식 자체는 모방학습입니다.

블록을 살짝 밀어 놓은 뒤처럼 시연자가 가 본 적 없는 상태에서 로봇이 점점 더 엇나갑니다.

활용만 하면 더 좋은 행동을 영영 못 찾고, 탐험만 하면 보상이 낮습니다.

SmolVLA는 Vision Encoder와 언어 모델을 고정해, 4.5억 파라미터 중 약 1억만 학습합니다.

5부의 정책은 14개 숫자를 받아 은닉층 2개(각 64 뉴런)를 거쳐 관절 목표 변화량 5개를 내놓습니다.

Stable-Baselines3로 PPO 모델을 만들고 learn()을 부르면 학습이 시작됩니다. 이 책은 강화학습 알고리즘으로 PPO 하나만 씁니다.

가까이 가는 것만 보상하면 블록 옆에서 손만 흔들 수 있습니다. 로봇팔 실습에서 보상 식만 바꿔 성공률이 46%와 100%로 갈렸고, 손가락 방향은 보상에 없어 배우지 않았습니다.

점 환경은 랜덤 성공률이 8%라 희소 보상도 통했지만, 로봇팔은 랜덤 성공률 0%라 희소 보상이 46%에 그쳤고 밀집 보상은 96%였습니다.

ACT는 예측한 행동 묶음과 시연의 정답 행동 묶음 차이를 줄이도록 학습합니다.

z를 0으로 고정하므로 ACT는 같은 입력에 늘 같은 행동을 내고, 결과가 noise에 흔들리지 않습니다.

SmolVLA는 잡음에서 출발해 10단계로 행동 묶음을 다듬습니다. 그래서 출발 noise가 달라지면 행동도 달라집니다.

시연자가 장애물을 어떤 때는 왼쪽, 어떤 때는 오른쪽으로 돌면 평균인 가운데로 가서 부딪힙니다.

로봇팔 실습에서 shaped 보상은 100% 성공으로 가장 좋았습니다. 도달 보너스가 '근처에 머물기'와 '실제 도달'을 구분해 줍니다.

실패 원인을 고치려고 켜 보았지만 오히려 0/6으로 나빠졌습니다.

중력을 달의 값(-1.62)으로 바꾸면 블록이 책상에 닿는 시간이 2배로 늘고 튕긴 뒤 한참 만에 멈춥니다.

가상 세계에서는 하루에 수만 번 실패해도 되고, 중력·마찰을 마음대로 바꾸며, 모든 물체 좌표를 언제든 읽을 수 있습니다.

장면에는 top(위 80 cm에서 내려다봄), fixed(비스듬히), side, front, wrist_cam(손목에 달림) 카메라가 있습니다.

레고 블록 한 조각에 비유하며, 관절 없는 책상 바디는 블록이 떨어져도 밀리지 않습니다.

책상에 떨어진 블록이 멈춘 뒤에도 높이 값이 아주 조금씩 떨리는데, 시뮬레이터가 맞닿은 면을 살짝 말랑하게 계산하기 때문입니다.

떨어지는 공이나 굴러가는 블록에 붙이며, 위치 3개와 자세(쿼터니언) 4개로 7개의 값을 가집니다.

기울인 책상에서 마찰 값을 1.0과 0.05로 바꿔 블록이 미끄러지는지 비교해 봅니다.

블록의 겉모습에 해당하며, 상자의 size는 절반 길이, 구의 size는 반지름입니다.

외관 차이를 줄여 현실 격차를 본격적으로 좁히거나 천·액체 같은 복잡한 장면, 휴머노이드가 필요할 때 넘어갑니다.

home 키프레임은 팔을 위로 세워 손을 41 cm 높이에 둔 대기 자세로, 블록을 치거나 카메라를 가리지 않도록 두 번 고쳐 만들었습니다.

IK를 풀 때는 mj_forward만 수백 번 부르며, 실제 상태를 건드리지 않으려 사본 데이터를 씁니다. qpos를 바꾼 뒤 위치를 읽으려면 mj_forward가 필요합니다.

기본 간격은 0.002초라서 1초를 흘리려면 500스텝을 돌립니다.

XML 몇 줄로 바닥과 공 하나를 만들고, 중력 값 하나를 바꿔 '달에서 떨어뜨리기'를 해 봅니다.

책은 MjData가 곧 세계의 State라고 설명합니다.

ctrl에 목표 각도를 넣어도 관절이 즉시 그 각도가 되지 않고 서서히 따라갑니다. 명령(ctrl)과 상태(qpos)는 서로 다른 배열입니다.

사람 눈엔 같은 장면인데 바닥 색만 바꾸자 성공률이 50%에서 0%로, 카메라를 5 cm 옆으로 옮기자 10%로 떨어졌습니다.

SO-101의 gripperframe site는 두 손가락 사이에 있고 그 x축이 손가락 방향입니다. 처음에 z축으로 착각해 IK가 수렴하지 않았습니다.

reset/step 구조는 익숙한 형태 그대로지만 관측과 행동이 수천 개 환경 묶음으로 오갑니다.

로봇팔 학습은 CPU에서 환경 8개를 병렬로 돌려 30만 스텝을 약 4분에 끝냈습니다.

4096개 로봇의 관측을 한 번에 처리해, 규모를 수백 배 키워도 학습 시간이 비슷하게 유지됩니다.

물리 오차를 줄이는 대비책으로, 시뮬레이션 쪽 숫자를 실물에 맞춰 고칩니다.

SO-101의 구동기 6개는 모두 '이 각도로 가라'는 목표 각도를 받는 위치 제어형이며, 얼마나 세게 끌어당길지는 kp 값이 정합니다.

산업용 로봇팔이 6축인 이유이며, SO-101은 관절 5개+그리퍼 1개로 6 DOF입니다.

물체를 집는 그리퍼가 대표적인 엔드 이펙터입니다.

리더와 팔로워 사이의 작은 차이가 데이터의 '목표 관절각'과 '실제 관절각'의 차이로 나타납니다.

2관절 팔에서 두 관절이 모두 0이면 손끝은 두 링크 길이의 합(0.26 m)에 있고, 두 번째 관절을 접으면 손끝이 원점 쪽으로 다가옵니다.

SO-101의 gripper 관절은 사람의 손가락처럼 집게를 열고 닫습니다. 여닫아도 손끝 위치는 변하지 않습니다.

블록 위 8 cm를 목표로 IK를 풀자 오차 0.9 mm로 관절각을 찾았고, 팔 길이 밖인 45 cm 앞은 오차가 줄지 않아 '못 간다'는 신호가 나왔습니다.

경첩이나 레일에 비유합니다. SO-101의 shoulder_pan, elbow_flex 등이 모두 hinge 관절입니다.

사람 팔의 위팔·아래팔에 해당합니다.

FK는 각 링크를 앞 링크 끝에 누적 각도로 이어 붙이는 원리로 손끝 위치를 구합니다. SO-101은 관절이 5개입니다.

블록을 Z축으로 45도 돌려 놓으면 위치는 그대로지만 자세가 바뀝니다.

블록 위로 손 보내기→내려가기→집기→들어 올리기→상자 위로 옮기기→놓기를 규칙으로 먼저 완성합니다.

손을 블록 위로 보낸다는 것은 손끝 위치를 블록 위로, 손가락 방향을 아래로 맞춘다는 뜻입니다.

pos="0.25 0 0.015"는 로봇 앞 25 cm, 바닥에서 1.5 cm 높이라는 뜻입니다.

공장 용접 로봇은 부품이 1cm만 어긋나도 실패하는 반면, Physical AI는 처음 보는 컵이나 다른 조명에서도 동작하는 것을 목표로 합니다.

관절 이름이 역할을 말해 줍니다: shoulder_pan(좌우 회전), shoulder_lift(들어 올림), elbow_flex(팔꿈치), wrist_flex·wrist_roll(손목), gripper(집게).

MuJoCo의 xpos, xquat 값은 월드 좌표계 기준의 Pose입니다.

대기 자세에서 곧바로 낮은 높이로 가면 팔이 옆에서 들어가 블록을 밀어 버리므로 먼저 위 8 cm로 갑니다.

LLM은 한 번 답하는 데 수 초가 걸려 직접 모터를 제어할 수 없습니다. 그래서 굴러가는 물체 잡기나 힘 조절이 필요한 일은 학습된 정책 몫입니다.

윗층 LLM은 0.2~2 Hz로 목표를 정하고, 아래층 제어기는 수백 Hz로 관절을 움직입니다. 윗층을 유지한 채 아래층 시뮬레이터나 로봇만 바꿀 수 있습니다.

로봇 자신의 상태(Robot State)를 알려 주며, 시뮬레이션에서는 qpos가 이것에 해당합니다.

블록이 받침대에 너무 가까우면 손가락을 아래로 향하는 자세가 관절 한계에 걸려 IK 오차가 커지고 집기에 실패했습니다.

로봇에게 주는 명령은 '손을 저기로'가 아니라 '관절 6개를 이 각도로'입니다.

관절을 하나씩 움직이며 손끝 좌표가 어떻게 바뀌는지 보는 실습이 운동학의 맛보기이고, 3부에서 본격적으로 다룹니다.

move_arm은 목표 관절각을 정해진 시간에 걸쳐 나눠 보냅니다. 한 번에 넣으면 팔을 세게 휘둘러 블록을 치거나 실물에서는 위험합니다.

휠-레그 로봇이 앞으로 기울면 바퀴를 그만큼 앞으로 굴려 다시 세우는 것 — P·I·D 세 숫자를 바꾸며 잘 서는 값을 찾습니다.

어깨·팔꿈치 쪽 관절 3개는 손의 위치를, 손목 관절은 손의 자세를 주로 바꾼다는 역할 분담을 실습으로 확인합니다.

강성이 높고 팔이 가벼워 IK가 계산한 각도와 실제 도달 각도의 차이가 1 mm 미만이었습니다.

이 책의 장면은 받침대가 원점에 있어 월드 좌표와 같지만, 실제 로봇에서는 거의 항상 다릅니다.

이동 속도도 LLM에게 맡기지 않고 도구가 거리에 비례해 정했습니다. 1초에 30 cm를 옮기자 관성으로 블록이 빠졌기 때문입니다.

실물 서보는 각도를 도나 모터 틱 단위로 다뤄, 라디안을 쓰는 시뮬레이션 데이터와 합치려면 단위를 맞춰야 합니다.

SO-101은 위치만 맞추면 39 cm까지 닿지만, 손가락을 아래로 향한 채로는 약 28 cm가 한계입니다.

이 책에서는 쓰지 않고 집게가 멈춘 각도로 잡았는지를 대신 판단합니다.

상자는 벽 때문에 마스크 무게중심이 실제 중심과 달라 블록보다 오차가 컸습니다. 물체마다 잡을 지점을 정해야 하는 이유입니다.

이 책의 로봇팔 실습에서는 다루지 않습니다.

DLS의 감쇠 항은 특이점 근처에서 관절 변화가 터무니없이 커지는 것을 막습니다.

버스 사진에서 bus 상자 (4, 229, 796, 728)처럼 출력됩니다.

'이 사진은 고양이'처럼 답하지만 어디에 있는지는 알려 주지 않아 로봇이 집기에는 부족합니다.

top 카메라의 깊이 최댓값 0.8 m는 바닥까지 거리이고, 블록은 바닥보다 3 cm 가까운 작은 사각형으로 보입니다. 실물로는 Intel RealSense 같은 깊이 카메라가 있습니다.

검출 결과 하나는 클래스('cube'), 신뢰도(0.94), 경계 상자 좌표로 이루어집니다.

일반판과 headless판 두 가지가 같이 설치되는데, 둘 다 cv2라는 같은 모듈 이름을 제공하므로 같은 버전으로 고정해 둡니다.

책의 비교 실험에서는 짧은 색 검출 코드가 LLM 의 사진 판독보다 블록 위치를 더 정확하고 싸게 찾았습니다. 그래서 위치 찾기는 전용 비전이, 무엇을 할지는 LLM 이 맡는 식으로 나누는 편이 낫습니다.

640×480, 30 fps 영상 270장은 9초 분량이며, 배열 모양은 (세로, 가로, 채널) 순서인 (480, 640, 3)입니다.

사진 속 블록이 작게 보일 때 멀어서인지 원래 작아서인지 RGB만으로는 구분할 수 없습니다.

관절 인코더(관절 각도), RGB 카메라(색 이미지), 깊이 카메라(거리), 힘/토크 센서, IMU(기울기·가속도) 등이 있습니다.

4부에서 가상 카메라 이미지를 그대로 넘겨 블록을 찾는 데 씁니다.

순서를 안 바꾸면 빨간 블록이 파랗게 보이고 색 검출이 엉뚱한 물체를 잡습니다.

MuJoCo 카메라는 자기 -z 방향을 바라보므로, 깊이 d인 점의 카메라 z 좌표는 -d가 됩니다.

파란 상자를 0.50의 낮은 신뢰도로 'TV'라고 답했습니다. 엉뚱한 물체를 집으러 가느니 안 움직이는 편이 낫다면 임계값을 높게 잡습니다.

findContours로 가장 큰 덩어리를 고르고 moments로 중심을, boundingRect로 둘러싼 사각형을 구했습니다.

top 카메라는 시야각 45도로 80 cm 위에서 바닥 세로 약 66 cm 범위를 봅니다.

OpenCV의 H는 0~179이며 빨강은 0 근처와 179 근처 두 구간에 걸쳐 있어 마스크 두 개를 합칩니다.

inRange로 빨강 범위 픽셀만 남기고, 형태학적 OPEN 연산으로 한두 픽셀짜리 잡음을 지웁니다.

대기 자세의 팔이 블록 위를 지나가 블록 픽셀의 깊이가 팔까지 거리로 읽혀 144 mm 오차가 났습니다.

이 책은 픽셀 몇 개만 3차원으로 바꾸므로 전체 포인트 클라우드는 만들지 않습니다.

블록 윗면 중심을 투영하니 (350, 240) 픽셀이었고, 그 픽셀의 깊이 0.77 m로 역투영하니 원래 좌표가 오차 0 mm로 돌아왔습니다.

블록 낙하를 30fps로 찍어 영상(mp4)으로 저장하고, 4부에서는 이 이미지를 OpenCV와 YOLO에 넘깁니다.

이미지를 32분의 1로 줄이면 특징 지도 한 칸이 12픽셀짜리 블록보다 커져 위치를 정밀하게 읽기 어려웠습니다.

색으로 만든 마스크는 사실 분할 결과이고, 거기서 중심과 사각형을 뽑아 검출 결과로 바꾼 셈입니다.

SmolVLA는 SmolVLM2의 비전 인코더를 쓰며, 이미지를 비율을 유지한 채 512×512로 맞추고 빈 곳을 채웁니다.

위에서 보는 카메라와 손목 카메라를 함께 쓰면 손이 물체를 가리는 문제를 줄일 수 있고, 6부 데이터셋 관측에 함께 들어갑니다.

세로 480 px, fovy 45도이면 f ≈ 579 px입니다. 실물 카메라는 캘리브레이션으로 이 값을 알아내야 합니다.

픽셀 (u, v)에서 이미지 중심을 빼고 초점 거리로 나눈 뒤 깊이를 곱하면 카메라 좌표의 점이 됩니다.

2023년 ALOHA 연구에서 저가 로봇팔과 수십 번 시연으로 양손 작업을 배우게 했고, 책 6부에서 직접 학습시킵니다.

LLM은 인터넷의 수조 개 토큰으로 배웠지만, '로봇이 컵을 집는 데이터'는 누군가 로봇을 움직여 만들어야 합니다.

실물에서는 사람이 조종 장치로 시연하고, 시뮬레이션에서는 프로그램이 시연하며 실패한 시연은 버리면 됩니다.

블록 위치를 무작위로 바꿔 50번 시연해 성공한 43개 Episode, 7,396 프레임을 저장했습니다.

블록 하나를 집어 상자에 넣는 것이 한 에피소드이고, '에피소드 50개짜리 데이터셋'은 시연을 50번 했다는 뜻입니다.

20 fps로 기록하면 0.05초마다 프레임이 하나씩 생깁니다.

컬러 센서 값(R·G·B)을 색깔마다 몇 번씩 모아 두면, 새 블록의 값과 가장 비슷한 예시들의 색으로 분류합니다.

숫자 14개를 받는 작은 MLP(수천 개 파라미터)부터 이미지와 문장을 받는 SmolVLA(4.5억 개)까지 크기가 다양합니다.

추론은 CPU로도 느리게 가능하지만, 파인튜닝에는 GPU나 Colab이 필요합니다.

20회 평가는 ±10%p 정도 오차가 있어서 50회로 늘려 보라고 권합니다. 성공 판정은 시뮬레이터의 실제 블록 위치로 합니다.

pretrained_model 폴더 하나가 Policy의 전부이고, Colab 세션이 끊겨도 저장된 체크포인트에서 이어 학습합니다.

COCO로 학습한 YOLO는 '블록'이라는 클래스를 몰라 시뮬레이션의 빨간 블록을 찾지 못했습니다.

무작위 위치로 배운 모델도 팔이 닿는 반경 밖의 블록은 학습한 적이 없어 다룰 수 없습니다.

시연자의 성공률이 80% 이상은 되어야 데이터 품질이 유지됩니다. 모델은 대개 시연자보다 낮은 성공률을 냅니다.

블록 이미지 수백 장에 상자를 그려 학습시키면 블록 검출기를 만들 수 있습니다. 이 책은 대신 색 기반 검출을 택했습니다.

20 fps에서 행동 50개는 2.5초 분량입니다.

ACT는 기본값으로도 대부분 동작해서 데이터셋 경로와 몇 가지 값만 정하면 됩니다.

ACT는 수 ms, SmolVLA는 수십 ms가 걸려 매 스텝 추론하면 실시간을 넘기므로 행동 묶음이 더 중요해집니다.

점 환경에서 보상이 처음 1만 스텝 안에 급히 오르고 이후 흔들렸지만 성공률은 이미 100%였습니다. 평균 보상과 성공률은 다르므로 평가는 별도 에피소드의 성공률로 합니다.

폴더는 meta(구조·통계), data(숫자 표), videos(카메라 영상) 세 부분으로 나뉩니다.

수 GB짜리 데이터셋도 메타데이터만 몇 초 만에 받아 내 로봇과 맞는지 확인하는 습관을 권합니다.

GPU가 없는 독자는 필자가 학습해 둔 체크포인트를 받아 평가 실습부터 할 수 있습니다.

실제 버스 사진에서는 버스와 사람 넷을 찾았지만, 시뮬레이션 이미지에서는 블록을 찾지 못하고 상자를 TV로 오인했습니다.

같은 자리에서 10번 반복하니 결과가 거의 같았지만, 과제가 애매하던 시기에는 같은 위치가 성공과 실패를 오갔습니다.

20,000스텝 × 배치 16 = 32만 샘플로, 7,396 프레임을 약 43번 본 셈입니다.

is_in_box는 블록 중심이 상자 가로세로 10 cm 안, 높이 5 cm 아래이면 성공으로 봅니다. 행동은 카메라로 정해도 채점은 시뮬레이터의 정답 위치로 합니다.

정책의 내용물이 if문 → 강화학습 신경망 → 시연을 흉내 내는 Transformer → VLA로 바뀌어 갑니다.

이 책은 둘 다 기본값 100 대신 50으로 두어, 50스텝마다 새로 관측하고 예측합니다.

데이터를 두 배로 늘려도 언어를 못 배운 이유로, 같은 블록 배치에서 색만 바꾼 시연 쌍이 하나도 없었다는 점이 지목되었습니다. 데이터는 양보다 구성이 중요합니다.

Action Expert가 이 방식으로 VLM 본체의 각 층에서 문맥을 읽습니다.

LeRobot은 ACT, Diffusion Policy, SmolVLA, π0를 같은 두 줄 코드로 쓰게 해 줍니다.

점 환경과 로봇팔 환경 모두 숫자 관측을 받는 MlpPolicy로 학습했습니다.

PNG로 저장하면 수 GB가 될 이미지가 MP4로는 수십 MB로 줄어듭니다.

관절 6개짜리 로봇은 뒤에 0을 26개 붙여 32차원으로 맞추고, 출력도 앞 6개만 씁니다.

VLA는 수억~수십억 개의 파라미터를 가져 학습과 추론에 GPU가 필요합니다.

기록을 끝낼 때 finalize를 부르지 않으면 Parquet 파일 끝부분이 쓰이지 않아 데이터셋을 열 수 없습니다.

흐름은 '더 큰 모델, 더 많은 데이터'였다가 SmolVLA에서 '작아도 실용적으로'라는 갈래가 생겼습니다.

학습이 끝나면 이 통계가 체크포인트 안의 전처리기·후처리기로 함께 저장되어 데이터셋 없이도 실행할 수 있습니다.

ChatGPT에게 컵을 집어 달라고 하면 손이 없어 정중하게 거절한다는 이야기로 소개합니다.

'파란 블록을 상자에 넣어'를 LLM이 '집기(파란 블록)'으로 바꾸면 아래층 정책이 행동으로 옮깁니다.

장면 상태 읽기, 집게를 좌표로 옮기기, 집게 열고 닫기, 완료 보고 네 개의 도구만으로 집기 과제를 수행했습니다.

VLM 위에 행동 출력을 덧붙이면 VLA가 됩니다.

SmolVLA의 Action Expert는 VLM 각 층과 교차 주의로 연결되어 문맥을 읽습니다.

세 색 블록 실험에서 SmolVLA는 20개 배치 중 1개에서만 문장에 따라 다른 블록으로 갔습니다. 사실상 문장을 무시했습니다.

'식탁을 치워 줘' 같은 지시를 LLM 계획자가 스킬 순서로 쪼개면, 학습된 정책이나 고전 제어가 실제 손놀림을 맡습니다.

블록을 몇 cm 높이에서 잡고, 옆으로 옮기기 전에 얼마나 들어 올릴지 같은 요령은 사람이 프롬프트로 알려 주었습니다. LLM은 그 요령을 언제 어떤 순서로 쓸지만 정했습니다.

'Pick up the red cube and put it in the blue box.'라는 문장이 처음부터 데이터셋에 들어 있어서 같은 데이터로 SmolVLA도 학습할 수 있었습니다.

한 에피소드에 1만 토큰이 넘었고 입력이 출력보다 40배 이상 많았습니다. 도구 결과를 짧게 하고 사진은 필요할 때만 찍는 것이 비용 절감입니다.

SmolVLA는 지시문을 최대 48 토큰까지 받는데, 책의 지시문은 12 토큰 남짓입니다.

도구 결과에 위치 오차와 기울어짐을 나눠 알려 주고 프롬프트 지침을 고치자 성공률이 40%에서 90%로 올랐습니다. 모델은 그대로였습니다.

RT-2는 행동을 텍스트 토큰처럼 내놓았지만, SmolVLA와 π0는 연속값을 바로 출력해 정밀도와 속도에서 유리합니다.

'빨간'이라는 단어 토큰이 이미지의 빨간 영역에 주목하는 식으로 연결합니다. SmolVLA는 32층 중 앞 16층만 써 속도를 높였습니다.

시뮬레이터는 관절 범위가 미리 정해져 있지만 실물에서는 캘리브레이션이 그 범위를 만듭니다. 리더와 팔로워를 각각 보정합니다.

같은 코드라도 중력·마찰 값이 다르면 결과가 달라진다는 관찰이 이 방법의 필요성으로 이어집니다(8부에서 다룸).

처음에는 속도와 토크를 낮추고, 키보드 중단이나 전원 스위치를 손 닿는 곳에 두며, 팔 반경 안의 사람과 깨지기 쉬운 물건을 치웁니다.

실물 모방학습에서는 Leader Arm으로 시연해야 하지만, 시뮬레이션에서는 프로그램이 그 역할을 대신합니다.

공 낙하 실험에서 공식값과 2mm 차이가 나는 것처럼, 시뮬레이션은 현실을 근사할 뿐이라는 점에서 출발합니다.

실물에서는 관절 단위(라디안 대 도), 카메라 시점, 겉모습, 지연, 안전 다섯 가지를 새로 신경 써야 합니다.

이 책은 앞의 두 단계를 시뮬레이션 프로그램으로 대신하고, 학습 명령은 실물과 똑같이 씁니다.

사람이 Leader Arm을 잡고 움직이면 Follower Arm이 똑같이 따라 움직이고, 그 동작이 기록됩니다.

2만 달러 미만 장비에 시연 50번으로 지퍼백 열기, 배터리 끼우기 등을 배우게 했습니다.

실물 로봇으로 10만 번 시도하면 며칠이 걸리고 망가질 수 있어 강화학습은 시뮬레이션에서 하지만, 그 결과를 현실로 옮기는 문제가 뒤따른다(8부).

가상 카메라는 이 값을 정확히 알지만, 실물에서는 캘리브레이션 오차와 렌즈 왜곡이 더해져 위치 오차가 5~10 mm 수준이 됩니다.

실물 로봇에서 가장 시간이 많이 드는 준비 작업으로 꼽힙니다.

책의 노트북 하나로 데이터셋 만들기부터 ACT 학습, 평가, SmolVLA 파인튜닝까지 진행합니다. 세션이 끊기면 파일이 지워지므로 체크포인트와 데이터셋을 드라이브에 백업합니다.

1~4부(시뮬레이션·운동학·비전 추론)는 CPU로 충분하고, 실측에는 RTX 3060 12GB를 썼습니다.

시뮬레이션·데이터셋·평가는 CPU로도 되지만 ACT 학습과 SmolVLA 파인튜닝은 GPU가 필요합니다. 메모리가 부족하면 배치 크기를 줄입니다.

언어 모델 분야의 Transformers 라이브러리처럼, 로봇 학습 분야의 표준 도구로 LeRobot을 내놓았습니다.

조종→기록→학습→배포라는 LeRobot의 흐름이 곧 모방학습 파이프라인이며, 6부 전체에서 씁니다.

2022년 Google DeepMind가 공개했고, 화면 없이도 실행되어 원격 서버나 Colab에서도 쓸 수 있습니다.

nvidia-smi로 드라이버를 확인하고, 파이썬에서 torch.cuda.is_available()이 True면 GPU를 쓸 수 있습니다.

uv sync로 설치되는 핵심 패키지 목록에 포함되어 있습니다.

로봇이 없어도 다른 사람이 올린 시연 데이터를 내려받아 정책을 학습해 볼 수 있습니다.

전체는 2GB가 넘지만 예제 코드는 SO-101 폴더(약 27MB)만 골라 내려받습니다.

점 환경은 관측 4개(-1~1), 행동 2개, 로봇팔 환경은 관측 14개, 행동 5개로 선언합니다.

설치 용량의 대부분을 차지하므로 디스크가 부족하면 2~4부 동안은 잠시 빼고 설치해도 됩니다.

팔 하나와 카메라 두 대를 한 컴퓨터에서 쓰는 규모에서는 파이썬 스크립트가 더 단순해서 본편에서 뺐습니다.

uv sync로 설치되는 핵심 패키지 목록에 들어 있으며 5부 강화학습에 대비한 것입니다.

점 환경에서는 목표 반경 0.05 안에 들어오면 terminated, 100스텝을 넘기면 truncated입니다.

예제 저장소에서 uv sync 한 줄이면 필자와 똑같은 버전의 환경이 만들어집니다.

설치가 꼬였을 때는 프로젝트의 .venv 폴더만 삭제하고 uv sync 로 다시 깔면 깨끗하게 복구됩니다. 가상 환경을 끄면 그 안에만 설치한 MuJoCo 를 찾지 못하는 것도 확인할 수 있습니다.

ACT 학습은 약 2 GB, SmolVLA 파인튜닝은 약 2.9 GB를 써서 RTX 3060에서도 돌아갔습니다.

이 책이 다루지 않은 분야로, 현장 배포를 원하면 Edge AI와 제어를 공부하라고 권합니다.

Linux+NVIDIA GPU에서는 MUJOCO_GL=egl, GPU 없는 Linux에서는 osmesa를 지정합니다. 결과는 (높이, 너비, 3) 크기의 RGB 배열입니다.

카메라 노드가 이미지를 보내고, 정책 노드가 받아 관절 명령을 로봇 드라이버 노드로 보냅니다.

웹캠 이미지를 발행하는 노드와 그것을 구독해 색 검출을 하는 노드를 만들어 보는 연습이 권장됩니다.

도구 실행 결과를 같은 호출 번호에 붙여 다시 보내는 왕복으로 루프를 돌립니다. 이미지는 base64 데이터 URL로 넣습니다.

카메라가 로봇 기준 어디 있는지 등록해 두면 '카메라 좌표의 이 점이 로봇 좌표로 어디인가'를 바로 얻습니다.

카메라가 이미지를 publish하고 정책이 subscribe합니다. 빠른 제어는 토픽으로, 느린 판단은 Action으로 내려보냅니다.

LeRobot처럼 API가 자주 바뀌는 도구를 쓰기 때문에 버전을 고정합니다. 결과가 다르면 먼저 버전부터 비교해 보라고 권합니다.

책은 윈도우 사용자에게 WSL2에 Ubuntu를 설치해 실습하도록 권합니다.

이 책의 장면은 로봇 받침대를 원점으로, 팔을 뻗는 쪽을 +X, 로봇 왼쪽을 +Y, 위쪽을 +Z로 잡고 단위는 미터를 씁니다.

비행기로 치면 날개 기울이기·기수 올리고 내리기·좌우로 방향 틀기이고, 로봇팔에서는 손목 비틀기·손목 위아래·팔 전체 회전에 해당합니다.

길이 l인 링크가 θ만큼 돌면 끝점은 (l·cosθ, l·sinθ)이고, 관절이 둘이면 두 번째 링크 각도가 두 각의 합으로 누적됩니다.

목표 위치에서 현재 위치를 빼면 가야 할 방향과 거리가 나오고, 벡터의 길이(norm)로 거리를 잽니다. 내적은 두 방향이 얼마나 비슷한지, 외적은 두 방향에 모두 수직인 축을 줍니다.

월드 좌표에서 받침대 위치를 빼고 받침대 회전행렬의 전치를 곱하면 로봇 기준 좌표가 됩니다. 카메라 좌표를 월드로 옮길 때도 같은 원리를 씁니다.

블록에 euler 값을 주어 기울어진 채 떨어뜨리면 구르며 자리 잡는 모습을 볼 수 있습니다.

그리퍼의 자세가 (178, -33, -177)도로 나왔는데, 이는 Pitch -147도와 사실상 같은 자세를 다르게 쓴 것입니다.

PPO, ACT, SmolVLA 모두 이렇게 학습되며, 계산은 PyTorch가 자동으로 해 줍니다. IK도 오차가 줄어드는 쪽으로 관절을 조금씩 옮긴다는 점에서 같은 생각입니다.

loss가 작아도 성공률이 높다는 뜻은 아니다. 5 mm만 어긋나도 블록을 못 집기 때문에 성공률은 따로 재야 합니다.

문장만 바꾼 차이(22.8 cm)가 seed만 바꾼 차이(26.3 cm)보다 크지 않아, 언어의 효과라고 말할 수 없었습니다. seed만 바꿔도 성공률이 5~35%를 오갔습니다.

공개 데이터셋 관절각은 도 단위로 -99~99, 우리 데이터는 라디안으로 -1.6~1.7이라 정규화가 꼭 필요합니다.

관측과 행동 값에서 평균을 빼고 표준편차로 나누어 정규화하고, 강화학습은 평균적으로 보상이 큰 행동을 찾습니다.

돌리지 않은 상태는 (1,0,0,0), Z축 45도 회전은 약 (0.924, 0, 0, 0.383)입니다. MuJoCo는 (w,x,y,z), SciPy 등은 (x,y,z,w) 순서라 주의해야 합니다.

1.92 rad은 약 110도라서 shoulder_pan은 좌우로 약 110도씩 돌 수 있습니다.

pixel_to_world 함수의 마지막 줄은 카메라 회전행렬 R과 위치 t로 카메라 좌표를 월드 좌표로 바꿉니다.

명령한 색과 일치한 비율 33%의 95% 신뢰구간이 23~46%라, 셋 중 하나를 아무렇게나 고른 경우와 구별되지 않았습니다.

FK 계산 → 오차 측정 → 자코비안 계산 → 관절각 조금 갱신을 오차가 충분히 작아질 때까지 되풀이한다(예제는 λ=0.01).

이 문제 때문에 컴퓨터 내부에서는 오일러 각 대신 쿼터니언을 씁니다.

각 관절을 0.01 rad씩 움직여 손끝 변화를 재면 수치적으로 구할 수 있고, MuJoCo는 mj_jacSite 함수로 바로 계산해 줍니다.

ACT의 z는 '이 시연이 어떤 스타일이었는가'를 담습니다.

자유 낙하 공식으로 0.2초 뒤 높이는 0.8038m인데 시뮬레이션은 0.8058m를 내놓아 2mm 차이가 납니다.