영상으로 보는 피지컬 AI

로봇 정책·물리부터 3DGS 공간·실내 장면 생성·운전자 시점 주행까지 살펴보세요. GPU 머신에서 NVIDIA GPU 도구와 CARLA·Blender를 직접 실행했으며, 영상마다 코드와 검사 방법을 연결했습니다.

새로 실행한 실험

닫히는 차단벽 앞에서 기다렸다 다시 출발

움직이는 실제 충돌체가 통로를 막습니다. 바퀴 명령을 0으로 두고 대기하다가 새 관측으로 통과할 경로를 찾으면 다시 움직입니다.

  • WorldGen
  • Isaac Sim 6.2
  • Physics Raycast Sensor
  • A*

주행하던 우회로에 상자가 들어오면

처음 센서로 계산한 경로는 고정 상자 아래쪽을 향합니다. 그 통로에 다른 상자가 들어오자 제동하고, 이후 계산한 경로로 반대편을 돌아 도착합니다.

  • WorldGen
  • Isaac Sim 6.2
  • Physics Raycast Sensor
  • A*

이전 방식: 벽이 물러나도 지도에는 관측이 남습니다

같은 거리 센서와 움직이는 차단벽에 이전 제어기를 그대로 사용했습니다. 차단벽이 빠져나간 뒤에도 통과할 경로를 찾지 못해 정지해 있습니다.

  • WorldGen
  • Isaac Sim 6.2
  • Physics Raycast Sensor
  • A*

아래쪽 통로가 막히면 위쪽으로

제어기에는 거리·현재 위치·목적지만 전달합니다. 청록색 경로는 실행 중 다시 계산하며, 미리 입력한 경유점 목록이 아닙니다.

  • WorldGen
  • Isaac Sim 6.2
  • Physics Raycast Sensor
  • A*

위쪽을 막으면 선택이 바뀝니다

계획기는 그대로 두고 추가 상자만 반대편으로 옮겼습니다. 센서 관측에 따라 실제 이동 경로가 달라집니다.

  • WorldGen
  • Isaac Sim 6.2
  • Physics Raycast Sensor
  • A*

상자 하나부터 경유점 없이

원래의 중앙 상자를 거리 측정으로 감지합니다. 비어 있는 장애물 지도에서 첫 우회 경로를 계산합니다.

  • WorldGen
  • Isaac Sim 6.2
  • Physics Raycast Sensor
  • A*

바뀐 배치에서 기존 경유점을 그대로 실행

앞선 경유점 목록을 수정하지 않고 거리 데이터도 제어에 쓰지 않습니다. 추가 상자에 실제로 막혀 목적지에 도착하지 못합니다.

  • WorldGen
  • Isaac Sim 6.2
  • Physics Raycast Sensor
  • A*

전진 명령을 줘도 충돌체는 통과하지 않습니다

같은 로봇의 두 바퀴에 같은 속도를 줍니다. 상자 앞에서 멈추는 실제 접촉과 몸체 위치를 기록했습니다.

  • Isaac Sim 6.2
  • PhysX
  • WorldGen

경유점 제어를 가까이서 보기

우회 경로를 바로 따라가는 별도 실행입니다. 대표 영상보다 가까운 시점이며 배경 발광값도 낮습니다. 상자 접촉은 보고되지 않았습니다.

  • Isaac Sim 6.2
  • PhysX
  • Waypoint feedback

주행 전에 바닥 접촉 확인하기

10cm 큐브 네 개를 바닥 충돌체에 떨어뜨립니다. 실습 기록에서 충돌체가 없는 경우와 추정 메시를 쓴 경우의 높이도 비교합니다.

  • Isaac Sim 6.2
  • PhysX
  • Collision check

이미지 한 장에서 360° 거실로 확장하기

GPU 머신에서 모델을 직접 실행한 뒤 Gaussian PLY에서 카메라를 움직여 렌더링했습니다. 깊이는 추정값이며 실제 거리의 정답은 아닙니다.

  • WorldGen
  • FLUX.1
  • DA-2
  • fVDB renderer

글로 생성한 숲길 둘러보기

GPU 머신에서 모델을 직접 실행한 뒤 Gaussian PLY에서 카메라를 움직여 렌더링했습니다. 깊이는 추정값이며 실제 거리의 정답은 아닙니다.

  • WorldGen
  • FLUX.1
  • DA-2
  • fVDB renderer

맑은 도심

CARLA 차량에 단 RGB 센서를 원래 속도로 재생합니다. 실습에서 설치·카메라 위치·프레임별 기록을 확인할 수 있습니다.

  • CARLA 0.9.16
  • Ego RGB
  • Traffic Manager

폭우가 내리는 교차로

CARLA 차량에 단 RGB 센서를 원래 속도로 재생합니다. 실습에서 설치·카메라 위치·프레임별 기록을 확인할 수 있습니다.

  • CARLA 0.9.16
  • Ego RGB
  • Traffic Manager

해 질 무렵의 젖은 주택가

CARLA 차량에 단 RGB 센서를 원래 속도로 재생합니다. 실습에서 설치·카메라 위치·프레임별 기록을 확인할 수 있습니다.

  • CARLA 0.9.16
  • Ego RGB
  • Traffic Manager

안개 낀 고속도로

CARLA 차량에 단 RGB 센서를 원래 속도로 재생합니다. 실습에서 설치·카메라 위치·프레임별 기록을 확인할 수 있습니다.

  • CARLA 0.9.16
  • Ego RGB
  • Traffic Manager

사진 한 장에서 복원한 도심

CARLA 사진을 SHARP에 넣고 fVDB로 주변 시점을 렌더링했습니다. 연구용 가중치를 사용한 단일 시점 복원이며 완전한 360° 공간은 아닙니다.

  • Apple SHARP
  • fVDB renderer
  • Single-view reconstruction

사진 한 장에서 복원한 주택가

CARLA 사진을 SHARP에 넣고 fVDB로 주변 시점을 렌더링했습니다. 연구용 가중치를 사용한 단일 시점 복원이며 완전한 360° 공간은 아닙니다.

  • Apple SHARP
  • fVDB renderer
  • Single-view reconstruction

GPU 한 대에서 네 분야 실험하기

왼쪽 위부터 시계 방향으로 cuRobo 경로, Newton 계산 재생, Alpamayo 예측 경로 재생, Cosmos 생성 영상입니다. 짧은 영상은 반복하고 Newton은 예제가 바뀝니다.

  • cuRobo
  • Newton
  • Cosmos3-Edge
  • Alpamayo2-Edge
  • Isaac Sim

들었다고 그릇에 놓은 것은 아닙니다

11월 19일 GR00T 정책 실행을 2배속으로 담았습니다. 새 시도 두 번 모두 큐브를 들었지만 그릇 배치에는 실패했습니다.

  • GR00T N1.6-DROID
  • Isaac Lab-Arena
  • Isaac Sim

같은 목적지, 새로 생긴 장애물

11월 19일 GPU에서 다시 계산한 경로입니다. 팔의 충돌 형상을 Isaac Sim에서 재생하며, 저장된 구체의 최소 간격은 약 2.17mm입니다.

  • Isaac Sim
  • cuRobo
  • AutoData
  • MimicGen
  • GR00T
  • Isaac Lab
  • Newton

주제별로 비교하기

로봇은 어떻게 움직일까

GR00T 집기 성공, cuRobo 장애물 우회 경로, AutoData 시연 재생, Newton에서 Microduck 보행 정책을 비교합니다.

  • Isaac Sim
  • cuRobo
  • AutoData
  • MimicGen
  • GR00T
  • Isaac Lab
  • Newton

눈으로 확인하는 물리

충돌체를 바꾸면 물체가 멈추는 높이가 달라집니다. 마찰은 미끄러지는 거리, 반발계수는 튀어 오르는 높이를 바꿉니다.

  • Isaac Sim
  • PhysX
  • OpenUSD
  • SimReady

작업대에서 센서 데이터까지

CAD 작업대를 열고 Replicator에서 카메라 장면을 바꿉니다. RGB·깊이·라벨과 복원한 점군을 확인할 수 있습니다.

  • CadQuery
  • OpenUSD
  • Isaac Sim
  • PhysX
  • Replicator

책상 주변에서 해 본 실험

도망가는 알람, 카드를 인식하는 과자 서랍, 마우스까지 치우는 정리 규칙, 통로 폭을 비교하는 카트를 담았습니다.

  • Isaac Sim
  • PhysX
  • OpenUSD
  • OpenCV

실험 하나씩 보기

글과 이미지로 만든 3D 공간 둘러보기

WorldGen으로 로봇 실험실·숲길·확장된 거실을 생성했습니다. 3D 공간에서 카메라를 움직인 영상을 보고, 브라우저에서도 직접 둘러보세요.

  • WorldGen
  • FLUX.1 / Nunchaku FP4
  • DA-2
  • fVDB renderer

움직이는 장애물에 멈추고 다시 출발하기

주행 중 차단벽이 닫혔다 열립니다. 이전 지도에는 관측이 남아 막히지만, 새 제어는 거리 관측으로 지도를 갱신하고 다시 출발합니다. 실제 Isaac Sim GUI를 1배속으로 녹화했습니다.

  • WorldGen
  • Isaac Sim 6.2
  • Physics Raycast Sensor
  • A*

정해 둔 경유점과 센서로 찾은 경로 비교

추가 상자가 기존 경로를 막습니다. 실제 물리 거리 센서의 측정값으로 점유 격자와 A* 경로를 만들자, 같은 로봇이 반대편으로 우회합니다. Isaac Sim GUI를 1배속으로 녹화했습니다.

  • WorldGen
  • Isaac Sim 6.2
  • Physics Raycast Sensor
  • A*

WorldGen 실험실에서 로봇 움직이기

생성한 실험실에서 이동 로봇이 상자에 막힌 뒤 후진해 우회합니다. 회복 순서는 미리 정했고, 접촉과 움직임은 Isaac Sim 6.2의 PhysX가 실제 계산합니다.

  • WorldGen
  • Isaac Sim 6.2
  • PhysX
  • OpenUSD

3DGS로 복원한 광장 둘러보기

CARLA 촬영을 fVDB로 복원했습니다. 브라우저에서 직접 시점을 움직이거나 전체 모델의 카메라 이동 영상을 볼 수 있습니다.

  • fVDB Reality Capture
  • CARLA
  • Spark / World Labs
  • Apple SHARP

운전자 시점으로 보는 네 도로 환경

CARLA에서 도심·폭우·젖은 주택가·안개를 직접 촬영했습니다. 규칙 기반 Traffic Manager의 주행이며 AI 정책 성능을 평가한 영상은 아닙니다.

  • CARLA 0.9.16
  • Unreal Engine 4.26
  • Traffic Manager

새로 생성한 집 안 둘러보기

Infinigen이 방·가구를 생성하고 카메라 경로를 정합니다. Blender Cycles로 렌더링한 절차적 생성 예제이며 신경망 월드 모델은 아닙니다.

  • Infinigen
  • Blender / Cycles
  • Procedural generation

월드 모델 생성과 주행 모델의 출력

Cosmos의 카메라 조건 영상 생성에 이어 Alpamayo 예측 경로를 Isaac Sim에서 재생합니다. 직접 만든 장면으로 각각 실행한 모델 실험입니다.

  • Cosmos3-Edge
  • Alpamayo2-Edge
  • Isaac Sim
  • OpenUSD

Newton으로 천과 케이블 움직여 보기

XPBD·VBD 천과 케이블 비틀림을 Newton에서 계산하고, 저장된 상태를 Isaac Sim에서 재생합니다.

  • Newton
  • Warp
  • OpenUSD
  • Isaac Sim

GR00T가 큐브를 그릇에 놓기까지

그리퍼가 큐브를 들고 옮긴 뒤 그릇 위에서 열리는 동작을 볼 수 있습니다.

  • GR00T N1.6-DROID
  • Isaac Lab-Arena
  • Isaac Sim

카메라 한 대에서 나온 세 가지 데이터

12프레임의 RGB, 카메라 평면 기준 깊이, 의미 분할 마스크를 비교합니다.

  • Isaac Sim
  • Replicator
  • OpenUSD

Warp로 입자 충돌 계산하기

GPU에서 입자 65,536개의 상호작용을 계산하고, 영상에는 네 개 중 하나를 표시합니다.

  • NVIDIA Warp
  • CUDA
  • OpenGL
GitHub에서 전체 실습 보기 씬과 도구 출처