“동영상으로 세상 배워 로봇 움직인다” 런웨이, 프락시스-1 공개

미국 생성형 AI 기업 런웨이(Runway)가 동영상 사전학습을 실제 로봇 제어로 이어주는 오픈웨이트 월드 액션 모델 프락시스-1(Praxis-1)을 발표했다. 런웨이는 동영상 생성 AI 런웨이 시리즈와 동영상 편집 AI 알레프 2.0(Aleph 2.0)을 서비스하는 회사다.

로봇 제어 AI를 개발하려면 로봇 동작 데이터가 대량으로 필요하다. 하지만 이 데이터를 모으는 데는 큰 비용이 든다. 런웨이는 사람들이 일상에서 찍는 평범한 동영상이 확장성이 가장 높은 데이터 소스라고 봤다. 그래서 동영상 속 물체 움직임과 손동작, 작업 모습 등을 예측하도록 AI 모델을 학습시켰다.

그렇게 나온 모델이 프락시스-1이다. 프락시스-1은 파라미터 270억개를 갖춘 런웨이 동영상 기반 모델을 토대로 하며 로컬 환경에서 실행할 수 있다. 엔비디아(NVIDIA) 지포스(GeForce) 5090에서 돌릴 수 있는 NVFP4 양자화 모델도 함께 제공한다.

프락시스-1은 동영상 기반 모델을 짧은 단위로 미래를 예측하는 오픈웨이트 월드 모델로 바꾼다. 작은 액션 전문가 모듈이 기반 모델 내부 상태를 읽고 다음에 일어날 일을 상상하는 구조다. 로봇이 움직일 때마다 프락시스-1은 장면이 어떻게 보일지와 그 장면에 이르는 동작을 함께 예측한다. 구체적인 행동을 배우기 전에 동영상으로 세상이 돌아가는 원리를 먼저 익히는 단계를 거친다. 이 덕분에 폭넓게 적응하는 로봇 모델로 작동한다는 설명이다.

Today, we’re making Praxis-1 available to everyone. Our state-of-the-art world action model turns video pretraining into control for real robots, and it ships with open weights under Apache 2.0, ready to run and fine-tune on your own hardware. https://t.co/jL5ZmpY6x9

— Runway (@runwayml) November 11, 2026

◇ 로보랩-120서 최고 성적=런웨이는 프락시스-1을 평가하는 데 로봇 동작 제어 벤치마크인 로보랩-120(Robolab-120)을 썼다. 로보틱스·AI 연구용 로봇 시스템인 프랑카 리서치 3(Franka Research 3) 로봇팔도 함께 활용했다. 런웨이에 따르면 프락시스-1은 시나리오 1,200개 가운데 555개(46.2%)를 해결했다. 리더보드에 오른 월드 액션 모델과 오픈소스 로봇 기반 모델 가운데 두 부문 모두에서 가장 높은 성적이다. 기존 최고 점수를 냈던 로봇 제어용 월드 액션 모델은 플럭스 3 액션(FLUX 3 Action)이다. 플럭스 3 액션이 공개한 단일 항목 시나리오 10개를 프랑카 리서치 3로 수행한 과제에서도 프락시스-1은 88점을 받아 플럭스 3 액션(80점)을 앞섰다.

최신 멀티모달 모델도 이제 도구나 코드 인터페이스를 거쳐 로봇팔을 제로샷으로 움직일 수 있다. 오픈AI(OpenAI)가 지난 9월 발표한 GPT-6 아스트라(GPT-6 Astra)는 로봇 물체 조작 벤치마크 로보도조(RoboDojo)에서 성공률 22.5%를 기록했다. 공개된 모든 참가 모델보다 높은 수치로 로보랩-120 리더보드에서도 선두를 달리고 있다. 다만 멀티모달 모델은 월드 액션 모델보다 지연 시간과 비용 면에서 불리하다. 런웨이가 같은 과제 3개에서 프락시스-1과 GPT-6 아스트라를 함께 돌려 봤다. 그 결과 GPT-6 아스트라는 과제를 마치는 데 평균 15.6배 긴 시간이 걸렸고 완료 과제 1건당 비용은 51배 높았다.

런웨이는 프락시스-1과 프랑카 리서치 3로 작업하는 영상 여러 편을 공개했다. 지정한 물건을 봉투나 지정한 접시에 담고 머그컵을 뒤집어 쟁반에 올리며 상자 뚜껑을 닫는 장면이 담겼다. 벤치마크 점수에서 1위에 오르는 데 그치지 않고 실제 로봇이 일상 작업을 해내는 사례를 보여주는 일도 중요하다는 게 런웨이 설명이다.

◇ 스스로 개선하는 모델 지향=런웨이는 모델이 스스로 내놓은 미래 예측이 과제 성공을 가늠하는 신호도 될 수 있는지 알아보고 싶다고 밝혔다. 이번 시험 결과는 아직 초기 단계다. 하지만 회사가 가장 중시하는 방향을 보여준다고 설명했다. 상상한 미래로 자기 행동을 평가하고 개선하면서 스스로 만든 동영상 예측에서 배우는 모델이라는 것이다. 런웨이는 진정한 자기 개선형 월드 액션 모델을 목표로 이 방향의 연구를 적극 진행하고 있다고 말했다. 앞으로도 월드 액션 모델 연구에 꾸준히 투자하고 장기 사고와 자율적 계획 수립, 자기 개선 루프에 집중하겠다고 덧붙였다.

프락시스-1은 허깅페이스(Hugging Face)에 아파치 라이선스 2.0(Apache License 2.0)으로 공개됐다. 관련 코드는 깃허브(GitHub)에 올라와 있다. 관련 내용은 이곳에서 확인할 수 있다.