FLUX 3 발표 “이미지‧동영상‧음성 모두 생성 가능”

AI 개발 기업 블랙 포레스트 랩스(Black Forest Labs)가 자체 개발한 AI 모델인 FLUX 3를 발표했다. FLUX 3는 이미지, 동영상, 음성 생성에 대응하는 멀티모달 모델로 지금은 동영상 생성 기능이 얼리 액세스 버전으로 출시되어 있다.

블랙 포레스트 랩스가 지금까지 출시해 온 FLUX.1 시리즈와 FLUX.2 시리즈는 이미지 생성 및 이미지 편집을 목적으로 한 모델이었다. 이번에 발표된 FLUX 3는 이미지뿐 아니라 음성과 동영상 입출력에도 대응하는 기반 모델로 개발됐으며 로봇 행동 예측으로도 확장 가능하다고 한다. 또 기존 모델과 명명 규칙이 달라 도트가 제거된 것도 특징이다. 학습 방식에는 블랙 포레스트 랩스가 개발한 자기지도 플로 매칭 프레임워크인 셀프-플로(Self-Flow)를 채택하고 있다.

FLUX 3 기능 중 동영상 생성 기능이 얼리 액세스 버전으로 출시됐다. 음성을 포함한 최대 20초 동영상을 생성할 수 있으며 텍스트에서 동영상 생성, 시작 프레임을 지정해 생성, 참고 이미지로 피사체를 지정해 생성, 참고 동영상 캐릭터를 가져와 생성, 동영상과 음성을 입력해 이어서 생성, 키프레임을 입력해 생성, 복수 동영상을 연결 등 워크플로에 대응한다.

720p에 음성 포함 10초 동영상을 생성해 사람에게 평가를 하게 하자 FLUX 3는 그록 이매진 비디오(Grok Imagine Video)에 대해 승률 69%, 시댄스 2.0(Seedance 2.0)에 대해 승률 52%, 제미니 옴니 플래시(Gemini Omni Flash)에 대해 승률 52% 성적을 기록했다. FLUX 3 하네스에는 개선의 여지가 있으며 얼리 액세스 프로그램을 통해 성능 향상이 전망된다.

블랙 포레스트 랩스는 FLUX 3로 생성한 이미지 예시도 게시했다. FLUX 3는 다양한 스타일·종횡비·해상도로 이미지를 생성하거나 편집할 수 있다. 학습 단계에서 실시된 예비 평가에서는 기존 FLUX 시리즈 대비 대폭적인 개선을 보였다고 한다. 구체적으로는 복잡한 프롬프트 처리 능력과 다국어 텍스트 렌더링 성능이 향상됐다. 이미지 생성 기능은 수 주 내에 얼리 액세스 버전이 출시될 예정이다.

나아가 블랙 포레스트 랩스는 미믹 로보틱스(Mimic Robotics)와 협력해 FLUX 3를 로봇 행동 예측 모델로 활용하는 연구도 진행하고 있다. 블랙 포레스트 랩스는 이미 차세대 모델 개발도 시작했다고 한다. 관련 내용은 이곳에서 확인할 수 있다.