블랙포레스트랩스, 멀티모달 AI 학습 기법 ‘셀프-플로우’ 발표

이미지 생성 AI FLUX 시리즈로 알려진 블랙 포레스트 랩스(Black Forest Labs)가 생성 AI를 학습시키기 위한 새로운 접근법인 자기 지도 플로우 매칭(Self-Supervised Flow Matching, Self-Flow)을 발표했다. 셀프-플로우는 생성 모델을 자기 지도 학습(Self-Supervised Learning) 방식으로 효율적으로 학습시키기 위한 구조로 학습 효율을 대폭 향상하고 이미지 생성 시 텍스트 렌더링 정확도 향상 등을 실현하고 있다.

셀프-플로우는 이미지·영상·음성을 생성하는 AI 모델에서 표현과 생성을 통합 모델링해 외부 모델이나 교사 데이터를 사용하지 않고도 일관되게 기존 생성 AI 학습 기법을 상회하는 성능을 발휘하는 자기 지도 플로우 매칭 프레임워크다.

셀프-플로우는 인간 얼굴이나 손 같은 구조적 일관성 외에도 텍스트 렌더링 정밀도에서 대폭적인 개선을 가져온다. 또 인간 동작과 표정, 동물 움직임, 액체 흐름 등을 기존 학습 기법보다 훨씬 적은 학습 스텝으로 더욱 자연스럽게 생성해낸다.

셀프-플로우가 지닌 특징 중 하나인 자기 지도 학습은 AI가 외부에서 학습 데이터 레이블을 부여받지 않아도 데이터 내 구조와 관계성을 스스로 학습할 수 있는 기법이다. 스테이블 디퓨전(Stable Diffusion)이나 FLUX 등 생성 AI는 확산 모델(Diffusion Model)로 주로 노이즈 제거를 목적으로 학습하기 때문에 의미론적 이해를 내부 표현으로 충분히 발전시키기 어렵다는 지적이 있었다. 자기 지도 학습을 적용함으로써 학습 효율 향상과 비용 절감이 기대된다.

또 셀프-플로우에서는 동일한 데이터에 서로 다른 노이즈 레벨을 부여한 교사(EMA 모델)와 학생을 준비하고 학생이 보다 깨끗한 내부 표현을 예측하는 자기 증류(Self-Distillation) 구조를 채택하고 있다. 이 접근법을 통해 모델은 내부 의미 이해를 심화하도록 유도되며 효과적으로 생성 방법을 학습하는 동시에 세계를 인식하는 방법을 습득한다.

셀프-플로우를 도입한 결과 전체 모달리티에서 학습이 안정 상태에 도달하기까지의 효율성이 2.8배까지 향상됐다고 밝혔다. 또 영상의 시간적 일관성 향상, 텍스트 렌더링 및 타이포그래피의 선명도 개선 등 효과도 보고됐다.

블랙 포레스트 랩스는 향후 과제로 세계 모델(World Model)을 언급했다. 생성 AI를 위한 학습 기법인 셀프-플로우는 AI가 단순히 외관을 모방하는 데 그치지 않고 물리 법칙이나 사물 관계성을 지각적 근거를 바탕으로 이해하기 위한 경로를 제공할 가능성이 있다. 실제로 셀프-플로우 6억 7,500만 파라미터(Parameter) 버전을 파인튜닝해 복잡한 다단계 태스크에서 현저히 높은 성공률을 달성했다고 보고됐다.

셀프-플로우 기술적 세부 사항은 깃허브에 공개되어 있다. 현재 기준으로 셀프-플로우는 연구 프리뷰 단계지만 향후 상용 API 및 오픈 웨이트 제품에 통합될 가능성이 높은 것으로 전망된다. 관련 내용은 이곳에서 확인할 수 있다.