메타, 오픈소스 데이터 압축 프레임워크 공개했다

메타가 빠른 동작 속도를 유지하면서도 높은 압축률을 실현한 압축 프레임워크인 OpenZL을 발표했다. 특정 포맷에 최적화된 전용 압축 프로그램을 구축하고 이를 활용해 일반적인 데이터 압축 도구로는 실현할 수 없는 수준의 성능을 발휘한다고 밝혔다.

OpenZL은 구조화된 데이터에 대해 무손실 압축을 제공하며 전용 압축 도구에 필적하는 성능을 실현할 수 있다는 게 특징이다. 입력 데이터에 설정 가능한 일련의 변환을 적용해 실현되며 데이터 내 숨겨진 순서를 드러내어 보다 쉽게 압축할 수 있도록 한다. 파일 타입마다 다른 변환 조합을 적용함에도 불구하고 모든 파일은 동일한 범용 도구로 압축 해제가 가능하다.

일반 데이터 압축 도구는 획일적인 처리 전략에 의존하거나 어떤 기법을 사용할지 추측하는 데 많은 사이클을 소비한다. 이에 반해 OpenZL은 구조체를 명시적인 입력 매개변수로 해 이런 사이클을 절약하는 데 성공했다고 한다. 이를 통해 압축은 코딩 전에 패턴을 표면화하는 일련의 가역적 단계에 집중할 수 있다.

압축 절차는 먼저 사용자가 OpenZL에 데이터 형태를 제공한다. 그러면 오프라인 최적화 컴포넌트인 트레이너가 유사 데이터에 재사용할 수 있는 효과적인 압축 설정을 구축한다. 인코딩을 할 때에는 이 설정이 프레임에 내장된 구체적인 디코딩 레시피로 변환된다고 한다. 마지막으로 유니버설 디코더가 대역 외 정보 없이 레시피를 직접 실행한다.

OpenZL은 바이트 열만 다루는 일반적인 무손실 압축 도구보다 뛰어난 압축비 및 압축 속도를 실현한다. 중요한 점은 OpenZL이 데이터센터 처리 파이프라인에 있어 극히 중요한 속도를 유지 또는 향상시키면서도 더 높은 압축률을 실현할 수 있다는 점이다.

OpenZL은 오픈소스로 개발되고 있으며 깃허브에서도 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.