메타 FAIR, 멀티모달 모델 카멜레온과 오디오 워터마크 등 신규 AI 모델 5종 공개

메타의 인공지능 연구 조직인 FAIR가 텍스트·이미지 혼합 생성, 음악 제어, 멀티 토큰 예측, AI 음성 워터마크 기술을 아우르는 5종의 신규 AI 모델과 도구를 오픈소스로 공개했습니다.

단순한 모델 파라미터 경쟁에서 벗어나, 멀티모달 상호 입출력, 음악 생성의 세부 제어, 연산 효율화, 딥페이크 음성 추적 등 개발자와 연구자가 즉시 활용할 수 있는 실용적인 문제 해결에 초점을 맞췄습니다.

무엇을 할 수 있는가: 텍스트·이미지 교차 생성과 정밀한 음악 제어

카멜레온(Chameleon)은 텍스트와 이미지를 완전히 자유롭게 혼합해 입출력할 수 있는 멀티모달 모델입니다. 텍스트를 이미지로 바꾸거나 이미지를 텍스트로 설명하는 단방향 모델과 달리, 글과 사진이 섞인 입력을 받아 글과 이미지가 조화롭게 배치된 결과물을 한 번에 생성합니다.

JASCO는 프롬프트 운에 맡기던 음악 생성을 통제 가능한 작업으로 바꿔주는 텍스트 기반 음악 생성 모델입니다. 기존 MusicGen이 텍스트 설명에만 의존했다면, JASCO는 텍스트와 함께 코드 진행이나 비트 정보를 입력받아 작곡을 유도합니다. 음질을 유지하면서도 음악의 리듬과 구조를 정밀하게 제어할 수 있습니다.

485배 빨라진 음성 워터마크와 멀티 토큰 예측 기술

추론 효율화와 안전성 확보를 위한 기술도 함께 포함되었습니다.

Multi-token prediction은 단어를 한 번에 하나씩만 순차적으로 예측하던 기존 방식의 비효율을 개선해 여러 단어를 동시에 예측하도록 학습시키는 기술입니다. 이번 배포에서는 코드 완성 작업에 특화된 사전 학습 모델이 공개되어 개발 환경에서의 생성 속도와 성능을 검증할 수 있습니다.

AudioSeal은 AI가 생성한 합성 음성을 국소적으로 탐지할 수 있는 오디오 워터마크 기술입니다. 긴 오디오 파일 전체를 무겁게 해독해야 했던 기존 방식과 달리, 파일 내에서 AI가 조작한 특정 구간을 즉시 짚어냅니다. 탐지 속도가 기존 방식 대비 최대 485배 빨라 실시간 스트리밍 모니터링이나 대규모 플랫폼 검수에 적합합니다.

이와 함께 텍스트-이미지 생성 모델의 지리적·문화적 편향을 측정할 수 있는 평가 코드와 6만 5천 개 이상의 사용자 주석 데이터셋도 함께 공개되었습니다.

라이선스 및 사용 범위

공개된 결과물들은 목적에 따라 라이선스가 구분됩니다. 합성 음성 탐지 도구인 AudioSeal은 상업적 라이선스로 제공되어 기업 서비스나 보안 솔루션에 즉시 도입할 수 있습니다.

반면 카멜레온의 핵심 구성 요소와 멀티 토큰 기반 코드 완성 모델은 비상업적 연구 전용 라이선스로 배포되었습니다. 지리적 다양성 평가 코드 및 주석 데이터는 누구나 벤치마크 테스트에 활용할 수 있도록 개방되었습니다.

왜 중요한가

음성 콘텐츠 플랫폼이나 안전성 모니터링 도구를 개발하는 팀이라면 상업적 이용이 가능한 AudioSeal을 바로 적용해볼 가치가 충분합니다. 값비싼 연산 자원을 들이지 않고도 실시간 딥페이크 오디오 필터링을 구축할 수 있기 때문입니다.

우리는 메타의 이번 공개가 매우 현실적이고 영리한 전략이라고 봅니다. 벤치마크 점수 자랑 대신 멀티모달 네이티브 결합, 제어 가능한 생성, 고속 보안 인프라처럼 현장에서 가장 목말라하는 기술적 블록을 배포함으로써 오픈소스 진영 내 메타의 영향력을 한층 더 견고하게 다지고 있습니다.