메타, 10만 토큰 지원하는 코드 생성 모델 ‘코드 라마 70B’ 공개
메타는 코드 생성 대규모 언어 모델인 ‘코드 라마 70B’를 출시했다. 5000억 토큰의 코드로 학습되었으며 10만 토큰의 컨텍스트 창을 지원한다. 인스트럭트 버전 및 파이썬 특화 버전으로 제공되며, 상업적 활용이 가능한 오픈 라이선스로 무료 배포된다.
메타는 코드 생성 대규모 언어 모델인 ‘코드 라마 70B’를 출시했다. 5000억 토큰의 코드로 학습되었으며 10만 토큰의 컨텍스트 창을 지원한다. 인스트럭트 버전 및 파이썬 특화 버전으로 제공되며, 상업적 활용이 가능한 오픈 라이선스로 무료 배포된다.
오픈AI가 신규 임베딩 모델인 text-embedding-3-small과 large를 출시했다. 검색 성능이 대폭 개선되고 차원을 줄여 저장 비용을 아낄 수 있으며, 소형 모델 가격은 전작 대비 5분의 1로 낮췄다. 또한 GPT-3.5 터보 입력 비용을 50% 인하하고 코드 생성 시 태만 문제를 개선한 새 GPT-4 터보 프리뷰를 배포했다.
마크 저커버그 메타 CEO는 차세대 대형 언어 모델 '라마 3'의 훈련을 시작했다고 밝혔습니다. 범용인공지능(AGI) 개발을 위해 추론과 코딩 능력을 대폭 강화할 계획이며, 2024년 말까지 엔비디아 H100 GPU를 34만 대 이상 확보해 업계 최대 규모의 인프라를 구축하겠다고 강조했습니다.
12월, ChatGPT가 스스로 미공개 모델인 'gpt-4.5-turbo'로 구동되고 있다고 답해 신규 모델 출시설이 불거졌다. 하지만 오픈AI 직원들과 샘 알트만 CEO는 비밀 출시는 없었으며, 이는 모델의 기묘하고 일관된 환각 현상일 뿐이라고 즉각 부인했다.
구글이 개발자와 기업을 대상으로 제미나이 프로 및 멀티모달 모델 제미나이 프로 비전 API를 공개했다. 32K 컨텍스트와 함수 호출을 지원하며, 개발자는 구글 AI 스튜디오를 통해 분당 최대 60회까지 무료로 테스트할 수 있다.
Microsoft가 27억 파라미터 언어 모델 Phi-2를 공개했다. 교과서 수준의 고품질 데이터와 지식 전수를 바탕으로 코딩과 수학 등 다단계 추론에서 25배 큰 Llama-2-70B를 앞선다. 데이터 선별만으로 소형 모델에서도 강력한 창발적 능력을 구현할 수 있음을 보여준다.
메타는 오디오 생성을 위한 신규 연구 기반 모델 '오디오박스(Audiobox)'의 체험 데모를 공개했다. 이번 데모에서는 제로샷 음성 합성(TTS), 텍스트 기반 음향 효과 생성, 오디오 인필링(수정 및 채우기) 기능을 직접 테스트해볼 수 있다.
유튜버 Greg Technology가 연출 의혹을 받은 구글 제미나이의 실시간 영상 시연을 오픈AI의 GPT-4V로 직접 재현했다. 손짓 인식, 그림 식별 등을 실제로 실시간 처리했으며 해당 인터페이스 코드를 깃허브에 오픈소스로 공개했다.
머스크의 xAI가 내놓은 챗봇 그록이 사용자 요청을 거절하며 "오픈AI의 사용 정책에 위배된다"고 답변한 사실이 드러났습니다. xAI는 웹 크롤링 과정에서 유입된 노이즈라고 해명했으나, 전문가들은 챗GPT 데이터를 활용해 미세조정했을 가능성을 제기했습니다.
일론 머스크는 xAI가 개발한 AI 챗봇 Grok을 X의 프리미엄+ 구독자에게 정식 출시했다고 발표했다. Grok-1 기반으로 특유의 유머와 위트를 갖췄으며, 광고 의존도를 낮추고 플랫폼을 '슈퍼 앱'으로 전환하려는 구독 모델 강화 전략의 일환이다.
대화형 언어 모델 Stable LM Zephyr 3B가 공개됐다. 기존 7B 모델보다 60% 작아 고사양 하드웨어 없이도 엣지 기기에서 정확하고 빠른 응답을 지원한다. DPO 방식으로 지시 수행 성능을 높였으며 비상업적 라이선스로 배포된다.
구글이 챗봇 바드에 최신 AI 모델 '제미나이(Gemini)'를 탑재한다고 발표했다. 우선 170여 개 국가에서 텍스트 기반 영어 버전에 제미나이 프로를 적용하며, GPT-3.5를 넘어서는 성능을 내세웠다. 최상위 모델인 제미나이 울트라 기반 '바드 어드밴스드'는 내년 초 출시된다.
앤트로픽이 Claude 2.1을 공개했습니다. 약 500쪽 분량에 달하는 20만 토큰의 컨텍스트를 지원하며, 이전 버전 대비 환각 현상을 절반으로 줄였습니다. API에는 시스템 프롬프트와 외부 툴을 연동하는 'Tool use' 베타 기능도 추가되었습니다.
Microsoft가 소형 언어 모델 '오르카 2'의 가중치를 공개했다. 대형 모델을 단순 모방하는 대신 작업에 맞춰 단계별 추론 등 최적의 전략을 선택하도록 훈련해, 복잡한 제로샷 추론 평가에서 5~10배 큰 모델에 맞먹는 성과를 냈다.
구글이 당초 11월 출시를 약속했던 차세대 멀티모달 AI '제미나이(Gemini)' 공개를 2024년 초로 연기했다. 딥마인드가 오픈AI의 GPT-4를 잡기 위해 야심차게 준비한 모델이지만, 빠르게 달아나는 경쟁사를 따라잡는 데 여전히 애를 먹는 모양새다.
구글이 전 세계 대부분 국가에서 계정 관리 연령을 충족한 청소년에게 바드(Bard) 접근 권한을 개방했다. 수학 문제의 단계별 풀이와 데이터 시각화 기능을 탑재했으며, 유해 콘텐츠 차단 가드레일과 함께 환각을 줄이기 위해 첫 질문 시 답변을 웹 정보와 자동 대조하는 기능이 적용됐다.
OpenAI가 ChatGPT Plus의 신규 구독 가입을 일시 중단했다. DevDay 이후 사용량이 급증해 수용 한도를 초과하면서 기존 이용자의 서비스 품질을 유지하기 위한 조치다. 신규 이용자는 앱 내에서 재개 알림을 등록하고 대기할 수 있다.
샘 알트만 오픈AI CEO가 차세대 AI 모델 'GPT-5' 개발에 착수했다고 밝혔다. 그는 AGI 도달에는 막대한 연산 자원과 데이터가 소모되는 만큼 마이크로소프트 등으로부터 추가 자금 조달이 필수적이라고 덧붙였다. 훈련에는 수개월 이상 소요되며 공개 일정은 정해지지 않았다.