본문으로 건너뛰기
IFAI

온디바이스 AI

업계 태그소식 622개

  1. 업계 동향확산 지수 50

    LA 시내버스에 AI 카메라 장착, 전용차로 불법주차 잡는다

    LA 카운티 대중교통국(LA Metro)이 버스전용차로와 정류장에 불법 주차한 차량을 단속하기 위해 시내버스에 AI 카메라를 설치한다. 적발된 영상은 교통국 직원의 직접 검토를 거쳐 과태료가 부과된다. 올여름 시범 테스트를 시작해 연말 정식 도입할 계획이다.

  2. AI 모델확산 지수 55

    마이크로소프트, 38억 파라미터 소형 AI 모델 'Phi-3 Mini' 출시

    마이크로소프트가 경량 AI 모델 'Phi-3 Mini'를 공개했다. 38억 개 파라미터를 갖춘 이 모델은 합성 동화 데이터셋으로 학습되어 GPT-3.5 수준의 성능을 목표로 한다. 스마트폰과 노트북 같은 기기에서 구동하기 적합하며, 현재 Azure, Hugging Face, Ollama에서 사용할 수 있다.

  3. 업계 동향확산 지수 38

    애플, 프랑스 온디바이스 AI 스타트업 '데이터카랩' 인수설

    외신에 따르면 애플이 지난해 12월 프랑스의 온디바이스 AI 및 컴퓨터 비전 스타트업 데이터카랩을 인수했다. 데이터카랩은 저전력 에지 AI 압축 기술과 프라이버시 중심 비전 알고리즘 특허를 보유하고 있다. 이번 인수는 iOS 18의 온디바이스 AI 기능과 비전 프로 고도화를 겨냥한 움직임으로 풀이된다.

  4. AI 모델확산 지수 66

    메타, 오픈형 LLM '라마 3' 공개…8B·70B 두 가지 크기 제공

    메타가 차세대 오픈형 LLM '라마 3'를 공식 출시했다. 8B와 70B 두 가지 크기로 기본 및 인스트럭트 모델을 제공하며, 15조 개 이상의 토큰으로 사전 학습됐다. 8B 모델은 소비자용 GPU에서도 구동과 미세조정이 가능하다. 오픈소스 생태계의 성능 기준을 한 단계 끌어올렸다는 평가다.

  5. 오픈소스확산 지수 44

    엔비디아, 메타 '라마 3' 전 플랫폼 추론 최적화 지원

    엔비디아가 메타의 최신 대규모 언어 모델 '라마 3'를 지원하기 위해 전 플랫폼 추론 최적화를 발표했다. H200 GPU 한 장으로 70B 모델 구동 시 초당 약 3,000토큰을 생성해 300명의 동시 사용자를 처리하며, 8B 모델은 RTX PC와 젯슨 오린 등 엣지 기기까지 지원된다.

  6. 오픈소스확산 지수 59

    구글, 코드 특화 오픈 모델 ‘코드젬마’ 공개…2B·7B 3종 구성

    구글이 허깅페이스와 협력해 코드 특화 대형언어모델 '코드젬마(CodeGemma)'를 공개했다. 젬마 체크포인트에 5000억 토큰을 추가 학습시켰으며, 코드 완성에 특화된 2B 모델과 7B 베이스 및 대화형 모델로 구성된다. 2B 모델은 약 6GB 메모리로 온디바이스 환경에서 구동할 수 있다.

  7. 오픈소스확산 지수 45

    Stability AI, 다국어 오픈소스 모델 'Stable LM 2 12B' 공개

    Stability AI가 2조 개 토큰으로 사전학습된 'Stable LM 2 12B' 기본 및 지시어 튜닝 모델을 출시했다. 영어, 독일어, 프랑스어 등 7개 언어를 지원하며 도구 사용과 RAG 구축에 최적화됐다. 기존 1.6B 모델도 대화와 함수 호출 기능이 개선됐으며, 비상업적 이용은 무료다.

  8. 연구확산 지수 31

    애플, 화면 읽는 AI 'ReALM' 공개: 가벼운 텍스트 변환으로 GPT-4 제쳤다

    Apple 연구팀이 화면 정보를 텍스트로 인코딩해 맥락을 파악하는 경량 AI 모델 'ReALM'을 공개했습니다. 무거운 비전 모델 없이도 화면 및 백그라운드 작업을 정밀하게 이해하며, 일부 영역에서는 GPT-4보다 뛰어난 성능을 보였습니다. 향후 온디바이스 Siri의 화면 기반 작업 수행 능력이 대폭 향상될 전망입니다.

  9. 업계 동향확산 지수 41

    MS 코파일럿, PC 로컬 구동 준비 중…'40 TOPS' NPU 요구된다

    인텔에 따르면 마이크로소프트는 코파일럿의 일부 기능을 PC 로컬에서 직접 구동하도록 개발 중이다. 반응 속도와 개인정보 보호를 개선하려는 목적이지만, 차세대 AI PC 기준인 40 TOPS 이상의 NPU가 필요해 현재 시판 중인 PC로는 감당하기 어렵다.