macsplex.com 로그인

검색

조회 수 8,508 추천 수 0 댓글 1
?

단축키

Prev이전 문서

Next다음 문서

가 위로 아래로 댓글로 가기 인쇄 첨부
Extra Form
출처/참고/홈페이지 https://ai.meta.com/blog/llama-4-multimodal-intelligence/
TAG •

Who's DNAVI

profile

안녕하세요 macsplex.com 웹마스터 DNAVI입니다.

오픈소스를 좋아하고 컴퓨터에서 돌아가는 OS와 소프트웨어를 설치하고 웹사이트를 운영하는데 관심이 많습니다.

 

가지고 있는 제품리스트

PC  :

homebuilt computer(Intel i7-4790K, ASUS MAXIMUS Ranger Vii, AMD Radeon R290),

homebuilt computer(AMD Phenom X4 630, GIGABYTE GA-61P-S3, NVIDIA GT8600),

Apple iMac 2009 late(Intel E7600)

Apple MacMini 2018(Intel i5-8500B, A1993)

homebuilt computer(AMD Ryzen 5700x3d, Asrock B450 Steel Legend, Intel A770)

Beelink SER 7 (AMD Ryzen 7840HS)

Firebat S1(Intel N100)

 

Notebook :

Acer Swift 14 AI 2024(Qualcomm SnapDragon X Plus X1P4200)

Apple Macbook Air 2022 (M2, A2681)

Lenovo LEGION 5 Pro 16ACH R7 STORM (AMD R7-5800H, NVIDIA RTX3060 laptop)

Lenovo Thinkpad T420s(Intel i5-2540M)

Apple Macbook Air 2011 Mid( i5-2467M, A1370)

 

Server :

Dell PowerEdge R420(Intel XEON E5-2407)

Dell PowerEdge R710(Intel XEON E5620 x2, 32GB)

HP Proliant Microserver Gen8(Intel XEON E3-1230V2)

 

NAS :

Synology.DS218+

BUFFALO LinkStation Live LS-XL/E

 

Smartphone:

Motorola Edge 20 pro

Apple iPhone 12

Apple iPhone 15 Pro Max

Samsung Galaxy S8

Xiaomi Redmi Note 4, Mi 8

Lenovo Phab2 Pro

Apple iPhone 5

Huawei X3, Nova Smart

Blackberry 9790

 

Tablet :

Apple iPad 9th gen

Apple iPad Air2

Samsung Galaxy Tab S7+

Lenovo Xiaoxin 2022

 

Game Console :

Sony PSP, PS3, PS4 Pro, PS5

Microsoft Xbox 360, Xbox One X

Nintendo DS Lite, 3DS XL, Switch Lite, Switch

HardKernel Odrid Go Advance Black Edition

Gamepark GP2X-F100

Valve Steam deck LCD

  • profile
    DNAVI 2025.04.08 06:21 글쓴이

    **Gemini 2.5 pro 요약본입니다.
    Llama 4 모델 시리즈 요약: 네이티브 멀티모달 AI 혁신의 시작
    Meta AI는 새로운 Llama 4 모델 시리즈를 발표했습니다. 이 모델들은 텍스트, 이미지 등 다양한 데이터를 처음부터 함께 처리하는 네이티브 멀티모달 기능과 효율적인 전문가 혼합(MoE: Mixture-of-Experts) 아키텍처를 특징으로 합니다.
    주요 발표 내용:
    Llama 4 Scout:
    170억 개 활성 파라미터, 16개 전문가 구성.
    동급 최고 성능의 멀티모달 모델이며, 이전 세대 Llama 모델보다 강력함.
    단일 NVIDIA H100 GPU에 탑재 가능.
    업계 최고 수준인 1,000만 토큰의 컨텍스트 길이 지원.
    주요 벤치마크에서 Gemma 3, Gemini 2.0 Flash-Lite, Mistral 3.1 등 모델보다 우수한 성능.
    Llama 4 Maverick:
    170억 개 활성 파라미터, 128개 전문가 구성.
    동급 최고 성능 멀티모달 모델로, GPT-4o, Gemini 2.0 Flash 등을 능가.
    더 적은 활성 파라미터로 DeepSeek v3와 유사한 추론 및 코딩 성능 달성.
    비용 대비 성능 비율이 우수 (실험적 채팅 버전 LMArena ELO 1417점).
    Llama 4 Behemoth (미리보기):
    2,880억 개 활성 파라미터, 16개 전문가, 총 약 2조 개 파라미터.
    Scout와 Maverick을 훈련시킨 '교사' 모델로, Meta의 가장 강력한 모델 중 하나.
    여러 STEM 벤치마크에서 GPT-4.5, Claude Sonnet 3.7, Gemini 2.0 Pro 등 능가.
    현재 훈련 중이며 아직 출시되지 않음.
    핵심 기술 및 특징:
    네이티브 멀티모달리티: 텍스트와 시각 정보를 통합하는 '초기 융합(early fusion)' 방식을 사용하여 대규모 데이터로 공동 사전 훈련.
    MoE 아키텍처: 훈련 및 추론 효율성을 높여 고성능 제공.
    긴 컨텍스트: Scout 모델은 1,000만 토큰 컨텍스트 지원 (iRoPE 아키텍처 등 혁신 기술 적용).
    향상된 훈련: FP8 정밀도 사용, 30조 개 이상의 토큰(텍스트, 이미지, 비디오 포함)으로 훈련, 새로운 하이퍼파라미터 설정 기술(MetaP), 개선된 후처리 파이프라인(SFT, RL, DPO) 적용.
    안전성 및 편향성 완화: 모델 개발 전 과정에 안전 조치 통합, Llama Guard 등 오픈 소스 안전 도구 제공, 편향성 감소 노력 (정치/사회적 주제 답변 거부율 감소 및 균형 개선).
    오픈 소스 및 접근성:
    Llama 4 Scout와 Maverick 모델은 오픈 웨이트(open-weight)로 공개되어 llama.com과 Hugging Face에서 다운로드 가능.
    주요 클라우드 파트너사를 통해서도 곧 제공될 예정.
    WhatsApp, Messenger, Instagram Direct 및 Meta.AI 웹사이트에서 Llama 4 기반의 Meta AI 기능을 체험 가능.
    결론:
    Llama 4 시리즈는 더욱 강력하고 효율적인 멀티모달 AI 시대를 열었으며, 개발자들이 개인화된 경험을 구축할 수 있도록 지원하는 것을 목표로 합니다. Meta는 개방형 접근 방식을 통해 AI 혁신을 지속할 것입니다.


  1. No Image

    2025년 7월 14일 AI 소식

    **번역본뉴스입니다. 오역이 있을수 있습니다. 1. 중국 Moonshot AI, 오픈소스 대형 언어 모델 ‘Kimi K2’ 공개 – AI 업계 충격 중국의 Moonshot AI가 최신 오픈소스 모델 Kimi K2(파라미터 1T, 활성 파라미터 32B)를 공...
    Date2025.07.15 Category :업계동향
    Read More
  2. 기가바이트, 자체 맞춤형 NVIDIA "DGX 스파크" 미니 AI 슈퍼컴퓨터 'AI TOP ATOM' 공개: 무려 1,000 TOPS의 AI 성능 제공

    **번역본뉴스입니다. 오역이 있을수 있습니다. 기가바이트는 PC 제품 분야에서의 뛰어난 역량 외에도, AI 분야에도 도전하기로 결정하여 NVIDIA의 DGX 스파크 슈퍼컴퓨터의 맞춤형 변형인 AI TOP ATOM을 공개했습니다. 기가...
    Date2025.05.24 Category :제품
    Read More
  3. 아이언우드: 추론의 시대를 위한 최초의 구글 TPU

    ** 번역본뉴스입니다. 오역이 있을수 있습니다. 오늘 Google Cloud Next 25에서는 지금까지 가장 성능이 뛰어나고 확장 가능한 맞춤형 AI 가속기이자 추론을 위해 특별히 설계된 최초의 7세대 텐서 프로세싱 유닛(TPU)인 아이...
    Date2025.04.16 Category :제품
    Read More
  4. 라마 4 모음: 네이티브 멀티모달 AI 혁신의 새로운 시대의 시작

    **번역본뉴스입니다. 오역이 있을수 있습니다. 주요 포인트 우리는 Llama 4 시리즈의 첫 번째 모델을 공개합니다. 이 모델들은 사람들이 더 개인화된 멀티모달 경험을 구축하는 데 도움이 될 것입니다. Llama 4 Scout는 170억 개의...
    Date2025.04.08 Category :제품 Reply1
    Read More
  5. ASRock, 두 개의 새로운 AI 도구로 AI QuickSet 2024 1분기 업데이트 공개

    **번역본 뉴스입니다. 오역이 있을수 있습니다. 세계적인 마더보드 제조업체인 ASRock은 작년 말부터 사용자가 빠르게 인공지능 소프트웨어를 다운로드하고 설치 및 구성할 수 있는 마이크로소프트 윈도우 10/11과 캐노니컬 우분투 ...
    Date2024.04.02 Category :제품 Reply1
    Read More
  6. NVIDA Blackwell 아키텍쳐 새로운 산업혁명의 엔진.

    **번역본 뉴스입니다. 오역이 있을수 있습니다. 가속화된 컴퓨팅 및 생성 AI의 장벽을 허물다 엔비디아 블랙웰 아키텍처가 제너레이티브 AI와 가속화된 컴퓨팅에 가져온 획기적인 발전을 살펴봅니다. 수 세대에 걸친 엔비디아 기...
    Date2024.03.19 Category :제품
    Read More
  7. 윈도우 11은 AI를 사용하여 게임을 자동으로 업스케링을 가능하게 합니다.

    **번역본 뉴스입니다. 오역이 있을수 있습니다. 마이크로소프트(MS)는 이 업스케일링 트레인(Uscaling Train)에 크게 참여하기로 결정한 것으로 보입니다. 최신 윈도우 11 24H2 인사이더(Insider) 빌드가 등장하여 새로운 기능인 AI...
    Date2024.02.14 Category :MS 원도우즈
    Read More
  8. Microsoft, 코파일럿 및 Windows AI 기능의 최소 요구 사양으로 16GB RAM 설정

    **번역본 뉴스입니다. 오역이 있을수 있습니다. Microsoft는 AI PC를 위한 최소 시스템 요구 사항으로 16GB를 설정한 것으로 알려졌습니다. 최소 시스템 요구 사항을 16GB로 설정한 것으로 알려졌습니다. 그 이유는 Microsoft...
    Date2024.01.18 Category :업계동향
    Read More
  9. Microsoft는 수천 개의 Nvidia GPU가 어떻게 ChatGPT를 구축했는지 설명합니다

    **번역본 뉴스입니다. 오역이 있을수 있습니다. ChatGPT는 지난 6개월 동안 입소문을 탔지만, 그것이 갑자기 나온 것은 아닙니다. 월요일에 마이크로소프트가 발행한 블로그 게시물에 따르면, ChatGPT의 배후에 있는 OpenAI는 ...
    Date2023.03.14 Category :업계동향
    Read More
Board Pagination Prev 1 Next
/ 1