마이크로소프트 AI가 2.8조 파라미터 MoE 모델 MAI-Base-2를 공개했어요. GB200 1만 6천 개로 38일간 50조 토큰을 학습했다고 해요. 오픈 웨이트는 아니고 파트너 대상으로만 제공될 예정이에요.
마이크로소프트 AI(MAI)가 자체 파운데이션 모델 MAI-Base-2를 공개했어요. 🤖 파라미터가 2.8조 개인 혼합전문가(MoE) 구조이고, 한 번에 실제로 쓰이는 활성 파라미터는 800억 개예요.
학습 규모도 만만치 않아요. 50조 토큰을 엔비디아 GB200 GPU 1만 6천 개로 38일 동안 돌렸다고 하거든요. 숫자만 보면 "마이크로소프트가 이제 오픈AI 없이도 최전선 모델을 직접 만든다"는 선언처럼 읽혀요.
가장 눈에 띄는 주장은 효율이에요. MAI는 DeepSeek-V4-Pro-Base와 비교해 사전학습 연산량(FLOPs) 효율이 4~12배 높고, 평가용 보류 데이터에서 bits-per-byte도 더 낮다고 밝혔어요. 근데 이건 자사 발표라서 외부 검증이 붙기 전까진 조심해서 봐야 해요.
그리고 아직 완성품도 아니에요. 지금은 사후학습(post-training) 단계라서 우리가 쓰는 챗봇 형태로 바로 나오는 건 아니고요, 마이크로소프트 Foundry 프로그램을 통해 신뢰할 수 있는 파트너에게 먼저 제공된다고 해요. 오픈 웨이트도 아니에요. 📈
솔직히 저는 이 발표에서 모델 성능보다 마이크로소프트의 방향이 더 흥미로웠어요. 메타가 Muse로 직접 모델 경쟁에 뛰어들고, 구글이 Gemini 4를 밀고 있는 와중에, 마이크로소프트도 "우리 모델"을 전면에 세우기 시작했다는 거니까요. 파트너사와의 관계가 어떻게 바뀔지도 궁금해지고요.
다만 효율 4~12배라는 수치가 실제 완성 모델의 성능으로 이어질지는 알 수 없어요. 사전학습 효율은 출발선일 뿐이거든요. 사후학습이 끝난 뒤 벤치마크가 나와야 진짜 승부가 보일 것 같아요. 그때 이 숫자가 얼마나 살아남을지 지켜봐야겠네요.
출처