엔비디아가 차세대 오픈 웨이트 모델 '네모트론 4'를 개발하고 있다는 소식이 전해졌습니다. 플래그십 모델은 파라미터 수가 최소 1조 개로, 네모트론 3 울트라의 약 두 배 규모입니다. 오픈 모델을 무료로 풀어 GPU 수요를 끌어올리려는 엔비디아의 전략이 다시 드러난 셈입니다.
정보 전문 매체 디인포메이션(The Information) 보도로 시작해서 블룸버그, BNN 블룸버그, 야후 파이낸스, 팁랭크스까지 줄줄이 받아쓴 뉴스가 하나 있습니다. 바로 엔비디아가 '네모트론 4(Nemotron 4)'라는 새 AI 모델 패밀리를 준비 중이라는 소식인데요. 근데 이게 그냥 모델 하나 더 나온다는 얘기가 아니라, 플래그십 모델 파라미터 수가 최소 1조 개로 예상된다는 점에서 화제가 됐습니다 🤖.
1조 개가 어느 정도냐면, 엔비디아가 지난 6월 내놓은 현재 최대 모델 네모트론 3 울트라의 대략 두 배 규모입니다. 아직 최종 학습이 끝나지 않아서 정확한 출시일은 정해지지 않았고, 엔비디아 내부 직원들 얘기로는 이르면 올가을쯤 완성될 수도 있다고 하네요 ⏰.
사실 이번 소식이 더 흥미로운 이유는 타이밍입니다. 같은 주에 엔비디아는 이미 30B(300억) 파라미터짜리 소형 모델 '네모트론 3.5 라이트닝'과 라우팅 라이브러리를 공개했거든요. 즉 작은 모델은 이미 풀어놓고, 초대형 모델은 별도로 준비하고 있다는 얘기입니다 🚀.
솔직히 이 대목에서 좀 이상하다고 느끼실 수도 있습니다. 엔비디아는 GPU 파는 하드웨어 회사잖아요. 근데 왜 자기 돈을 들여서, 클라우드 컴퓨팅 예산만 2028회계연도까지 70억 달러로 못박아뒀습니다, 오픈 웨이트 AI 모델을, 그것도 1조 파라미터급을 만드는 걸까요.
(이건 순전히 제 개인적인 해석입니다) 모델 자체로 돈을 벌겠다는 게 아니라, 좋은 오픈 모델을 무료로 풀어서 개발자와 기업들이 그 모델을 엔비디아 GPU 위에서 돌리게 만드는 게 진짜 목적 아닐까 싶습니다. 모델 레이어를 커머디티(commodity)로 만들어버리면 결국 남는 건 인프라 경쟁이고, 그 판에서는 엔비디아가 제일 유리하니까요.
이 전략, 어디서 많이 본 그림이긴 합니다. 메타의 라마(Llama)도 비슷한 논리로 오픈소스를 밀었고, 결국 클라우드·칩 생태계 장악력을 키우는 데 도움이 됐죠. 엔비디아가 그 플레이북을 더 큰 스케일로, 그것도 자기 하드웨어에 최적화된 형태로 가져가려는 것 같습니