문샷AI가 예고했던 대로 키미 K3 전체 가중치를 허깅페이스에 풀었어요. 2.8조 파라미터, 1.4테라바이트 용량으로 역대 최대 오픈웨이트 모델이 됐어요. 이제 오픈소스 진영도 프론티어급 성능을 자체 서버에서 돌릴 수 있게 됐어요.
결국 왔네요. 문샷AI가 지난 7월 16일에 예고했던 키미 K3의 전체 가중치 공개일, 그게 바로 오늘이었어요. 한국시간 기준 오늘 오전 9시(UTC 0시)에 허깅페이스 moonshotai 계정에 2.8조 파라미터짜리 모델 가중치가 올라왔습니다 🔥. 지난주까지만 해도 huggingface.co/moonshotai/Kimi-K3 페이지에는 "Upcoming release"라는 문구만 떠 있었는데, 그게 드디어 실제 다운로드 링크로 바뀐 거죠.
근데 숫자가 좀 어마어마해요. MXFP4 양자화를 적용했는데도 전체 용량이 약 1.4테라바이트. 개인 GPU 한두 장으로는 절대 못 돌리고, 멀티 노드 GPU 클러스터가 있어야 서비스가 가능한 수준이에요.
아키텍처를 보면 896개의 전문가(expert) 중 토큰 하나당 16개만 활성화되는 구조라, 실제 추론에 쓰이는 파라미터는 약 500억 개 정도밖에 안 돼요. 나머지는 저장만 해두고 필요할 때 골라 쓰는 셈이죠. 문샷은 이걸 키미 델타 어텐션(KDA)과 어텐션 레지듀얼(AttnRes)이라는 자체 기법으로 구현했다는데, 전작 키미 K2보다 스케일링 효율이 2.5배 좋아졌다고 주장하고 있어요.
벤치마크 얘기도 안 할 수가 없죠. AI 연구자 네이선 램버트가 정리한 프론티어 모델 랭킹을 보면 1위 앤트로픽 클로드 페이블 5, 2위 오픈AI GPT-5.6 Sol에 이어 3위가 바로 키미 K3예요 🏆. 오픈웨이트 모델 중에서는 부동의 1위고요. 프론트엔드 코드 아레나에서는 1,679점으로 전체 1위를 찍었고, Vals AI 인덱스에서도 2위에 올라 있어요. 솔직히 이 정도면 "오픈소스는 항상 뒤처진다"는 얘기가 더 이상 안 통하는 것 같아요.
이번 공개가 특히 의미 있는 이유는, 그동안 키미 K3를 둘러싼 잡음이 워낙 많았기 때문이에요. 백악관이 "문샷이 앤트로픽 모델을 증류해서 만든 거다"라는 의혹을 제기했었고, 발표 직후엔 나스닥 AI 반도체주가 출렁이면서 '제2의 딥시크 쇼크'라는 말까지 나왔었죠 ⚠️. 소동이 가라앉기도 전에 문샷은 홍콩 IPO까지 추진 중인데, 오늘 실제 가중치 공개로 논란의 무게중심이 "의혹"에서 "