텐센트가 7700억 파라미터 오픈소스 MoE 모델 'Hy4 프리뷰'를 아파치 2.0으로 공개했어요. 자체 블라인드 평가에서 GLM-5.3, 키미 K3보다 높은 점수를 받았다고 해요. 중국 오픈소스 모델 경쟁에 텐센트까지 본격적으로 뛰어든 모습이에요.
지난 며칠 사이 중국 오픈소스 AI 모델 소식이 유독 많았죠. Z.ai의 GLM-5.3-Flash도 있었고 문슛의 키미 K3도 있었는데, 이번엔 텐센트가 조용히 큰 걸 내놨어요. 8월 28일, 텐센트 훈위안(Hy) 팀이 'Hy4 프리뷰'라는 오픈소스 MoE 모델을 아파치 2.0 라이선스로 풀었거든요. 완전히 열린 라이선스라 상업적으로도 자유롭게 쓸 수 있어요. 🇨🇳
숫자부터 보면 스케일이 꽤 커요. 총 파라미터는 7700억 개인데, 토큰 하나 처리할 때 실제로 활성화되는 건 490억 개뿐이에요. 구조를 보면 78개 레이어 중 첫 번째는 밀집(dense) FFN이고, 나머지 77개 레이어는 256개 라우팅 전문가 중 8개(top-8)를 골라 쓰고 공유 전문가 1개를 더하는 방식이에요. 여기에 스펙큘레이티브 디코딩용 MTP 레이어가 100억 파라미터, 활성 기준 7억 파라미터로 따로 붙어 있고요. 이 복잡한 구조 덕분에 컨텍스트 윈도우는 100만 토큰까지 처리할 수 있대요. 'Gated DeepSeek Sparse Attention'이라는 어텐션 방식에 IndexCache라는 기법을 더해서 레이어 간 인덱스를 효율적으로 재사용한다고 하는데, 솔직히 이 부분은 전문가들이 직접 뜯어봐야 진가를 알 것 같아요. 📊
벤치마크 결과도 공개됐는데 이게 좀 눈에 띄어요. 전문가 163명이 203개 엔지니어링 과제를 블라인드로 평가했더니, Hy4 프리뷰가 평균 2.99점(4점 만점)을 받았어요. 같은 조건에서 GLM-5.3은 2.92점, 키미 K3는 2.94점을 받았고요. 차이가 크진 않지만, 어쨌든 최근 화제였던 두 경쟁 모델을 나란히 앞선 셈이에요.
접근성도 나쁘지 않아요. 허깅페이스에서 가중치를 바로 받을 수 있고, 텐센트 클라우드의 토큰허브나 오픈라우터를 통해 API로도 쓸 수 있어요. 텐센트 자체 서비스인 워크버디, 코드버디, 위안바오, ima 같은 앱에서도 이미 테스트해볼 수 있고요. 오픈소스로 풀면서 동시에 자사 생태계 전방위에 바로 심어버리는 전략인 거죠.
솔직히 최근 중국 빅테크들 오픈소스 경쟁을 보면, 이제 누가 먼저 내느냐보다 누가 실사용 앱에 얼마나 빨리 붙이느냐 싸움으로 넘어간 것 같아요. 알리바바, Z.ai, 문슛에 이어 텐센트까지 가세하면서 중국발 오픈웨이트 모델 숫자 자체가 부담스러울 정도로 늘고 있거든요. 개인적으로는 이 정도 규모의 MoE 모델을 완전 오픈소스로 공개하는 속도 자체가, 서구권 랩들이 폐쇄형 전략을 고수하는 것과 점점 더 대비되는 그림이라고 봐요.
물론 벤치마크 점수 차이가 크지 않은 만큼 실제 코딩·엔지니어링 작업에서 체감 차이가 얼마나 될지는 써봐야 알 것 같아요. 다음 주쯤 개발자 커뮤니티에서 실사용 후기가 쏟아지면 그때 진짜 그림이 나오지 않을까 싶네요.
출처