오픈AI가 브로드컴과 만든 추론 전용 칩 '할라피뇨' 벤치마크 결과를 처음 공개했어요. GPT-OSS·딥시크 R1·Kimi K2.5 세 모델 테스트에서 와트당 처리량이 최대 104.3배까지 앞섰어요. 다만 본격 배치는 2027년이라 엔비디아와의 진짜 승부는 아직 시작 전이에요.
오픈AI가 드디어 자체 칩 '할라피뇨(Jalapeño)'의 실제 성능 지표를 공개했어요. 사실 이 칩 자체는 작년 10월에 브로드컴과 함께 만든다고 발표했었는데, 그동안 구체적인 숫자는 하나도 안 나왔거든요. 근데 오늘 SemiAnalysis의 공개 벤치마크 InferenceX 결과가 풀리면서 얘기가 좀 달라졌어요. 🔥
테스트는 GPT-OSS 120B, 딥시크 R1 670B, Kimi K2.5 1T 세 개 모델로 진행됐고요. 결과는... 솔직히 예상보다 격차가 컸어요. 와트당 처리량 기준으로 기존 최고 지연시간 구간 대비 최대 104.3배까지 차이가 났다고 하니까요. 물론 모델별 최소치는 8.6배라서 편차는 있지만, 그래도 자릿수 자체가 다른 숫자예요. 📊
일반적인 조건에서는 와트당 작업량이 1.5~1.9배, 종단 지연시간은 1.7~3.6배 단축됐고, 인터랙티브한 워크로드(사람이 실시간으로 답을 기다리는 상황)에서는 2.1~4.1배 더 빨랐다고 해요.
오픈AI 하드웨어 총괄인 리처드 호는 "할라피뇨는 전력 단위당 더 많은 AI 작업을 처리하면서도, 응답은 더 빠르게 돌려준다"고 설명했어요. 칩 설계에서 눈에 띄는 건 프리필(prefill)과 통신 단계 최적화예요. 응답 생성에 쓰이는 KV 캐시를 로컬에 붙여둬서 데이터 이동 지연을 줄이는 방식인데, 이게 왜 중요하냐면 추론 비용의 상당 부분이 실제로는 '계산'이 아니라 '데이터를 옮기는 시간'에서 새기 때문이에요. 엔비디아 블랙웰 같은 범용 GPU는 학습부터 추론까지 다 커버해야 하지만, 할라피뇨는 처음부터 추론 하나만 보고 설계됐으니 이 부분에서 유리할 수밖에 없죠.
다만 김칫국 마시기는 아직 일러요. 실제 배치는 2026년 말에 아주 소규모로 시작하고, 의미 있는 물량은 2027년에나 풀린다고 하거든요. 그때쯤이면 엔비디아도 다음 세대 칩으로 넘어가 있을 테고, 경쟁 구도 자체가 지금과는 또 달라져 있을 거예요.
개인적으로는 이 발표가 벤치마크 숫자 자체보다는 '오픈AI가 칩까지 직접 설계하는 시대'라는 상징성이 더 크다고 봐요. 구글 TPU, 아마존 트레이니엄에 이어 오픈AI까지 자체 실리콘 라인업을 갖추면 엔비디아 입장에서도 고객이자 잠재 경쟁자인 회사가 하나 더 늘어나는 셈이니까요. ⚡ 근데 벤치마크가 실제 프로덕션 환경, 그것도 대규모 트래픽에서 얼마나 그대로 재현될지는 아직 지켜봐야 할 것 같아요.
출처