앤스로픽이 AI 응답의 출처를 증명하는 FlashProve를 공개했어요. 4000억 파라미터 MoE를 H100 한 장에서 초당 약 110토큰으로 증명해요. 다만 비용이 약 72배라 아직은 연구용 프로토타입 단계예요.
🔬 11월 2일 앤스로픽 프런티어 레드팀이 EPFL, MIT, StarkWare, Succinct 연구자들과 함께 FlashProve라는 오픈소스 연구 프로토타입을 내놨어요. 한 줄로 요약하면 "지금 받은 답변이 정말 약속된 그 모델에서 나왔다"를 수학적으로 증명하는 시스템이에요.
생각해 보면 우리는 API 너머의 모델이 광고한 그 모델인지 확인할 방법이 없잖아요. 값싼 모델로 슬쩍 바꿔치기해도, 중간 라우터가 토큰 스트림을 건드려도 알 수가 없죠. FlashProve는 제공자가 가중치의 짧은 지문(커밋먼트)만 공개하고, 요청마다 영지식 증명(zkSNARK)을 붙이는 방식으로 이걸 풀어요. 가중치 자체는 끝까지 숨겨지고요.
숫자를 보면 흥미로워요. 측정 대상은 4비트 가중치의 Llama 4 Maverick, 즉 4000억 파라미터 MoE예요. 토큰당 활성 파라미터는 약 170억이라 증명 작업량도 전체 크기가 아니라 이 활성분에 비례해요. H100 한 장과 CPU 24코어로 초당 약 110토큰, 1,024토큰 요청당 증명은 약 18.78MB예요. 검증하는 쪽은 CPU만 있으면 되고 약 17초면 끝나요. 사전 단계는 모델당 한 번 약 39분이고, 한 번 만든 커밋먼트로 약 1,600만 건의 요청을 커버한대요.
근데 솔직히 대가가 커요. vLLM 대비 GPU 시간이 약 72배, 부하가 높으면 94배까지 올라가요. 그래서 응답과 동시에가 아니라 사후에 배치로 증명하는 구조예요. 한계도 스스로 꽤 길게 적었어요. 탐욕적 디코딩과 정수 버전 가중치를 전제로 하고, 컨텍스트는 1,024토큰까지만, 구조가 MoE가 아니면 초점 밖이고, 사이드 채널 누출은 범위 밖이에요. 코드와 Lean 증명은 Apache 2.0으로 공개됐지만 가중치는 Meta의 Llama 4 라이선스로 따로 받아야 해요.
활용처로는 규제 기관이 승인된 모델만 쓰였는지 확인하거나, 하드웨어가 학습이 아니라 추론을 하고 있는지 점검하거나, 서드파티 라우터 고객이 실제 서빙 모델을 확인하는 시나리오를 들었어요. 위에서 본 엔비디아의 칩 감시 이야기와 묘하게 맞물리죠. 칩이든 모델이든 "믿어라" 대신 "증명하라"로 가는 흐름이니까요.
제 생각엔 72배 비용은 당장 서비스에 얹기엔 너무 비싸지만, 이런 연구는 대개 처음 숫자가 가장 나쁘잖아요. 몇 년 뒤 이 격차가 한 자릿수로 줄면 AI 신뢰의 판이 달라질 수도 있어요. 여러분은 이런 증명을 돈 내고라도 쓸 의향이 있으세요? 📊
출처