모델 하나에 웨이퍼 59장 — Cerebras가 3조 파라미터 Kimi를 나누는 법
Cerebras가 10월 22일 공개한 기술 블로그는 약 3조 파라미터 규모의 Kimi K3를 웨이퍼 59장에 나누어 담는 계산을 보여준다. 가중치를 4비트로 줄이면 전체가 약 1.5TB가 되고 층당 약 16GB가 되는데, 선형 어텐션 층 69개는 웨이퍼 35장에, KV 캐시가 필요한 밀집 층 24개는 웨이퍼 24장에 따로 담는 방식이다. 다만 이 글은 실제로 이 배치를 돌려 측정한 결과가 아니라 전제를 깔고 푼 설계 예시이고, 초당 1000개에서 2000개 이상의 토큰이라는 속도도 아직 독립적으로 검증된 수치가 아니라는 점을 함께 읽어야 한다.
SOURCE Cerebras 기술 블로그 (2026.10.22) ↗
모델이 커지면 가장 먼저 부딪히는 벽은 학습이 아니라 저장 공간이다.
Cerebras가 10월 22일 기술 블로그에 올린 글은 그 벽을 숫자로 보여준다.
웨이퍼 한 장에 들어가는 온칩 메모리는 44GB인데, 조 단위 파라미터 모델은 가중치만으로 테라바이트 단위를 차지하기 때문이다.
회사가 예시로 든 모델은 문샷 AI의 Kimi K3, 약 3조 파라미터 규모다.
결론부터 말하면, 이 모델을 통째로 온칩 메모리에 올리려면 웨이퍼가 59장이 필요하다는 게 Cerebras의 계산이다.
이 숫자가 그냥 큰 숫자가 아니라, 어떤 전제 위에서 나온 답인지가 이 글의 진짜 내용이다.

12인치 실리콘 웨이퍼 표면 사진 — 사진: 2x910, CC BY-SA 4.0, Wikimedia Commons. 커버 사진은 일반적인 웨이퍼 사진이며, Cerebras의 웨이퍼 스케일 칩 실물이 아니다.
계산은 의외로 단순하게 시작한다.
파라미터 하나를 4비트짜리 숫자로 저장한다고 치면, 3조 개는 약 1.5TB가 된다.
Kimi K3는 층이 93개이므로, 층 하나당 가중치는 약 16GB로 나뉜다.
웨이퍼 한 장의 메모리가 44GB이니, 층 하나를 통째로 한 장에 올리고도 자리가 남는다.
여기서 흔히 생기는 오해는 웨이퍼 수를 용량만으로 나누는 것이다.
1.5TB를 44GB로 나누면 약 35장이면 충분해 보이지만, Cerebras의 답은 59장이다.
차이 24장은 낭비가 아니라, 층의 종류가 달라서 생긴다.
도표는 Cerebras(2026.10.22) 기술 블로그의 수치로 직접 작성했다.
Kimi K3의 93개 층은 두 종류로 나뉜다.
선형 어텐션 층이 69개, 밀집 어텐션 층이 24개다.
선형 층은 요청마다 고정된 크기의 작은 상태만 유지하므로, 웨이퍼 한 장에 층 두 개를 넣을 수 있다.
69개를 둘씩 나누면 34.5장이 되니, 올림해서 35장이 된다.
밀집 층은 사정이 다르다.
처리한 토큰마다 키와 값이라는 작업 메모를 KV 캐시라는 곳에 쌓아야 하고, 이 캐시는 요청이 길어질수록 커진다.
그래서 밀집 층은 웨이퍼 한 장에 하나씩만 넣고, 남은 약 28GB를 KV 캐시 자리로 비워둔다.
24개 층이니 24장, 합치면 35장에 24장을 더해 59장이 된다.
즉 웨이퍼 수는 모델 크기만으로 정해지는 게 아니라, 어떤 종류의 층이 몇 개인지, 그리고 요청을 처리하면서 얼마나 많은 작업 메모를 쌓는지에 따라 정해진다.
웨이퍼를 59장이나 늘어놓으면, 다음 질문은 당연히 이어진다.
요청 하나가 59장을 차례로 통과해야 한다면, 나머지 웨이퍼는 그동안 놀고 있는 것 아닌가.
Cerebras의 답은 조립 라인 비유다.
웨이퍼 한 장을 공정 하나로 보면, 공정마다 서로 다른 요청을 맡을 수 있다.
3번 공정에서 요청 A를 처리하는 동안 2번 공정에서는 요청 B를, 1번 공정에서는 요청 C를 처리하는 식이다.
웨이퍼 사이를 이동하는 것은 가중치가 아니라 중간 결과, 즉 활성화뿐이다.
가중치는 각 웨이퍼의 메모리에 그대로 머무르고, 결과만 다음 공정으로 넘어간다.
웨이퍼 간 이동은 RDMA over Ethernet으로 홉당 약 2마이크로초라고 회사는 설명한다.
여기에 마이크로배치라는 조절 장치가 붙는다.
작게 묶으면 개별 요청이 빨라지고, 크게 묶으면 전체 처리량이 늘어난다.
빠른 답과 많은 답은 다른 성취라는 얘기다.
도표는 Cerebras(2026.10.22) 기술 블로그의 설명으로 직접 작성했다.
여기까지가 Cerebras가 보여준 설계도다.
이제 전제를 따져봐야 한다.
이 계산은 평균 요청 길이를 25만 6000토큰으로 잡고, 가중치는 4비트, KV 캐시는 8비트로 잡았다.
모델이 처리할 수 있는 최대 맥락과, 계산에 넣은 평균 요청 길이는 다른 숫자다.
최대 맥락이 길다고 해서 모든 요청이 그만큼 길지는 않고, 평균 요청이 길어지면 KV 캐시 자리가 커져서 동시에 처리할 수 있는 요청 수는 줄어든다.
가중치 정밀도를 바꾸거나 캐시 형식을 바꿔도 웨이퍼 수는 달라진다.
그래서 59장은 3조 파라미터 모델의 보편적인 입장료가 아니라, 주어진 전제 조합에 대한 답이다.
전제를 바꾸면 답도 바뀐다는 점을 빼고 이 숫자를 인용하면, 설계 예시가 곧 성능 보장처럼 들리게 된다.
또 하나 헷갈리기 쉬운 지점이 있다.
Cerebras의 예시 모델은 Kimi K3다.
오늘 이 블로그에 따로 올라온 Kimi K3.1 Pro는 그 뒤에 나온 모델로, 10월 23일 공개됐고 가중치 공개는 11월 4일로 예정돼 있다.
두 모델을 같은 것으로 섞으면, Cerebras 글이 최신 모델을 돌려본 결과처럼 읽히게 된다.
그렇지 않다.
Cerebras 글은 K3를 예시로 든 배포 방식 설명이고, K3.1 Pro에 대한 언급이 아니다.
관련은 있지만 같은 모델이 아니라는 구분을 해 두는 게 맞다.
자세한 내용은 Kimi K3.1 Pro 글에서 볼 수 있다.
그렇다면 이 설계는 실제로 돌려본 것인가.
여기서 10월 25일 나온 독립 분석 매체 데일리인퍼런스의 지적이 중요해진다.
이 매체는 Cerebras 글이 Kimi K3 배치를 실제로 실행했는지, 그리고 내세운 속도와 연결되는 독립 검증 결과를 제시하지 않았다고 짚는다.
초당 1000개에서 2000개 이상의 토큰이라는 수치는 Cerebras가 내세운 광고 문구이지, 이 배치에서 측정한 결과가 아니다.
전력 소비량이나, 이 배치에서 동시에 처리할 수 있는 요청 수의 최종 수치도 글에서 분명하게 제시되지 않았다고 매체는 지적한다.
Cerebras 스스로도 글 말미에서 동시 요청 수나 배치 크기만으로는 추론 효율을 판단할 수 없다고 적는다.
그러면서 더 의미 있는 지표로, 같은 생성 속도에서 와트당 토큰 수, 즉 전력 단위당 처리량을 제시한다.
역설적이게도 회사가 제시한 평가 잣대가, 회사의 이번 글에 아직 빠져 있는 부분이기도 하다.
선례가 아예 없는 것은 아니다.
데일리인퍼런스는 Cerebras가 GPT-5.6 Sol 서비스에 비슷한 다중 시스템 파이프라인을 적용해 초당 최대 750개 토큰을 내세운 바 있다고 전한다.
다만 그건 방법의 선례일 뿐, Kimi K3 배치의 측정값이 아니다.
이 구분이 이번 소식의 핵심이다.
배포 방식이 가능하다는 설계도와, 그 방식으로 특정 모델을 이 속도로 돌렸다는 측정 결과는 다른 종류의 주장이다.
Cerebras 글은 전자에 가깝고, 후자는 아직 제출되지 않았다.
그래서 이 글을 읽을 때는 59장이라는 숫자는 설계의 답으로 받아들이고, 속도 수치는 회사의 주장으로 남겨두는 게 맞다.
그럼에도 이 설계도가 의미가 있는 이유는, 추론의 병목이 어디인지 보여주기 때문이다.
모델을 크게 만드는 경쟁이 한창일 때, 사람들은 파라미터 수만 본다.
하지만 서비스를 돌리는 입장에서는 파라미터 수보다 층의 구성과 요청 길이가 비용을 가른다.
선형 층이 많은 하이브리드 구조는 KV 캐시 부담이 적어 웨이퍼를 아낄 수 있고, 밀집 층이 많은 구조는 같은 파라미터 수라도 더 많은 자리를 먹는다.
모델 아키텍처가 곧 배포 비용표가 되는 셈이다.
오픈 가중치 모델이 퍼질수록, 이런 배포 계산은 연구실의 호기심을 넘어 서비스 운영자의 실제 예산 문제가 된다.
59장이라는 숫자는 그 예산 문제를 처음으로 구체적인 장 수로 바꿔 보여준 사례다.
앞으로 확인할 것은 세 가지다.
첫째, 측정 결과다.
모델과 정밀도, 요청 길이와 동시 사용자 수, 사용한 웨이퍼 수, 속도와 전력을 함께 밝힌 시연이 나와야 59장 설계가 성능 주장으로 넘어간다.
둘째, 전력 단위당 처리량이다.
Cerebras가 스스로 제시한 잣대인 만큼, 같은 생성 속도에서 잰 와트당 토큰 수가 공개되는지가 관건이다.
셋째, K3.1 Pro를 비롯한 새 오픈 가중치 모델에 같은 방식이 적용되는지다.
11월 4일 가중치가 공개되면, 배포 방식 논의는 특정 모델의 예시에서 실제 서비스 선택의 문제로 옮겨갈 수 있다.
그때까지 59장은 기억할 만한 설계 답이지, 검증된 속도 기록은 아니다.
이 구분을 지키는 것이, 웨이퍼 59장이라는 인상적인 숫자를 제대로 읽는 방법이다.
참고한 기사 — Cerebras · DailyInference