메뉴 여닫기
환경 설정 메뉴 여닫기
개인 메뉴 여닫기
로그인하지 않음
만약 지금 편집한다면 당신의 IP 주소가 공개될 수 있습니다.
이 문서는 예토전생했습니다!
이 문서나 여기서 설명하는 대상은 오랫동안 사망했다가 최근 다시 살아났습니다!
???: 지옥에 있는 노무현 나와라!
이 문서는 신의 한 수를 다룹니다.
이 문서는 최고의 선택으로 길이 남을 이득을 얻은 사례 또는 당시에는 존나 욕을 처먹었는데 후대에 재평가된 것을 다룹니다.
이 문서가 설명하는 것은 구하기가 존나 어렵거나 존나 비쌉니다.

이 문서는 존나 비싸고 물량도 존나 적어서 죽을 때까지 절대로 사지 못하는 물건을 다룹니다. 물량이 나와도 너는 예판 당첨도 안될 거고 수요가 많아 구하지 못하니까 그냥 포기하십시오.

틀:크고 아름다운

HBMHigh Bandwidth Memory, 한국어로는 고대역폭 메모리라고 부르는 D램이다. 여러 장의 D램 칩을 수직으로 쌓고 수천 개의 미세한 통로로 연결하여, 일반 메모리보다 훨씬 많은 데이터를 한꺼번에 주고받는다.

예전에는 슈퍼컴퓨터나 고성능 그래픽카드에 들어가는 비싸고 특이한 메모리 정도로 취급됐지만 ChatGPT를 비롯한 생성형 인공지능이 대유행하면서 갑자기 세계 반도체 산업의 주인공이 됐다.

엔비디아가 AI용 GPU를 아무리 많이 만들어도 옆에 붙일 HBM이 없으면 완제품을 출하할 수 없다. 그래서 AI 반도체 공급 부족이라고 말하지만 실제로는 GPU보다 HBM과 첨단 패키징이 부족해서 제품을 못 만드는 경우도 많다.

ㄴ GPU가 두뇌라면 HBM은 기억력을 공급하는 초고속 창고다.

ㄴ 천재에게 일을 시켜놓고 메모를 한 장씩 전달하면 아무리 머리가 좋아도 놀게 된다.

왜 필요한가

컴퓨터의 연산장치는 엄청나게 빨라졌지만 메모리에서 데이터를 가져오는 속도는 상대적으로 느리다. GPU에 수천 개의 연산 코어가 있어도 계산할 데이터를 제때 공급하지 못하면 코어들이 아무것도 하지 않고 기다리게 된다. 이를 흔히 메모리 병목이라고 한다.

기존 그래픽카드에 사용되는 GDDR 메모리는 GPU 주변에 여러 개의 칩을 펼쳐놓고 연결한다. 가격과 생산성이 비교적 좋고 일반 그래픽카드에는 충분히 빠르지만, 메모리 칩 수가 늘어날수록 기판에서 차지하는 공간과 전력 소모도 함께 늘어난다.

HBM은 이 문제를 해결하기 위해 D램 칩을 옆으로 펼치는 대신 위로 쌓는다. 각 층을 매우 넓은 데이터 통로로 연결해 낮은 속도로도 엄청난 양의 데이터를 동시에 전송한다. 고속도로에서 자동차 한 대가 시속 300km로 달리는 대신 수천 개 차로에서 자동차를 한꺼번에 보내는 방식에 가깝다.

삼성전자의 HBM3는 스택 하나당 최대 819GB/s, HBM3E는 1TB/s가 넘는 대역폭을 제공한다. 마이크론의 HBM3E도 스택 하나에서 1.2TB/s 이상의 대역폭을 낸다. HBM 여러 개를 GPU 주변에 배치하면 전체 메모리 대역폭이 초당 수 테라바이트에 이른다.

ㄴ 1TB짜리 저장장치를 1초 안에 다 읽는다는 뜻은 아니다. 대역폭과 저장용량은 다른 개념이다.

ㄴ 그래도 숫자만 보면 미친 물건인 것은 맞다.

구조

HBM은 여러 개의 D램 다이를 수직으로 적층하고 맨 아래에 데이터를 관리하는 베이스 다이를 놓는 구조다. 8개의 D램 층을 쌓으면 8단 또는 8H, 12개를 쌓으면 12단 또는 12H라고 부른다.

층 사이에는 TSV라는 기술이 사용된다. TSV는 Through-Silicon Via, 즉 실리콘 관통 전극의 약자로 D램 칩에 수천 개의 미세한 구멍을 뚫고 이를 전극으로 연결하는 방식이다. 단순히 칩을 쌓아놓는 것이 아니라 각 층을 관통하는 엘리베이터를 수천 개 만드는 셈이다.

완성된 HBM 스택은 GPU나 AI 가속기와 함께 인터포저라는 넓은 기판 위에 배치된다. GPU와 HBM 사이의 거리가 짧고 연결선이 매우 많기 때문에 빠른 속도로 데이터를 주고받을 수 있다.

이 구조 때문에 HBM은 메모리 회사 혼자 잘한다고 완성되는 제품이 아니다. D램 제조, TSV 가공, 적층, 패키징, 인터포저, 파운드리와 최종 고객 인증이 전부 맞아야 한다. 칩 하나가 불량이면 위에 쌓은 나머지 칩까지 함께 버릴 수 있어 수율 관리도 존나게 어렵다.

ㄴ 김밥 한 줄 안쪽에 상한 재료 하나 들어갔다고 김밥 전체를 버리는 꼴이다.

ㄴ 문제는 이 김밥 한 줄 가격이 일반 D램 수십 개보다 비싸다는 것이다.

세대

HBM

1세대 HBM. 2010년대 중반 AMD 그래픽카드 등에 탑재되며 상용화됐다. 기존 GDDR 메모리보다 훨씬 넓은 인터페이스와 높은 전력 효율을 보여줬지만 가격이 비싸고 용량이 작아 널리 보급되지는 못했다.

당시에는 “기술은 신기한데 굳이 이 돈 주고 써야 하나?”라는 취급을 받았다.

HBM2

대역폭과 용량을 개선한 2세대. 엔비디아의 데이터센터 GPU, 슈퍼컴퓨터용 가속기와 일부 고급 그래픽카드에 사용되면서 본격적인 고성능 메모리로 자리 잡았다.

HBM2E는 HBM2를 더 빠르게 개선한 제품이다. AI가 지금처럼 대폭발하기 전까지는 이 정도만 해도 존나게 비싼 최고급 메모리였다.

HBM3

생성형 AI 시대를 본격적으로 연 세대. 엔비디아 H100 같은 AI 가속기에 사용되면서 수요가 폭발했다. 삼성전자 제품 기준으로 스택당 최대 819GB/s의 대역폭과 16GB 또는 24GB 용량을 제공한다.

SK하이닉스는 엔비디아에 HBM3를 선제적으로 공급하면서 시장을 장악했고, 이때부터 만년 삼성전자 2등이라는 이미지에서 벗어나기 시작했다.

HBM3E

HBM3의 확장형이자 5세대 HBM. 여기서 E는 Extended를 뜻한다. 스택당 대역폭이 1TB/s를 넘고 8단 24GB, 12단 36GB 제품이 대표적이다.

엔비디아 H200, B100, B200 등 차세대 AI 가속기에 채택되면서 2024년 이후 HBM 시장의 주력으로 자리 잡았다.

12단 제품은 3GB짜리 D램 다이 12개를 적층해 36GB의 용량을 만든다. AI 가속기 하나에 HBM 스택을 여러 개 붙이면 전체 메모리 용량이 수백 GB에 이른다.

ㄴ 게임용 그래픽카드 24GB를 보고 크다고 하던 시대에 AI 서버는 HBM을 192GB씩 박는다.

ㄴ 그래도 거대언어모델 입장에서는 부족하다고 더 달라고 한다.

HBM4

HBM의 6세대 규격. 인터페이스 폭이 기존 1,024비트에서 2,048비트로 두 배 넓어지고 스택당 대역폭도 크게 증가한다. 단순히 메모리 칩을 더 빠르게 만든 수준이 아니라 베이스 다이에 로직 기능을 넣고 고객별 요구에 맞게 설계하는 방향으로 발전하고 있다.

SK하이닉스는 2025년 HBM4 개발과 양산 준비를 마쳤다고 발표했고, 삼성전자와 마이크론도 HBM4 시장을 준비하고 있다.

HBM4부터는 메모리 회사와 파운드리의 협력이 더욱 중요해진다. 베이스 다이가 단순한 연결판을 넘어 복잡한 반도체에 가까워지기 때문이다.

ㄴ 예전에는 메모리 회사끼리 싸웠는데 이제는 파운드리까지 파티원으로 데려와야 한다.

ㄴ 삼성전자가 메모리와 파운드리를 둘 다 가진 장점을 살릴 수 있을지 주목받는 이유다.

HBM4E

HBM4를 더욱 빠르고 고용량으로 개선하는 차세대 제품. 2026년부터 업체들이 고객사에 초기 샘플을 공급하거나 개발 계획을 공개하기 시작했다.

아직 업체별 최종 사양과 양산 일정은 달라질 수 있지만, AI 가속기 한 세대가 바뀔 때마다 HBM도 함께 업그레이드되는 구조가 굳어졌다.

HBM이 AI에 중요한 이유

AI 모델의 학습과 추론은 엄청난 양의 행렬 연산을 반복한다. GPU는 이 계산을 빠르게 수행할 수 있지만, 모델의 가중치와 입력 데이터를 계속 메모리에서 가져와야 한다.

대규모 언어모델은 수십억에서 수조 개의 매개변수를 가지고 있다. 모델이 커질수록 필요한 메모리 용량과 대역폭도 함께 늘어난다. 메모리가 느리면 비싼 GPU가 데이터를 기다리며 놀게 되고, 메모리 용량이 부족하면 모델을 여러 GPU에 나눠 담아야 해서 통신 부담까지 커진다.

HBM은 높은 대역폭과 비교적 낮은 전력 소모를 제공해 이런 병목을 줄여준다. AI 모델 학습뿐 아니라 사용자의 질문에 답하는 추론 과정에서도 HBM 용량과 속도가 중요하다.

최근에는 연산 성능보다 메모리 대역폭이 AI 가속기의 실제 성능을 결정한다는 말까지 나온다. GPU 코어를 더 많이 넣는 것만으로는 부족하고, 그 코어에 데이터를 먹여줄 HBM이 함께 늘어야 하기 때문이다.

ㄴ AI가 밥 먹는 하마라면 HBM은 초대형 급식차다.

ㄴ 급식차가 늦으면 수만 개의 연산 코어가 단체로 배식 줄에 서게 된다.

GDDR과의 차이

HBM과 GDDR은 둘 다 그래픽과 고성능 연산에 사용되는 D램이지만 설계 철학이 다르다.

GDDR은 GPU 주변 기판에 여러 개의 메모리 칩을 배치한다. 상대적으로 가격이 저렴하고 생산이 쉬우며 일반 소비자용 그래픽카드에 적합하다. 메모리 칩 하나의 작동 속도를 높여 대역폭을 확보하는 방식이다.

HBM은 여러 칩을 수직 적층하고 매우 넓은 인터페이스로 GPU와 연결한다. 같은 대역폭을 낼 때 전력 효율이 좋고 공간을 적게 차지하지만 제조와 패키징이 어렵고 가격이 매우 비싸다.

따라서 게임용 그래픽카드에는 여전히 GDDR이 주로 사용되고, 가격보다 성능과 전력 효율이 중요한 AI 서버와 슈퍼컴퓨터에는 HBM이 들어간다.

쉽게 말하면 GDDR은 넓은 도로에서 스포츠카 여러 대가 빠르게 달리는 방식이고, HBM은 속도는 조금 낮아도 수천 개 차로를 동시에 여는 방식이다.

HBM 제조가 어려운 이유

주의. 이 게임은 요령 없이 하다간 저절로 똥손, 똥발이 되어버리는 존나 어려운 게임입니다.

이 게임은 존나게 어려워서 몇 번이고 유다희 누님을 영접할 위험이 있습니다.
계속하면 정신이 나가 샷건을 칠 수 있으니 하기 전에 다량의 항암제를 준비하거나 전문가와 상의를 권고합니다.
하지만 이미 늦었군요,

YOU DIED

우선 얇은 D램 다이를 여러 장 쌓아야 한다. 칩이 너무 두꺼우면 전체 패키지 높이가 커지고, 너무 얇게 깎으면 휘거나 깨질 수 있다.

각 다이에는 수천 개의 TSV를 정확하게 뚫어야 하며, 위아래 칩의 연결 지점도 미세하게 맞아야 한다. 적층 과정에서 틈이나 기포가 생기면 신호와 열 방출에 문제가 생긴다.

열도 골칫거리다. 칩 여러 장을 포개면 안쪽에서 발생한 열이 빠져나가기 어려워진다. AI 가속기 자체도 수백 와트에서 천 와트 이상을 소비하기 때문에 바로 옆에 붙은 HBM까지 뜨거워진다.

적층 높이가 늘어날수록 수율 문제도 커진다. 각 다이의 수율이 90%라고 해도 12장을 모두 정상 제품으로 쌓을 확률은 단일 칩보다 크게 낮아진다. 그래서 제조사는 적층 전에 좋은 다이를 골라내는 검사와 적층 후 테스트에 막대한 비용을 쓴다.

마지막으로 고객 인증도 통과해야 한다. 메모리 회사가 “우리 제품 완성했음”이라고 발표했다고 바로 엔비디아가 사주는 것이 아니다. 속도, 전력, 발열, 장기 신뢰성과 실제 GPU와의 호환성을 고객사가 검증한 뒤에야 대규모 공급이 가능하다.

ㄴ 개발 성공과 납품 성공은 다른 게임이다.

ㄴ 삼성전자가 HBM에서 계속 고객 인증 이야기를 듣는 이유도 이것이다.

주요 업체

SK하이닉스

2020년대 HBM 시장의 선두 업체. HBM3와 HBM3E를 엔비디아에 일찍 공급하며 가장 큰 수혜를 봤다.

일반 D램에서는 오랫동안 삼성전자에 밀린 2위였지만 HBM에서는 선제 투자와 패키징 기술을 바탕으로 주도권을 잡았다. 2024년 세계 최초로 12단 HBM3E 양산을 시작했고 2025년에는 HBM4 양산 준비 완료를 발표했다.

적층 방식으로는 칩 사이에 액체 형태의 보호재를 주입한 뒤 한 번에 굳히는 MR-MUF 기술을 주로 사용한다. 높은 적층에서도 방열과 생산성에 장점이 있다고 홍보한다.

HBM 성공 덕분에 2024년과 2025년 사상 최대 실적을 연달아 기록했으며, SK그룹의 대표적인 현금창출원이 됐다.

ㄴ SK가 하이닉스를 인수한 게 신의 한 수라는 말이 HBM 이후에는 거의 반박 불가능해졌다.

삼성전자

세계 최대급 메모리 반도체 회사이자 HBM의 초기 개발에 참여한 업체다. HBM2 시절까지 강한 경쟁력을 보였지만 생성형 AI가 폭발한 HBM3와 HBM3E 시기에는 SK하이닉스보다 고객 대응과 양산이 늦었다는 평가를 받았다.

삼성은 칩 사이에 비전도성 필름을 넣어 열과 압력으로 접합하는 TC-NCF 방식을 사용한다. 12단 HBM3E에서는 칩 사이 간격을 줄이고 범프 구조를 조절해 발열과 높이 문제를 개선했다.

삼성전자는 D램 생산능력뿐 아니라 파운드리와 첨단 패키징 사업까지 보유하고 있어 HBM4의 맞춤형 베이스 다이 경쟁에서 반격을 노리고 있다.

ㄴ HBM을 처음부터 연구한 회사가 정작 시장 폭발 시기에 선두를 놓쳤다.

ㄴ 반도체 업계에서는 기술 개발보다 고객이 원하는 시점에 멀쩡한 제품을 대량 공급하는 게 더 중요하다는 교훈이다.

마이크론

미국의 메모리 업체. 과거에는 삼성전자와 SK하이닉스보다 한 단계 아래라는 이미지가 강했지만 HBM3E에서 빠르게 추격했다.

24GB 8단 HBM3E가 엔비디아 H200에 탑재됐으며, 36GB 12단 제품도 공급하고 있다. 전력 효율을 강점으로 내세우며 미국 정부의 반도체 지원과 자국 AI 생태계의 수혜도 기대받고 있다.

HBM 시장은 사실상 SK하이닉스, 삼성전자, 마이크론 세 회사가 경쟁하는 구조다.

ㄴ AI의 두뇌는 미국 회사가 만들고 기억장치는 한국 회사 두 곳과 미국 회사 한 곳이 나눠 먹는다.

엔비디아와의 관계

현재 HBM 시장에서 가장 영향력이 큰 고객은 엔비디아다. AI 가속기 시장 대부분을 엔비디아가 차지하고 있어 엔비디아의 품질 인증과 공급계약을 따내는 것이 메모리 업체 실적에 직접적인 영향을 준다.

엔비디아 GPU 주변에는 여러 개의 HBM 스택이 함께 패키징된다. H100에는 HBM3, H200에는 HBM3E가 탑재됐고 블랙웰 계열 가속기에도 HBM3E가 사용된다. 이후 세대에서는 HBM4가 적용될 예정이다.

이 때문에 메모리 업체들은 엔비디아가 요구하는 사양에 맞춰 제품을 개발하고 샘플을 보내 인증 경쟁을 벌인다. 엔비디아가 특정 회사 제품을 더 많이 채택했다는 소식 하나에 한국 반도체 주가가 출렁일 정도다.

다만 HBM 고객이 엔비디아뿐인 것은 아니다. AMD의 인스팅트 가속기, 구글 TPU, 아마존 Trainium, 마이크로소프트 Maia와 각종 슈퍼컴퓨터용 가속기에도 HBM이 들어간다.

AI 기업들이 자체 가속기를 개발할수록 고객별로 다른 사양의 맞춤형 HBM 수요도 늘어날 전망이다.

비싼 이유

HBM은 일반 D램보다 다이 면적이 크고 제조 공정도 복잡하다. 좋은 D램 칩을 여러 장 골라 얇게 가공하고 TSV를 뚫어 쌓은 뒤, 비싼 인터포저와 함께 GPU에 패키징해야 한다.

불량이 발생했을 때 버리는 금액도 크다. 12단 HBM에서 위쪽 칩 하나에 문제가 생기면 이미 쌓아놓은 다른 정상 칩과 패키징 비용까지 함께 날아갈 수 있다.

여기에 AI 가속기 수요가 공급능력보다 빠르게 증가하면서 가격이 더 올라갔다. 메모리 업체 입장에서는 일반 D램 여러 개를 파는 것보다 HBM 하나를 파는 게 훨씬 많은 이익을 남길 수 있다.

ㄴ 그래서 SK하이닉스 영업이익률이 소프트웨어 회사처럼 변했다.

ㄴ 소비자는 램값 몇만 원 올랐다고 화내는데 데이터센터는 HBM 확보하려고 조 단위 계약을 한다.

생산량을 갑자기 늘리기 어려운 이유

일반 D램 공장에서 HBM 생산으로 바로 전환할 수 있는 것도 아니다. HBM에는 TSV, 적층, 검사와 첨단 패키징 설비가 추가로 필요하며 숙련된 공정기술도 요구된다.

생산라인을 증설하려면 공장과 장비를 먼저 주문해야 하고 실제 양산까지 수년이 걸린다. 무작정 생산량을 늘렸다가 AI 경기가 꺾이면 막대한 설비가 놀게 될 위험도 있다.

HBM이 일반 D램보다 다이 면적을 많이 사용한다는 점도 문제다. 같은 웨이퍼로 만들 수 있는 메모리 용량이 줄어들기 때문에 HBM 생산을 늘리면 일반 D램 공급에도 영향을 줄 수 있다.

패키징 업체의 생산능력도 병목이다. GPU와 HBM을 인터포저 위에 함께 올리는 공정은 TSMC의 CoWoS 같은 첨단 패키징에 크게 의존한다. HBM을 충분히 만들어도 패키징할 자리가 부족하면 최종 AI 가속기는 출하되지 못한다.

ㄴ 반도체 공급망은 한 군데만 막혀도 수천만 원짜리 칩이 창고에서 대기한다.

발열과 전력

HBM은 같은 대역폭을 제공할 때 GDDR보다 전력 효율이 좋지만, 절대적인 발열이 적다는 뜻은 아니다. AI 가속기에서 처리하는 데이터와 전송량 자체가 엄청나기 때문에 HBM도 상당한 열을 발생시킨다.

특히 12단, 16단처럼 적층 수가 늘어나면 내부 열이 밖으로 빠져나오기 어려워진다. 업체들이 칩 사이 재료와 범프 구조, 패키지 높이, 냉각 방식을 계속 개선하는 이유다.

데이터센터에서는 GPU와 HBM을 함께 식히기 위해 공랭식만으로 부족해 액체냉각을 도입하는 경우도 늘고 있다.

향후 HBM 성능 경쟁에서는 단순한 속도뿐 아니라 전력당 대역폭과 방열 성능이 더욱 중요해질 전망이다.

한계

HBM이 좋다고 모든 컴퓨터 메모리를 대체할 수는 없다.

가격이 너무 비싸고 제조가 어려우며 GPU와 함께 패키징되기 때문에 나중에 사용자가 메모리만 교체하기도 어렵다. 일반 PC처럼 램이 부족하다고 HBM 하나를 사서 꽂을 수 없다.

용량 확장도 쉽지 않다. 한 패키지에 배치할 수 있는 HBM 스택 수와 인터포저 크기에 한계가 있으며, 용량을 늘리면 비용과 발열도 함께 증가한다.

또 AI 모델이 계속 커지는 속도가 HBM 용량 증가보다 빠를 수 있다. 아무리 36GB, 48GB짜리 HBM을 여러 개 붙여도 초거대 모델 전체를 한 가속기에 담기는 어렵다.

그래서 CXL 메모리, 고속 SSD, 여러 가속기 간 연결 기술 등과 함께 사용해 계층적인 메모리 구조를 만든다.

앞으로

HBM4부터는 고객별 맞춤 설계가 본격화될 전망이다. AI 가속기마다 필요한 연산과 메모리 구조가 다르기 때문에 베이스 다이에 로직 기능을 추가하고 GPU와 더 긴밀하게 연결하려는 시도가 이어지고 있다.

칩과 칩을 미세 범프 없이 구리끼리 직접 연결하는 하이브리드 본딩도 차세대 적층 기술로 주목받고 있다. 연결 간격을 줄이고 전력과 발열을 개선할 수 있지만 공정 난도가 매우 높다.

적층 수도 12단에서 16단 이상으로 늘어날 가능성이 크며, HBM4E 이후에는 스택 하나의 용량이 수십 GB를 넘어 100GB에 가까워질 가능성도 거론된다.

다만 AI 투자가 둔화되거나 공급이 수요를 넘어서면 지금의 HBM 초호황도 끝날 수 있다. 메모리 반도체는 원래 부족할 때는 금값이지만 공장이 완성되어 물량이 쏟아지면 가격이 급락하는 산업이다.

ㄴ 모든 회사가 돈 된다고 공장 짓기 시작하면 몇 년 뒤에는 치킨게임이 열린다.

ㄴ 메모리 회사가 호황기에 가장 잘하는 일은 다음 불황의 씨앗을 심는 것이다.

한국 경제와 HBM

HBM 시장의 주요 업체 세 곳 가운데 두 곳이 삼성전자와 SK하이닉스다. AI 시대의 핵심 부품을 한국 기업들이 주도하면서 반도체 수출과 국내 증시에도 큰 영향을 주고 있다.

특히 SK하이닉스는 HBM 성공으로 사상 최대 실적을 기록했고, 삼성전자도 HBM 경쟁력 회복을 회사의 최우선 과제로 내세우고 있다.

반면 핵심 고객과 GPU 설계는 미국 기업, 첨단 패키징 상당 부분은 대만 기업에 의존한다. 한국이 HBM을 잘 만든다고 AI 반도체 산업 전체를 지배하는 것은 아니다.

설계, 파운드리, 패키징, 장비와 소프트웨어가 모두 연결된 공급망에서 한국은 초고성능 메모리라는 중요한 한 축을 담당하고 있다.

ㄴ AI 시대의 산유국이라는 표현도 나오지만 석유와 달리 기술에서 밀리면 바로 매장량이 0이 된다.

여담

HBM은 저장장치가 아니라 휘발성 메모리다. 전원을 끄면 데이터가 사라진다.

SSD보다 용량은 작지만 속도와 대역폭은 비교가 안 될 정도로 빠르다. 둘은 용도가 다르다.

HBM 제품명에 붙는 8H, 12H의 H는 Hour가 아니라 High, 즉 적층 높이를 뜻한다.

HBM3E는 별도의 완전히 새로운 숫자 세대라기보다 HBM3를 확장한 규격이다. 다만 업계에서는 5세대 HBM으로 분류한다.

HBM 스택 하나가 1TB/s를 넘는다고 인터넷에서 파일을 1초에 1TB 다운로드할 수 있는 것은 아니다. GPU와 메모리 사이의 내부 데이터 전송속도다.

AI 가속기 가격이 수천만 원에 달하는 이유에는 GPU 다이뿐 아니라 주변의 HBM과 첨단 패키징 비용도 상당 부분 포함된다.

과거에는 메모리를 반도체 산업의 단순 부품이나 경기민감형 상품으로 봤지만, HBM 이후에는 메모리 자체가 AI 시스템 성능을 결정하는 전략 부품으로 취급되기 시작했다.

한 줄 요약

D램을 수직으로 쌓아 수천 개의 통로로 연결한 AI 시대의 초고속 급식차.

GPU가 아무리 똑똑해도 HBM이 데이터를 제때 안 먹여주면 수천만 원짜리 실리콘 장식품이 된다.