고대역폭 메모리(High Bandwidth Memory,HBM)

고대역폭 메모리(High Bandwidth Memory,HBM)는 삼성, AMD, SK하이닉스(SK Hynix)가 처음 출시한3D 스택 동기식 동적 랜덤 액세스 메모리(SDRAM)를 위한 컴퓨터 메모리인터페이스를 말한다. 고대역(High Bandwith)란 초당 데이터 속도가 빠르다는 것을 의미하는데, HBM의 경우 초기 HBM1이 128 Gbyte/s이며, HBM3이 819 Gbyte/s로 기존 메모리 대비 빠른 속력을 보여준다. HBM 기술의 경우 2013년 10월 반도체 관련 국제표준화 기구인 JEDEC에서 산업표준으로 승인되었으며, HBM3의 경우 2022년 1월 표준이 발표되었다.

HBM은 기존의 DDR4또는GDDR5와 같은 메모리 대비 더 적은 전력을 사용하면서도 훨씬 더 작은 부피를 차지한다(폼 팩터가 작다고도 표현된다.) 이는 새롭게 개발된 반도체 연결방법인 Bump ball 및 실리콘 관통전극(TSV, Through-silicon vias)과 같은 기술에 의해 개발될 수 있었다. 그림과 같이 HBM은 기존 GDDR 메모리와 비교하여 관통된 전극과 볼 타입의 배선을 통해 적층기판 연결을 더 많이, 긴밀하게 할 수 있다. 따라서 HBM 메모리 버스 즉 데이터를 전달할 수 있는 채널이 기존의 DDR4, GDDR5와 같은 DRAM 메모리 대비 매우 넓다(많다). HBM의 메모리 연결이 기존 메모리 대비 많기 때문에 GPU 및 다른 프로세서와 연결하기 위한 새로운 방법이 고안되기도 하였는데, AMD와 Nvidia는 인터포저라고 하는 특수 제작된 실리콘 칩으로 연결하기도 한다. 인터포저(interposer)란 칩과 칩, 칩과 기판을 그림과 판의 형태로 연결해 주는 것으로 인터포저를 이용하여 CPU(혹은 GPU)와 HBM을 긴밀하게 연결하게 하여 고속신호 전달과 넓은 버스 지원을 가능하게 한다. 인터포저는 TSV와 같이 사용되기도 한다.

 

그림 1. HBM과 GDDR의 구조 등 비교, HBM은 수직 관동 전극(TSV)와 Bump ball을 이용한 적증구조로 데이터이동을 더 효율적으로 할 수 있다. (출처 : graphicscardhub.com)

그림 2. HBM과 GDDR의 연결 비교, HBM은 인터포저를 사용하여 CPU 혹은 GPU와 메모리를 효율적으로 연결한다. (출처 : graphicscardhub.com)

역사

HBM의 개발은 2008년 AMD에서 계속 증가하는 전력 사용량과 컴퓨터 메모리의 폼 팩터(부피) 문제를 해결하기 위해 시작되었다. AMD는 HBM 개발을 위해 SK하이닉스, UMC(대만), 앰코 테크놀로지와 같은 파트너들을 모집하여 공동으로 개발하였다. HBM의 개발은 SK하이닉스가 최초의 HBM 메모리 칩을 구축한 2013년 완료되었고, HBM은 AMD와 SK 하이닉스의 제안에 따라 2013년 10월 JEDEC에 의해 JESD235 표준으로 제정되었다. 2015년에는 한국 이천 하이닉스 공장에서 HBM 메모리의 대량생산이 시작되었다. HBM은 2015년 6월 출시된 AMD 피지 GPU와 같이 최초로 활용되었다. 2016년 1월 삼성전자는 HBM2의 조기양산을 시작하였다. 같은 달 HBM2는 JEDEC에 의해 JESD235a 표준으로 승인되었다. HBM2를 사용한 최초의 GPU 칩은 2016년 4월 발표된 Nvidia Tesla P100이다. 2016년 6월, Intel은 Micron의 HBM 버전인 HCDRAM의 8스택이 있는 Xeon Phi 프로세서 제품군을 출시했다. 2018년 말, JEDEC은 향상된 대역폭과 용량을 제공하는 HBM2 사양에 대한 업데이트를 발표하였다. 2019년 3월 삼성전자는 3.2 GT/s의 전송속도를 가진 Flashbolt HBM2E를 발표하였다. 2019년 8월 SK하이닉스는 3.6 GT/s의 전송속도를 가진 HBM2E를 발표하였고 2020년 7월 SK하이닉스가 해당 칩의 양산을 시작한다고 발표하였다.

2019년 10월 삼성전자는 12단 HBM2E를 발표하였다. 2020년 말 Micron은 HBM2E 표준이 업데이트될 것이라고 발표했으며, HBM3(HBMnext) 표준을 발표하였다. 2021년 중반 SK하이닉스는 HBM3 표준의 일부 사양을 공개하였다. 2021년 10월 SK하이닉스는 HBM3 메모리 장치 개발을 완료했다고 발표하였다. 이 메모리는 HBM2E 메모리 대비 78 % 빠른 속력을 보유하였다. HBM3 표준은 2022년 1월 JEDEC을 통해 공식 발표되었다. Nvidia는 2022년 3월 22일 HBM3를 활용한 세계 최초의 GPU인 Nvidia Hopper H100 GPU를 발표했고, 2022년 6월 SK하이닉스는 해당 메모리에 탑재 가능한 HBM3 메모리 양산에 들어갔다고 밝혔다. 2023년 5월 SK하이닉스는 HBM3보다 25 % 빠른 HBM3E 메모리를 공개하였다. 2023년 7월 마이크론은 HBM3보다 50 % 빠른 HBM3E 메모리를 발표하였다. 삼성전자는 2023년 5월 HBM3P를 발표하였고, 2023년 10월에는 HBM3E Shinebolt를 발표하였다. 2024년 2월 마이크론은 HBM3E 메모리의 양산을 발표하였다. Nvidia는 2023년 8월HBM3E를 활용하는 GH200 Grace Hopper 슈퍼칩의 새 버전을 발표하였고, 2024년 3월 HBM3E 메모리를 사용하는 Blackwell GPU 시리즈를 발표하였다. SK하이닉스는 2024년 9월 12단 HBM3E 메모리의 양산을 발표하였고, 11월에는 16단 버전의 양산을 발표하였다. 2021년 2월 삼성전자는 PIM(Processing-in-Memory)을 탑재한 HBM(HBM-PIM)을 발표하였는데 이것은 메모리 내부에 AI컴퓨팅 기능을 제공하여 대규모 데이터 처리를 증가시킬 수 있다. 이 AI엔진은 병렬처리를 가능하게 하고 데이터 이동을 최소화 한다. 삼성은 이를 통해 시스템 성능을 두 배 높이고 에너지소비를 70 % 줄이는 동시에 시스템의 나머지 부분에 대한 하드웨어 및 소프트웨어 변경이 필요하지 않다고 발표하였다.

2024년 7월, JEDEC은 HBM4의 예비사양을 발표하였다.

​