**번역본뉴스입니다. 오역이 있을수 있습니다.

SanDisk는 인공지능 컴퓨팅에서 가장 빠르게 성장하는 과제 중 하나인 점점 희소해지고 비용이 증가하는 고대역폭 메모리(HBM)에만 전적으로 의존하지 않고 훨씬 더 많은 메모리 용량을 확보해야 하는 문제를 해결하기 위한 고대역폭 플래시(HBF)라는 새로운 메모리 아키텍처 개념을 제시했습니다.

제안된 HBF 기술은 대용량 NAND 플래시 스토리지와 HBM에서 일반적으로 사용되는 첨단 패키징 기술을 결합합니다. 스토리지 장치를 프로세서에서 멀리 배치하는 대신, SanDisk의 설계는 관통 실리콘 비아(TSV)를 사용하여 여러 NAND 다이를 수직으로 적층함으로써 GPU에 훨씬 더 가깝게 통합될 수 있는 컴팩트한 스토리지 구조를 만듭니다.

회사에 따르면 HBF의 핵심 장점 중 하나는 용량입니다. 현재 HBM 스택은 일반적으로 32GB에서 64GB의 메모리를 제공합니다. 이에 비해 HBF는 유사한 적층 아키텍처 내에서 약 4TB의 스토리지 용량까지 확장될 수 있습니다. 이를 통해 미래의 AI 가속기는 훨씬 더 큰 데이터셋을 컴퓨팅 엔진에 물리적으로 더 가깝게 유지할 수 있습니다.

SanDisk의 로드맵에는 CMOS 본딩 어레이(CBA) 설계를 활용한 더욱 야심찬 구현 방안도 포함되어 있습니다. 이 구성에서 HBF NAND는 GPU 패키지 옆이 아닌 바로 아래에 배치됩니다. 목표는 기존 스토리지 배열에 비해 데이터 경로를 단축하고 전송 효율을 개선하며 지연 시간을 줄이는 것입니다. 회사는 이미 미국 특허 제12,430,274 B2호를 통해 해당 기술의 일부에 대한 특허 보호를 확보했습니다.

이 아키텍처는 HBM을 대체하기 위한 것이 아닙니다. 대신 두 기술은 동일한 패키지 내에서 공존하며 서로 다른 기능을 수행합니다. HBM은 지연 시간에 민감한 워크로드와 고우선순위 실시간 처리 작업을 계속 담당하는 반면, HBF는 대형 AI 모델, 학습 데이터셋, 덜 자주 액세스되는 데이터를 위한 대용량 스토리지 계층으로 기능합니다.

이러한 계층형 메모리 접근 방식은 여러 이점을 제공할 수 있습니다. 대량의 HBM에 대한 의존도를 줄임으로써 미래의 가속기 설계에서 비용을 낮추고 AI 하드웨어 제조업체에 영향을 미치는 현재의 공급 제약을 부분적으로 완화할 수 있습니다. 또한 패키지 크기를 크게 늘리지 않고도 가용 메모리 용량을 늘릴 수 있는 실용적인 방법을 제공할 수 있습니다.

잠재력에도 불구하고 HBF는 근시일 내 출시될 제품이 아닌 장기적인 기술 제안으로 남아 있습니다. 아직 해결되지 않은 주요 기술적 과제들이 몇 가지 있습니다. 특히 NAND 스토리지가 고전력 AI 프로세서 바로 아래에 배치될 경우 열 관리가 매우 까다로울 것입니다. 제조 복잡성, 패키징 비용, GPU, DRAM, NAND 구성 요소를 단일 패키지로 통합하는 작업도 상당한 개발 작업이 필요할 것입니다.

이 제안은 반도체 업계 내에서 점점 더 까다로워지는 AI 워크로드를 지원할 수 있는 새로운 메모리 계층 구조를 모색하는 광범위한 트렌드를 반영합니다. HBF가 결국 상용화될지는 불확실하지만, 이 개념은 미래의 AI 가속기가 성능, 용량, 전력 효율성, 비용의 균형을 맞추기 위해 여러 메모리 기술을 어떻게 결합할 수 있는지를 보여줍니다.

출처 : https://wccftech.com/sandisk-bets-on-stacking-nand-and-compute-on-one-chip/
https://x.com/jimmy_yoasobi/status/2068702576086839333