AMD Instinct MI300X 및 MI300A AI 가속기 세부 정보: CDNA 3 및 Zen 4가 고급 패키징 놀라운 기술로 함께 모였습니다.

AMD Instinct MI300X 및 MI300A는 다음 달 출시될 AI 부문에서 가장 기대되는 가속기 중 일부입니다. AMD의 첫 번째 본격적인 AI 걸작을 둘러싼 많은 기대가 있으며 오늘 우리는 이 기술적 경이로움에서 무엇을 기대할 수 있는지에 대한 정보를 제공하려고 생각했습니다.

 

AMD Instinct MI300X는 GPU 가속 AI 워크로드를 위해 설계되었으며 MI300A는 기술적으로 가장 진보된 APU 패키지로 HPC를 처리합니다.

 

12월 6일, AMD는 코드명 MI300이라는 차세대 Instinct 가속기 제품군을 완전히 공개하는 것이 주요 의제 중 하나인 "Advancing AI" 기조연설을 개최할 예정입니다. 이 새로운 GPU 및 CPU 가속 제품군 은 AMD의 1위이자 현재 가장 중요한 전략적 우선순위인 AI 부문의 선두 제품이 될 것입니다. 업계 내 AI 요구 사항. MI300 클래스 AI 가속기는 TSMC의 고급 패키징 기술을 활용하는 또 다른 강력한 칩렛이 될 것이므로 이러한 AI 괴물의 내부에 무엇이 있는지 살펴보겠습니다.

 

AMD Instinct MI300X - CDNA 3 및 대용량 메모리로 NVIDIA의 AI 패권에 도전

 

AMD Instinct MI300X는 분명히 AI 부문 내 NVIDIA의 Hopper 및 Intel의 Gaudi 가속기를 대상으로 하기 때문에 가장 강조될 칩입니다. 이 칩은 CDNA 3 아키텍처로만 설계되었으며 많은 일이 진행되고 있습니다. 이 칩은 5nm와 6nm IP를 혼합하여 호스팅할 예정이며, 모두 결합하여 최대 1,530억 개의 트랜지스터(MI300X)를 제공합니다.

 

 

설계부터 메인 인터포저는 차세대 Infinity Fabric 솔루션을 사용하여 인터커넥트 레이어를 수용하는 패시브 다이로 배치됩니다. 인터포저에는 8개의 HBM3 패키지, HBM 패키지 사이에 있는 16개의 더미 다이, 4개의 활성 다이를 포함하는 총 28개의 다이가 포함되어 있으며 각 활성 다이는 2개의 컴퓨팅 다이를 갖습니다.

 

CDNA 3 GPU 아키텍처를 기반으로 하는 각 GCD는 2560개 코어에 해당하는 총 40개의 컴퓨팅 유닛을 갖추고 있습니다. 총 8개의 컴퓨팅 다이(GCD)가 있으므로 총 320개의 컴퓨팅 및 20,480개의 코어 유닛을 제공합니다. 수율을 위해 AMD는 이러한 코어의 일부를 축소할 예정이며 지금부터 한 달 후에 정확한 구성에 대한 자세한 내용을 얻을 수 있을 것입니다.

 

 

메모리는 이전 제품인 MI250X(128GB)보다 50% 더 많은 HBM3 용량을 자랑하는 MI300X를 통해 엄청난 업그레이드를 볼 수 있는 또 다른 영역입니다. 192GB의 메모리 풀을 달성하기 위해 AMD는 MI300X에 8개의 HBM3 스택을 장착하고 각 스택은 12-Hi이며 IC당 2GB 또는 스택당 24GB의 용량을 제공하는 16Gb IC를 통합합니다.

메모리는 최대 5.2TB/s의 대역폭과 896GB/s의 Infinity Fabric 대역폭을 제공합니다. 비교를 위해 NVIDIA의 곧 출시될 H200 AI 가속기는 141GB 용량을 제공 하고 Intel의 Gaudi 3은 144GB 용량을 제공합니다. 대용량 메모리 풀은 대부분 메모리에 묶여 있는 LLM에서 매우 중요하며 AMD는 메모리 부서를 선도함으로써 확실히 AI 능력을 보여줄 수 있습니다. 비교를 위해:

• 본능 MI300X - 192GB HBM3
• 가우디 3 - 144GB HBM3
• H200 - 141GB HBM3e
• MI300A - 128GB HBM3
• MI250X - 128GB HBM2e
• H100 - 96GB HBM3
• 가우디 2 - 96GB HBM2e

 

 

전력 소비 측면에서 AMD Instinct MI300X는 750W로 평가되었으며 이는 Instinct MI250X의 500W보다 50% 증가하고 NVIDIA H200보다 50W 더 높습니다.

 

AMD Instinct MI300A - 촘촘하게 패키지된 엑사스케일 APU가 이제 현실이 되었습니다.

 

우리는 AMD가 마침내 엑사스케일급 APU에 대한 약속을 이행하기를 수년 동안 기다려 왔으며 Instinct MI300A 출시가 가까워지면서 그 날이 다가오고 있습니다. MI300A의 패키징은 TCO에 최적화된 메모리 용량 및 Zen 4 코어를 사용한다는 점을 제외하면 MI300X와 매우 유사합니다.

 

 

활성 다이 중 하나에는 2개의 CDNA 3 GCD가 잘라내어 별도의 캐시 및 코어 IP 풀을 제공하는 3개의 Zen 4 CCD로 교체되었습니다. CCD당 8개의 코어와 16개의 스레드가 있으므로 활성 다이에는 총 24개의 코어와 48개의 스레드가 있습니다. 또한 24MB의 L2 캐시(코어당 1MB)와 별도의 캐시 풀(CCD당 32MB)도 있습니다. CDNA 3 GCD에는 L2 캐시도 별도로 있다는 점을 기억해야 합니다.

 

 

AMD Instinct MI300 Accelerator의 주요 기능 중 일부를 요약하면 다음과 같습니다.

• 최초의 통합 CPU+GPU 패키지
• 엑사스케일 슈퍼컴퓨터 시장을 노린다
• AMD MI300A(통합 CPU + GPU)
• AMD MI300X(GPU 전용)
• 1,530억 개의 트랜지스터
• 최대 24개의 Zen 4 코어
• CDNA 3 GPU 아키텍처
• 최대 192GB HBM3 메모리
• 최대 8개의 칩렛 + 8개의 메모리 스택(5nm + 6nm 프로세스)

이 모든 것을 종합하여 AMD는 생태계 지원자 및 파트너와 협력하여 메자닌 커넥터를 통해 메인보드에 연결되는 SXM 설계를 특징으로 하는 8방향 구성의 MI300 AI 가속기를 제공할 것입니다. SXM 보드가 제공되지만 PCI-E 폼 팩터에서 몇 가지 변형이 예상될 수도 있습니다.

 

 

현재 AMD는 NVIDIA가 이미 2024년 Blackwell GPU에 대한 엄청난 수치를 공개하고 Intel이 향후 몇 년 내에 Guadi 3 및 Falcon Shores GPU 출시를 준비하고 있는 등 경쟁사들도 AI 열풍에 본격적으로 나서고 있다는 사실을 알아야 합니다. 한 가지 확실한 점은 현재 AI 고객은 얻을 수 있는 거의 모든 것을 게걸스럽게 먹어치울 것이며 모든 사람이 이를 활용할 것이라는 점입니다. 그러나 AMD는 NVIDIA의 대안이 될 뿐만 아니라 AI 부문의 리더가 되는 것을 목표로 하는 매우 강력한 솔루션을 보유하고 있으며 MI300이 이러한 성공을 달성하는 데 도움이 되기를 바랍니다.

출처 : https://wccftech.com/amd-instinct-mi300x-mi300a-ai-accelerators-detailed-cdna-3-zen-4-come-advanced-packaging-marvel/

 

#amd #mi300x #mi300a #ai #cdna