Bluefield-3 DPU에서 CSAL로 구동되는 AI 추론 스토리지
대규모 언어 모델(LLM)의 급속한 발전으로 멀티턴 대화 및 긴 컨텍스트 처리에서 AI 추론 성능을 최적화하기 위한 효율적인 키-값 캐시(KV 캐시) 관리에 대한 시급한 요구가 제기되었습니다. 이 백서에서는 유연한 스토리지 아키텍처를 통해 높은 동시성의 AI 워크로드에서 KV 캐시의 스토리지 과제를 해결하는 클라우드 스토리지 가속 계층(Cloud Storage Acceleration Layer)1(CSAL)과 BlueField-3 데이터 처리 장치(Data Processing Unit) 2(DPU)의 통합을 살펴봅니다.
이 아키텍처는 고용량 SSD와 고성능 SSD를 결합하여 시스템 수준의 구성 유연성을 제공합니다. CSAL을 하나 이상의 DPU와 페어링하면 데이터 준비, 훈련, 추론 및 RAG(Retrieval-Augmented Generation)와 같은 다양한 AI 워크로드 단계의 특정 요구 사항에 따라 고용량 SSD, 고성능 SSD 또는 캐시 계층 스토리지 리소스 간에 데이터를 동적으로 할당하여 처리량을 크게 향상시키고 TTFT(Time-to-First-Token)를 실질적으로 줄입니다.
저자 소개
웨인 가오(Wayne Gao)는 Solidigm의 수석 엔지니어 겸 솔루션 스토리지 아키텍트입니다. 그는 경로 탐색에서 상용화에 이르기까지 Solidigm의 CSAL(클라우드 스토리지 가속화 계층)을 담당했습니다. 웨인은 20년 넘게 스토리지 개발자로서 경력을 쌓아 왔으며 미국 특허 출원/승인 4건을 보유하고 있으며, 발표된 EuroSys 논문의 저자이기도 합니다.
보 리(Bo Li)는 Solidigm의 수석 스토리지 솔루션 설계자입니다. 여러 조직에서 20년 이상 시스템 설계 및 개발 경험을 쌓았고, 전문 분야는 네트워크 및 스토리지 솔루션의 성능 최적화입니다. 최근 몇 년 동안 Bo는 비휘발성 스토리지 기술의 업계 전반 채택을 높이는 데 노력을 집중했습니다.
Mariusz Barczak은 Solidigm의 수석 엔지니어입니다. 그는 스토리지 소프트웨어 및 스토리지 솔루션에서 혁신을 찾은 경험이 13년 이상 있습니다. 그의 특별한 전문 분야는 캐싱 솔루션, 소프트웨어 정의 스토리지, 가상화 및 스토리지 분석입니다. Mariusz는 수많은 특허를 보유하고 있으며 오픈 소스 커뮤니티에서 활발히 활동하고 있습니다. 그는 현재 클라우드 스토리지 가속 레이어(CSAL)를 위한 Solidigm 팀을 이끄는 데 주력하고 있으며, 이 레이어는 Solidigm SLC SSD를 Solidigm QLC SSD와 같은 다른 스토리지 구성 요소와 결합한 혼합 미디어 솔루션을 제공하여 효율적이고 내구성 있는 스토리지를 제공합니다.
Sarika Mehta는 Solidigm의 선임 스토리지 솔루션 아키텍트이며, 인텔 스토리지 부서와 Solidigm에서 쌓은 16년 이상의 경력을 보유하고 있습니다. Solidigm 고객 및 파트너와 긴밀히 협력하여 비용과 성능을 위해 스토리지 솔루션을 최적화하는 데 중점을 둡니다. 직접 연결된 스토리지에서 계층형 및 비계층형 분리 스토리지 솔루션에 이르기까지 다양한 스토리지 배포에서 다양한 스토리지 사용 사례에 대해 Solidigm SSD를 튜닝하고 최적화하는 역할을 담당합니다. 그녀는 검증, 성능 벤치마킹, 경로 검색, 기술 마케팅, 솔루션 아키텍처 분야에서 다양한 스토리지 배경을 보유하고 있습니다.
Scott Werntz는 Solidigm의 솔루션 아키텍트입니다. 그는 데이터 센터 설계 및 클라우드 컴퓨팅 업계에서 30년 이상의 경력을 보유하고 있습니다. AI, IoT, 가상화된 워크로드 및 소프트웨어 정의 스토리지의 출현으로 Scott은 이러한 신흥 기술로 자신의 전문 지식을 넓혀 고객이 변화하는 스토리지 솔루션 요구 사항에 접근하는 최선의 방법을 이해하도록 돕고 있습니다. Scott은 직접적인 데이터 센터 경험과 함께 수많은 업계 인증을 보유하고 있습니다.
Kapil Karkra는 AI 인프라를 지원하는 차세대 스토리지 솔루션을 위한 소프트웨어 및 솔루션 경로 탐색을 담당하는 Solidigm의 선임 수석 엔지니어입니다. 그의 작업은 RAID 및 캐싱이 포함된 호스트 기반 FTL인 CSAL(Cloud Storage Acceleration Layer)을 발전시키고, MM(Mixed Media) 및 FDP(Flexible Data Placement)와 같은 기술을 시장에 도입하며, AI 및 클라우드 워크로드를 위한 고밀도 NAND SSD(QLC, PLC 및 HLC)의 도입을 가속화하기 위해 하드웨어와 소프트웨어를 통합하는 턴키 참조 아키텍처를 정의하는 데 중점을 둡니다. Kapil은 인도 국립공과대학교(NIT)에서 전기 공학 학사 학위를, 애리조나 주립대학교에서 MBA를 취득했습니다.
