솔리다임, AI 인프라 필드 데이에서 AI 스토리지를 재정의하다

타협 없는 밀도

섹션 1: 스토리지 밀도와 클러스터급 성능의 만남

AI 인프라 필드 데이 5는 현상황을 짚어 보는 내용으로 막을 열었습니다. Allyn Malventano는 2년 전의 스토리지 다이어그램을 화면에 띄웠습니다. 그 슬라이드에 KV 캐싱은 아예 등장하지도 않았습니다. 사실 당시에 그 계층은 논의 대상조차 아니었습니다. 이제는 이 계층이 AI 추론 성능의 핵심 요소가 되었습니다. 이 분야에서는 모든 것이 빠르게 변화합니다. 솔리다임이 이 새로운 계층에 무엇을 제공하는지 보여드리게 되어 매우 기쁩니다. 배경 이야기는 이쯤 하겠습니다. 구체적인 수치를 살펴보겠습니다.

솔리다임은 AI 스토리지 피라미드의 전체 스택을 아우릅니다. HBM과 DRAM은 공급 부족과 가격 상승에 직면해 있습니다. G3.5 컨텍스트 계층과 G4 공유 스토리지 계층은 용량이 중요한 계층입니다. 솔리다임 D5-P5336은 이러한 고용량 계층의 기반 역할을 합니다. D7-PS1010은 로컬 및 컨텍스트 스토리지를 위한 플래그십 성능을 제공합니다.

이 섹션에서 논의된 사항

• 학습, 미세 조정, 추론 전반에 걸친 AI 스토리지 흐름
• G1에서 G4까지의 메모리 계층 구조 및 G3.5 컨텍스트 계층
• KV 캐시 연산: 42,000 토큰 기준 사용자 요청당 13.1GB(Llama 3 70B)
• 컨텍스트 재사용이 재계산 비용을 없애는 이유

스토리지는 더 이상 단순한 영구 저장소가 아닙니다. 벡터 인덱스와 KV 캐시가 SSD로 오프로드될 때, 스토리지는 메모리가 됩니다.

섹션 2: 24PB 클러스터 — TCP 기준선 결과

우선, MinIO를 활용한 클러스터 규모 실습부터 살펴보겠습니다. 설정은 단순했습니다. 8개의 클라이언트 시스템이 8개의 스토리지 서버에 접속하는 8x8 구성입니다. 각 스토리지 노드에는 24개의 솔리다임 D5-P5336 122TB 드라이브가 탑재되어 있었습니다. 총 원시 용량은 24 페타바이트로, 계산해 보시는 분들을 위해 말씀드리면 섀시당 약 3PB였습니다.

MinIO Warp는 GPU 스토리지 워크로드를 에뮬레이트했습니다. 클라이언트-스토리지 간 트래픽은 클라이언트당 단일 400기가비트 이더넷 NIC를 통해 처리되었습니다. 스토리지 노드는 클라이언트 연결 트래픽과 노드 간 트래픽을 모두 처리하기 위한 듀얼 400GbE를 갖추고 있었습니다.

이 섹션에서 논의된 사항

• ~24PB 원시 용량을 제공하는 8노드 클러스터
• 스토리지 노드당 24개의 솔리다임 D5-P5336 122TB QLC SSD(섀시당 ~3PB)
• 부하 생성을 위한 솔리다임 D7-PS1010 TLC 드라이브(클라이언트 시스템)
• 256 MiB 객체를 사용한 MinIO Warp 벤치마크
• 최대 GET: 8개 클라이언트에서 268GiB/s
• 최대 PUT: 7~8개 클라이언트에서 120GiB/s
• 16회의 모든 테스트 실행에서 오류 0건

기준 성능은 8개 노드까지 거의 선형적으로 확장되었습니다. 첫 바이트 지연 시간의 중앙값은 3ms~5ms 범위를 유지했습니다. TCP(전송 제어 프로토콜)를 통한 초당 250기가바이트(GB/초) 이상의 속도는 TCP 고유의 오버헤드를 고려할 때 엄청난 수치입니다. 좋은 결과입니다. 이 수치들은 주목할 가치가 있습니다. 보통 이러한 수준에 도달하기 훨씬 전에 TCP 성능이 저하될 것이라고 예상하기 때문입니다. 이는 문제에 충분한 병렬 처리를 적용했을 때 발생하는 결과이므로 규모에 놀랄 필요는 없습니다.

이 클러스터 설계는 MinIO ExaPOD 레퍼런스 아키텍처의 빌딩 블록입니다. 동일한 노드 구성을 통해 페타바이트에서 엑사바이트까지 확장 가능합니다.

섹션 3: 성능 3배 향상의 여정 — 스택 튜닝

초기 수치는 좋았습니다. 튜닝 후 수치는 더 향상되었습니다. 기본 구성 대비 약 3배 개선되었습니다.

1단계에서는 기본 Linux 및 MinIO 설정을 사용하여 TCP 기준선을 확립했습니다. 2단계에서는 OS 및 패브릭 튜닝을 통해 스케줄링 지터, 패킷 오버헤드, 혼잡 병목 현상을 제거했습니다. 3단계에서는 최대 처리량을 달성하기 위해 CPU, NIC, TCP, 스위치 패브릭 및 MinIO 레이아웃을 공동 튜닝했습니다. 하지만 문제가 있었습니다. 각 단계가 진행될수록 튜닝 복잡성이 증가했습니다.

이 섹션에서 논의된 사항

• 3단계 튜닝 방법론
• SMT 비활성화, NIC 인터럽트 고정
• MinIO 이레이저 세트 튜닝: 24개 이레이저 세트, 세트당 8개 드라이브, EC:4
• 케이블 길이에 따른 스위치 및 NIC 버퍼 조정
• 단계별로 추적한 GiB/s당 CPU 비용

튜닝 작업은 이후 단계와 비교할 기준점을 설정하기 때문에 중요합니다. 먼저 명확한 TCP 기준선을 설정하지 않으면 RDMA(원격 직접 메모리 액세스)의 이점을 측정할 수 없습니다.

섹션 4: TCP를 넘어 — 이중 경로 구성 및 RDMA

솔리다임은 추가적인 성능 향상을 모색하고 있습니다. 특히 두 가지 방안에 주목하고 있습니다.

첫째, 이니시에이터 대역폭을 두 배로 늘리는 이중 경로 구성입니다. 이는 NVIDIA B200 또는 B300과 같은 컴퓨팅 노드와의 향후 통합에서 특히 중요해집니다. 

둘째, 데이터 전송 과정에서 CPU 오버헤드를 우회하는 RDMA입니다. RDMA는 네트워크 어댑터 간에 직접적인 메모리 간 통신을 가능하게 합니다. 제로 카피, 커널 바이패스, 마이크로초 단위의 지연 시간. 이 정도 규모에서는 TCP 오버헤드가 급격히 감소합니다. 조만간 이와 관련한 더 많은 내용이 공개될 예정입니다.

이 섹션에서 논의된 사항

• NVMe보다 먼저 병목 현상을 유발하는 TCP 오버헤드
• RDMA의 이점: 제로 카피, 커널 바이패스, 마이크로초 단위의 지연 시간
• 최대 처리량을 달성하기 위한 이중 경로 구성 + RDMA 조합
• 각 계층마다 튜닝 복잡성 증가

이번 실습에서는 DRAM을 사용하여 GPU 메모리를 시뮬레이션했습니다. RDMA는 CPU 병목 현상을 줄이고 더 높은 처리량을 달성할 것입니다. 이중 경로 구성과 RDMA를 함께 적용하면 튜닝 복잡성이 증가합니다. 하지만 성능상의 이점을 고려하면 추구할 가치가 있습니다.

MinIO MemKV: G3.5 계층의 실제 작동 모습

TCP 기준선을 다룬 이후, 발표는 MinIO MemKV 논의로 이어졌습니다. 이는 G3.5 개념이 실제로 구현된 사례입니다.

KV 캐시가 GPU의 HBM 용량을 초과하는 경우는 흔합니다. 에이전트형 워크로드에서 컨텍스트 메모리는 지속적으로 확장됩니다. HBM이 가득 차면, GPU는 KV 캐시를 내보내고 재계산합니다. 이 과정은 프리필 단계에서 사이클을 낭비하고 첫 토큰 생성 시간(TTFT)을 증가시킵니다.

이 섹션에서 논의된 사항

• 분산 공유 컨텍스트 메모리로서의 MinIO MemKV
• NVMe 직접 액세스, 마이크로초 단위의 지연 시간
• 파일 시스템 또는 커널 오버헤드 없음
• GPU 노드당 43배 더 많은 동시 요청
• 97GB/s 통합 처리량
• 슈퍼포드에서 초당 16,000개의 동시 요청까지 확장 가능

MemKV는 직접적인 NVMe 액세스를 활용하여 기존 파일 시스템과 커널 오버헤드를 우회합니다. 일시적인 KV 캐시 데이터에 불필요한 내구성 기능 없이, 메모리의 확장으로 설계되었습니다.

발표자들은 이를 CXL과 같은 복잡한 하드웨어보다는 최적화된 소프트웨어를 통해 해결하는 것이 가장 적합한 소프트웨어 문제라고 설명했습니다. MemKV는 파일 시스템 메타데이터 오버헤드는 피하면서 NVMe에서 대규모 KV 캐시 블록(2MB~64MB 텐서)을 직접 제공합니다.

비용 절감 효과: 퍼블릭 클라우드에서 단일 H200 노드 기준 연간 200만 달러 이상을 절감합니다. 즉, GPU 활용률 향상은 비용 절감으로 이어집니다.

솔리다임과 Metrum: AI 메모리로서의 스토리지

섹션 1: RAG 검색

마지막 섹션에서는 솔리다임과 Metrum의 협업을 다루었습니다. 이 평가는 RAG 및 KV 캐시 작업을 위한 AI 메모리로서 SSD를 테스트했습니다.

Metrum은 방대한 양의 영상을 수집하고, 상세한 메타데이터를 생성하며, AI 추론을 위한 검색 가능한 데이터베이스를 구축합니다. 이번 평가는 합성 벤치마크가 아닌 실제 영상 파이프라인 데이터를 활용해 솔리다임 D7-PS1010 SSD 환경에서 HNSW(메모리 기반 벡터 데이터베이스)와 DiskANN(스토리지 최적화)을 비교했습니다.

이 섹션에서 논의된 사항

• Metrum AI 백서: "비디오 분석의 메모리 장벽 허물기"
• 1M, 10M, 100M 벡터 기준 DiskANN과 HNSW의 비교
• DRAM 65% 감소: 100M 기준 331GB에서 116GB로 감소
• 첫 토큰 생성 시간 27.4배 단축: 39.26초에서 1.43초로 단축
• 1,024 스레드 기준 14% 더 높은 쿼리 처리량
• 최대 100M 벡터까지 99%+ 재현율 유지

HNSW는 더 작은 데이터 세트와 더 낮은 동시성에서 약간의 우위를 보였습니다. 그러나 동시성이 증가함에 따라 DiskANN은 특히 실제 영상 파이프라인 데이터에서 압도적인 성능을 보였습니다. 1억 개의 벡터로 확장하면 DiskANN 곡선이 HNSW와 격차를 벌리는 것을 확인할 수 있습니다. 바로 이 지점에서 스토리지 최적화 설계가 빛을 발합니다.

대규모 데이터 세트를 고가의 DRAM에서 경제적인 SSD로 이동할 수 있는 능력은 강력한 이점을 제공하며, 성능 저하 없이 상당한 비용을 절감할 수 있습니다. 대규모 환경에서는 DiskANN이 HNSW를 압도합니다.

섹션 2: KV 캐시 오프로드 — 불필요한 연산 제거

벡터 데이터베이스 조회 외에도, SSD는 KV 캐시 오프로드에서 중요한 역할을 합니다. 솔리다임 드라이브에 반복적으로 요청되는 쿼리를 캐싱함으로써, 시스템은 첫 토큰 생성 시간을 획기적으로 개선하고 불필요한 GPU 재연산을 제거했습니다.

180,000개 토큰 분량의 문서는 GPU 메모리 활용률을 95%까지 끌어올렸습니다. 캐시를 재사용하지 않으면 새로운 질문마다 39초의 프리필 비용 전체를 지불해야 합니다. SSD 기반 KV 오프로드를 사용하면, 다시 방문한 문서는 약 1.4초 만에 캐시 적중이 이루어지며 재연산 페널티가 발생하지 않습니다.

이 섹션에서 논의된 사항

• 반복적인 롱 컨텍스트 추론을 위한 KV 캐시 오프로드
• 캐시 적중 시 컨텍스트 전환 속도 27.4배 향상
• 다른 작업을 위해 확보된 GPU 주기
• 지속적인 컨텍스트를 사용하는 모든 대규모 AI 시스템에 적용

수백 또는 수천 명의 동시 사용자에게 서비스를 제공할 때 이러한 효율성은 중요합니다. 더 빠르고 반응성이 뛰어난 AI 상호 작용을 구현하는 동시에, 소중한 GPU 연산 주기를 확보하여 다른 작업에 활용할 수 있습니다.

섹션 3: 이 모든 것이 통합되는 방식

발표는 AI 데이터 파이프라인과 이를 지원하는 인프라 계층을 매핑하며 마무리되었습니다.

원시 데이터 수집과 데이터 준비 단계는 학습 및 미세 조정 단계에 데이터를 공급합니다. 추론은 마지막 단계에 위치하며, KV 오프로드와 아카이브가 전체 루프를 완성합니다. 인프라 계층은 G1(GPU HBM)에서 시작해 G2(호스트 DRAM), G3(로컬 SSD), G3.5(컨텍스트 메모리 스토리지), G4(공유 스토리지)까지 이어집니다.

이 섹션에서 논의된 사항

• AI 데이터 파이프라인: 수집, 준비, 학습, 추론, 아카이브
• G1~G4 + G3.5 계층 매핑
• 로컬 및 컨텍스트 성능용 D7-PS1010
• 공유 용량 계층용 D5-P5336
• 솔리다임 AI 중앙 연구소에서의 텔레메트리 및 실험실 검증

제품 배치는 명확합니다. 솔리다임 D7-PS1010은 로컬 부팅, 체크포인팅, 그리고 낮은 지연 시간이 중요한 G3.5 컨텍스트 계층을 담당합니다. D5-P5336은 용량과 TB당 비용이 의사 결정의 핵심인 G4 공유 스토리지 계층의 중추 역할을 합니다. 예상대로입니다.

마무리

행사는 배포 세부 사항, 냉각 요구 사항, 그리고 RDMA 대 TCP 경로의 운영 복잡성을 심도 있게 논의하는 참석자 토론으로 마무리되었습니다. 프레젠테이션은 테크 필드 데이 다시 보기를 통해 확인할 수 있습니다.