AI 필드 데이 8: 솔리다임, AI 인프라의 기반으로서 스토리지의 중요성을 입증하다

AI 인프라에 대한 논의가 이루어질 때, 화제는 대개 GPU를 중심으로 돌아갑니다. 2026년 5월 14일 캘리포니아 새너제이에서 라이브로 녹화된 AI 필드 데이 8에서, 솔리다임은 더욱 긴박한 메시지를 가지고 다시 발표자 자리에 섰습니다. 스토리지는 더 이상 컴퓨팅 규모가 정해진 후 추가하는 부차적인 요소가 아닙니다. 지연 시간, 처리량, 추론 품질, 전력 소비, 그리고 궁극적으로 대규모 AI 운영의 경제성을 좌우하는, 설계 초기 단계부터 고려해야 할 의사 결정 요소입니다.

Kapil Karkra AI 솔루션 및 소프트웨어 부문 수석 엔지니어와 Scott Shadley AI 인프라 마케팅 및 전략 디렉터가 진행한 세 건의 프레젠테이션을 통해, 솔리다임은 참가자들에게 하나의 AI 프롬프트가 거치는 라이프사이클부터 지능 자체를 측정하는 새로운 프레임워크, 그리고 이 모든 것을 가능하게 하는 물리적 하드웨어 혁신에 이르는 내용을 소개했습니다. 다음은 각 세션의 핵심 요약입니다.

1. 솔리다임과 함께 살펴보는 프롬프트의 구조

오프닝 세션에서 Kapil Karkra는 하나의 사용자 프롬프트를 들여다보며, 즉각적으로 느껴지는 응답 뒤에 얼마나 많은 스토리지가 숨어 있는지 보여줍니다. Scott Shadley와 함께 진행한 이 세션에서는 스토리지를 LLM이 접하는 모든 프롬프트의 조용한 어셈블러로 재정의하고, AI 아키텍트들이 실제로 중요하게 여기는 지표를 분석합니다.

이 주제를 다룬 Jeff Harthorn의 백서 ‘프롬프트의 구조’를 읽어 보시기 바랍니다.

이 섹션에서 논의된 사항:

• 토큰 증폭: 작은 사용자 프롬프트는 AI 에이전트가 도메인 규칙, 검색된 컨텍스트, 도구 정의 및 세션 기록을 쌓아 올리면서 수만 개의 토큰으로 불어납니다. 이러한 포괄적인 프롬프트를 구성하는 것이 바로 스토리지입니다.
• "첫 토큰 생성 시간" 분해: 핵심 응답성 지표는 프롬프트 어셈블리, 네트워크 전송, 제공자 대기, 그리고 GPU 집약적인 프리필 및 디코드 단계로 나뉩니다.
• 연산을 읽기 작업으로 전환: 컨텍스트의 안정적인 부분을 캐싱함으로써, 스토리지는 GPU 재연산에 드는 값비싼 O(n²) 비용을 훨씬 더 빠른 O(n) 읽기 작업으로 변환하여 GPU 사이클을 확보하고 전력 소비를 줄입니다.
• 두 가지 워크로드, 두 가지 스토리지 프로파일: RAG는 소규모 랜덤 읽기에서 뛰어난 P99/P99.9 테일 레이턴시를 요구하는 반면, KV 캐시 오프로드는 대규모 블록 읽기를 위한 대역폭 중심 워크로드입니다.

2. 솔리다임과 함께 살펴보는 메모리 계층 구조를 통한 인텔리전스 확장

다시 발표자로 나선 Kapil Karkra가 도발적인 질문을 던집니다. 메모리 용량이 모델 크기, 연산 능력과 나란히 자리하는 AI 인텔리전스의 세 번째 축이라면 어떨까요? 이 세션에서는 이를 측정하기 위한 프레임워크를 소개하고, GPU를 넘어선 메모리 확장이 성능과 추론 품질 자체를 어떻게 변화시키는지 보여주는 벤치마크 데이터로 이를 뒷받침합니다.

이 섹션에서 논의된 사항:

• "CRAFT" 프레임워크: 솔리다임은 AI 인텔리전스를 이해력(Comprehension), 회상(Recall), 적응력(Adaptability), 유창성(Fluency), 끈기(Tenacity)라는 다섯 가지 차원으로 정의하고, 메모리 용량이 각 차원에 미치는 영향을 측정합니다.
• 확장 축으로서의 용량: HBM에서 시스템 DRAM 및 NVMe SSD로 메모리를 확장하면 추론 효율성이 향상되고 비용이 많이 드는 재연산을 방지할 수 있습니다.
• 추론에 필요한 스크래치 공간: AIME 2024 수학 테스트(Tenacity)에서 출력 토큰 용량이 증가할수록 모델이 더 오래 심사숙고하고 그 결과 점수가 향상된다는 사실을 보여주며 스토리지 용량과 답변 품질 사이의 직접적인 연관성을 입증했습니다.
• 획기적이고 측정 가능한 성과: KV 캐시를 NVMe로 확장함으로써 최대 4배의 처리량과 21배 향상된 토큰 간 지연 시간을 달성했으며, "건초 더미에서 바늘 찾기" 이해력 테스트에서는 읽기 속도를 최대 78배 향상했습니다.
• 계층형 메모리 구조: HBM, DRAM, NVMe 전반에 걸친 자동 캐싱은 GPU 스톨을 방지하고, 조직이 더 규모가 큰 멀티 에이전트 및 롱 컨텍스트 워크로드 환경에서 성능과 비용 간 균형을 맞출 수 있도록 합니다.

3. 솔리다임과 함께 살펴보는 AI 최적화 SSD 및 하드웨어 솔루션

마지막 세션에서 Scott Shadley는 논의의 초점을 아키텍처에서 물리적 드라이브로 옮기고 현재 모든 데이터 센터가 직면하고 있는 전력, 지속 가능성, 풋프린트라는 매우 현실적인 제약 조건을 다뤘습니다. Scott은 스토리지는 훌륭한 피자의 "도우"라는 기억에 남는 비유를 사용하며, 단순히 기존 장비에 바이트를 추가하는 것만으로는 AI 전략이라 할 수 없다고 강조했습니다.

이 섹션에서 논의된 사항: 

• 엔드투엔드 스토리지 계층: HBM 및 DRAM(G1, G2)에서 로컬 NVMe(G2.5, G3), 인랙 DPU 기반 NVMe(G3.5), 네트워크 연결형 NVMe 및 하드 드라이브(G4)로 이어지는 포괄적인 맵이며, 전 계층에서 NVMe 채택이 중요합니다.
• 실제 인프라 제약: 전력 가용성, 지속 가능성 지침, 물리적 풋프린트 제한은 이제 AI 구축을 좌우하는 핵심 과제가 되었습니다.
• 액체 냉각 혁신: 액체 냉각 방식의 E1.S 폼 팩터 SSD는 NVIDIA와 같은 파트너와 공동 설계되어 최적의 통합을 지원하며, 대폭 줄어든 전력 소비와 향상된 열 관리 성능을 제공합니다.
• 단순한 부품 번호가 아닌 하나의 생태계: 고성능 캐시부터 내구성이 뛰어난 대용량 스토리지까지 아우르는 포트폴리오를 기반으로, 일률적인 판매 방식이 아닌 직접적인 고객 상담을 통해 워크로드에 맞는 솔루션을 제공합니다.

결론

종합해 보면, AI 필드 데이 8에서 진행된 세 개의 세션은 더 나은, 더 빠른, 더 경제적인 AI를 실현하는 핵심 경로는 스토리지 계층이라는 하나의 메시지를 전달합니다. 하나의 프롬프트가 거치는 여정부터 메모리를 통한 인텔리전스 확장을 위한 새로운 프레임워크, 그리고 고밀도 AI 배포를 가능하게 하는 액체 냉각 하드웨어에 이르기까지, 솔리다임은 AI 인프라의 "숨은 주역"인 스토리지가 첫 단계부터 설계 논의에 포함될 자격이 있음을 입증했습니다.