Avi Shetty: 궁극적인 목표이자 핵심은 GPU가 완전히 활용되도록 하는 것입니다. 컨텍스트 메모리가 증가함에 따라 스토리지 아키텍처가 데이터 센터 아키텍처의 일부가 되도록 해야 합니다.
Ryan Shrout: 여러분, 안녕하세요. Six Five On The Road에 오신 것을 환영합니다. 저는 이곳 타이베이의 Computex 2026 현장에 나와 있는 진행자 Ryan Shrout입니다. AI 추론이 스토리지 및 컴퓨팅 세계에 어떤 영향을 미치고 있는지 이야기해 보겠습니다. 이 자리에는 제 좋은 친구인 Avi Shetty 씨가 함께합니다. 현재 솔리다임에서 AI 생태계 및 시장 활성화 부문 부사장을 맡고 계신데요. 환영합니다. 나와 주셔서 감사합니다.
Avi: 감사합니다. 함께하게 되어, Computex에 오게 되어 정말 기쁩니다. 이곳에 모인 모든 생태계 파트너들이 발표할 다양하고 멋진 기술들이 기대됩니다.
Ryan: 지난 몇 년간 이곳 타이베이에서 Computex가 진화하는 모습을 지켜보는 것은 흥미로웠습니다. 일종의 AI 진화 혁명이 기존의 많은 기대치를 완전히 재설정하는 과정이었기 때문입니다.
Avi: 네, 이 컨퍼런스 전체가 가치 제안과 미션을 근본적으로 어떻게 변화시켰는지 보셨죠? 팀원분들께도 말씀드렸지만, 저는 이곳에 14~15년째 오고 있는 것 같은데, 예전에는 클라이언트 자격으로 방문했었습니다. PC를 전에 다루기도 했고, 가장 멋진 PC 기술들을 접했었죠. 당시에는 PC 기술 발표의 중심지였지만, 지금은 온통 AI가 대세입니다.
Ryan: 그런 점에서 데이터 센터 분야와 AI 추론 구축과 관련하여 몇 가지 질문을 드리고 싶습니다. 학습에서 추론으로 전환하기 시작했을 때 흥미로웠던 점 중 하나가 있습니다. 아주 오래전 일처럼 느껴지지만 실제로는 불과 몇 년 전의 일인데요. 많은 사람들이 스토리지, 용량, 성능은 오직 학습 영역에서만 중요한 요소로 한정된다고 생각하기 시작했던 것 같습니다. 하지만 추론에 있어서도 우리는 여전히 스토리지를 이 과정의 핵심 가치이자 성능 요소라고 보고 있습니다. 왜 그런 것일까요?
Avi: 앞으로 훨씬 더 많은 것을 보시게 되리라 생각합니다. 그렇지 않다면, 아직 충분히 듣지 못하신 겁니다. 추론 관련 아키텍처 논의에서 스토리지가 핵심 요소로 다뤄지는 사례가 훨씬 더 많아질 것입니다. 근본적인 이유는, 추론은 최종 사용자에 대한 응답성에 관한 것이기 때문입니다. 따라서 데이터는 활성도와 현재 위치에 따라 서로 다른 계층에 존재하게 됩니다. 프리필 캐시, KV 캐시, 또는 HBM에 있을 수도, 혹은 제거된 상태일 수도 있습니다. 이 모든 것은 결국 토큰 TCO에 반영되며, 토큰 TCO는 본질적으로 추론 환경에서 핵심적인 매개변수입니다. 추론에는 이것이 필요합니다. 아시다시피, 모든 데이터를 HBM에 담을 수는 없습니다. 따라서 무엇을 수행하든 더 나은 응답성을 제공하려면 결국 데이터를 오프로드하고, 캐시에서 읽어오는 새로운 계층이 필요합니다. 저희가 연구를 하나 진행했는데, 솔리다임이 간단한 LLM 요청을 대상으로 수행한 연구입니다. "지금 타이베이에 있는데, 가장 맛있는 만둣집은 어디에 있나요?"라는 질문을 생각해 보겠습니다. 8~9단어로 구성된 간단한 쿼리입니다. 이 연구의 자세한 내용은 저희 웹사이트에서도 토큰의 구조[Prompt]라는 이름으로 소개하고 있습니다. 이 8개로 구성된 단어 검색은 약 42,000개의 토큰으로 환산됩니다. 그리고 그 과정에서 어딘가에 저장되어야 하는 대략 12[GB]~13GB 규모의 KV가 생성됩니다. 이것은 쿼리의 한 예시일 뿐입니다. 엔지니어링 환경에서 ‘Jira의 이 티켓 좀 해결해 줘. 이전에 해결한 적이 있는지 기록을 찾아봐’라고 요청한다고 상상해 보세요. 이제 쿼리는 훨씬 더 복잡해지고, 그만큼 토큰 수도 훨씬 늘어나게 됩니다. 저는 이 모든 것이 추론 워크로드의 일부라고 생각하며, 앞으로 이러한 데이터가 계속해서 증가할 것입니다.
Ryan: KV 캐시를 언급하셨는데, 그 부분이 중요하다는 것은 알고 있습니다. 그렇다면 컨텍스트 윈도우는 어떤가요? 기업들이 이러한 스토리지 수요를 체감하고 있을 만한 다른 영역으로는 무엇이 있을까요?
Avi: 네, 컨텍스트 윈도우는 계속 커지고 있습니다. 그런데 컨텍스트 윈도우가 커져서 HBM을 완전히 사용하게 되면 어떤 일이 벌어질까요? GPU가 재연산을 수행해야 합니다. 그리고 재연산을 수행한다는 것은 GPU가 완전히 활용되지 못한다는 의미입니다. 데이터 센터에서 가장 중요한 자산은 GPU입니다. 궁극적인 목표이자 핵심은 GPU를 완전히 활용하는 것입니다. 따라서 컨텍스트 메모리가 증가함에 따라 스토리지 아키텍처가 데이터 센터 아키텍처의 일부가 되도록 해야 합니다. 다양한 계층의 스토리지를 프로비저닝하고, 확장성까지 갖추도록 했습니다. 이는 최종 토큰 출력의 가치를 높이고, GPU가 지속적으로 활용되도록 보장합니다.
Ryan: 견적을 받고, RFP를 검토하고, 인프라를 구축하려는 기업들을 생각해 보면 과거에는 ‘필요한 GPU 개수’만 걱정했다면 이제는 에이전트와 관련하여 ‘CPU가 얼마나 필요한가?’를 논의하고 있습니다. 이러한 균형이 어떻게 변화하고 있다고 보십니까? 그리고 그 과정에서 스토리지는 어디에 위치합니까? 그러니까, 기업들이 이러한 의사 결정에 스토리지를 포함하는 것을 고려하도록 어떻게 권장하거나 제안하시겠습니까?
Avi: 근본적으로는 학습과 추론의 차이입니다. 학습은 이러한 메가와트급 데이터 센터나 대규모 파운데이션 기업에서 이루어지지만, 추론은 어디서나 일어날 수 있습니다. 백오피스에서 발생할 수도 있고, 지하실에 있는 소규모 데이터 센터에서 발생할 수도 있으며, 직접 구축한 로컬 코로케이션 환경에서 발생할 수도 있습니다. 따라서 이는 개별 기업의 사용 방식에 따라 달라집니다. 예를 들어 NVIDIA가 청사진을 제시했는데, 2026년 올해는 바로 스토리지의 해라는 것입니다. 연초에 젠슨 황 CEO가 CES에서 이 내용을 언급했고, 이후 GTC에서도 스토리지, 즉 이 전체 KV 계층에 대해 다시 언급했습니다. 모든 스토리지 공급업체뿐 아니라 저희 솔리다임에도 공감을 불러일으킨 그의 발언에 따르면, 앞으로 컨텍스트 메모리 계층이 스토리지의 전체 TAM을 차지하게 될 것이라고 합니다. 이것이 바로 향후 몇 년간 추론 환경에서 보게 될 컨텍스트 메모리 규모입니다. 그리고 이를 가장 효과적으로 활용할 방법을 결정하는 기업들이 스스로에게 던져야 할 질문은 ‘어느 정도의 지연 시간을 감수할 수 있는가?’라고 생각합니다. 어느 정도의 GPU 재연산 시간을 감수할 수 있는지 말입니다. 이 요소들이 매우 중요한 매개변수라면, 직접 연결 방식인 G3, 컨텍스트 메모리인 G3.5, 그리고 공유 스토리지인 G4라는 세 가지 수준에서 적절한 스토리지 아키텍처를 갖추어야 합니다.
Ryan: 향후 2~3년을 내다볼 때, 이 분야에서 정확한 예측을 하기가 정말 어렵다는 것은 알지만 궁금한 점이 있습니다. 2년 또는 3년 후 스토리지는 어떤 역할을 하게 될까요? 결국 용량 싸움일까요? 성능 싸움일까요? 아니면 어떻게 바뀔까요?
Avi: 제 생각엔 모든 요소가 해당됩니다. 모든 상황에 맞는 하나의 스토리지는 없습니다. 스토리지는 전체 메모리 계층 구조와 비슷하거나 메모리 월은 경제성의 함수라고 생각합니다. 이상적으로, 아무 GPU 아키텍트나 CPU 아키텍트에게 무엇을 원하는지 묻는다면, 비휘발성이면서 SRAM 같은 지연 시간을 제공하는 1페타바이트의 영구 저장 장치를 달라고 하겠지만 그것은 불가능합니다. 그것이 계층이 존재하는 이유입니다. SRAM, 캐시, HBM, DRAM, 그리고 G3, G3.5, G4로 구성된 계층형 스토리지가 있습니다. 그리고 이 모든 계층은 혁신을 겪게 될 것입니다. G3의 초점은 그 전체 섹션의 목적, 즉, GPU에 고속으로 데이터를 공급하여 결과적으로 높은 GPU 활용률을 달성하도록 보장하는 데 있습니다. G3.5는 매번 컨텍스트를 재연산할 필요가 없도록 보장하는 역할을 합니다. 따라서 여기서는 성능뿐 아니라 밀도의 함수가 필요합니다. 이 함수는 워크로드가 얼마나 큰지, 그리고 컨텍스트가 무엇인지에 대한 함수입니다. 그리고 공유 스토리지에 관해서는, 이제는 충분한 데이터 포인트가 축적되어 하드 드라이브가 더 이상 필요하지 않다는 점이 입증된 단계에 와 있다고 생각합니다. 저는 이것이 순전히 하드 드라이브 랙 9개를 원하는지, 아니면 여기 고밀도 QLC 스토리지를 탑재한 랙 1개를 원하는지에 대한 계산 문제라고 생각합니다. 이 제품은 하나의 U.2 폼 팩터로 구현된 122TB 솔루션으로, 저희가 지난 2025년 4분기에 업계 최초로 선보였습니다.
Ryan: 굉장히 큰 스토리지네요.
Avi: 꽤 큰 용량이지만 데이터 센터 효율성을 고려하면 충분하지는 않습니다. 이 제품 24개를 1U에 구성하면 4페타바이트가 되고, 낮은 전력 소비와 최종 고객을 위한 확장성을 동시에 갖출 수 있습니다.
Ryan: 이러한 혁명이 과거에 저희가 몸담았던 클라이언트 영역을 어떻게 변화시켰는지 보는 것은 정말 놀랍습니다. 예전에 늘 이런 드라이브를 살펴보곤 했는데, 이들이 어떻게 새로운 용도로 활용되고 있으며 실제 병목이 어디에 존재하는지 보게 되었습니다. Avi 씨, 오늘 나와 주셔서 감사합니다. 함께 이야기 나눠 주셔서 정말 감사합니다. 타이베이에서 열린 Computex 2026에서 진행된 Six Five on the Road를 시청해 주신 여러분, 감사합니다. 지금까지 Ryan Shrout였습니다. 소셜 미디어에서 저희를 팔로우해 주시고 sixfivemedia.com에서 다른 모든 콘텐츠도 확인하시기 바랍니다.
