NVIDIA GTC ’26에서 명확하게 알 수 있었던 것: AI의 다음 도약은 스토리지에 달려 있다

올해 3월, 캘리포니아주 산호세에서 열린 NVIDIA GTC ‘26 전반에서 다루었다고 할 수 있는 한 가지 핵심 주제를 꼽는다면 그건 더 큰 대규모 모델이나 화려한 시연이 아니라

AI의 발전이 더 이상 컴퓨팅에 의해 좌우되지 않는다는 것이었습니다. 오히려 이제는 얼마나 빠르고 효율적으로 데이터를 이동, 저장할 수 있는가에 점점 더 많이 좌우된다는 것을 알 수 있었습니다.

새로운 AI 시스템 구축부터 현재의 시스템 확장까지, 원하는 것이 무엇이든 핵심이 되는 시사점 5가지는 다음과 같습니다.

1. 여러분의 GPU는 데이터 파이프라인에 버금가는 성능을 자랑합니다

우리는 수만 달러에 달하는 가속기가 컴퓨팅이 아닌 데이터 부족으로 데이터를 기다리느라 작동하지 않는 시대를 맞이하고 있습니다.

NVIDIA와 같은 최신 GPU는 대규모 병렬 처리를 위해 설계되었지만, 처리량이 높고 지연 시간이 짧은 데이터 스트림을 지속적으로 공급할 때에만 그 효과를 느낄 수 있습니다.

데이터가 충분하지 못한 가속기는 비효율적일 뿐 아니라 상당한 비용을 발생시킵니다. 바로 이 점에서 스토리지 아키텍처는 다음과 같은 최우선 과제를 찾을 수 있습니다.

• 고성능 NVMe 계층
• 병렬 파일 시스템
• 데이터 로컬리티 전략

NVIDIA는 전체 GPU 활용도를 달성하기 위해 엔드 투 엔드 시스템 균형의 중요성을 강조합니다.¹실제로 이는 스토리지가 이제 후순위 고려 사항이 아니라 컴퓨팅 전략의 핵심에 자리하기 시작했다는 것을 의미합니다.

2. AI는 빠르게 진화하고 데이터는 더욱 빠르게 성장하고 있습니다

AI 애플리케이션의 진화는 물결처럼 우리에게 다가왔습니다.

• 2024년: 챗봇 
• 2025년: 코파일럿 
• 2026년: 자율 에이전트 

각각의 스택을 쌓아올릴수록 값 뿐만 아니라 데이터의 밀집도도 올라갑니다.

에이전트는 단지 응답만 하는 데에서 그치지 않습니다. 계획하고, 반복하며, 도구를 호출하고, 정교한 출력물을 생성합니다. 즉, 싱글 유저 인터랙션은 수십, 수백 개의 모델 운영으로 폭발할 수 있습니다.

Gartner와 같은 기업의 산업 연구는 이미 에이전트 기반 시스템이 이번 10년의 시간 동안 엔터프라이즈 AI 도입을 지배할 것이라 강조하고 있으며, 이와 같은 시스템이 근본적으로 더 데이터 집약적이라고 말합니다. ²

3. 추론은 새로운 데이터의 쓰나미가 되고 있습니다.

인프라 논의에서 주도적인 역할을 하던 것은 학습이었습니다. 이제는 아닙니다. 스케일을 이끌어가는 주요 동인은 추론이 되었으며 그 존재감은 점점 더 커지고 있습니다.

• 바로 더 거대한 맥락의 창이 필요하다는 것입니다. 자세한 사항은 이 기사를 읽어 보시기 바랍니다. 추론 컨텍스트 메모리 스토리지(ICMS): AI 추론이 플래시만이 해결할 수 있는 문제가 된 이유
• 검색 증강 생성(RAG). 자세한 사항은 이 기사를 읽어 보시기 바랍니다. SSD 오프로드 기술로 AI 규모 확장하기
• 다단계 에이전트 워크플로우.

단일 프롬프트는 단일 프롬프트로 남지 않습니다. 가지를 계속 뻗어나갑니다. 그리고 이 모든 것들은 대규모 작업 데이터 세트에 대한 빠른 액세스를 요구합니다. DRAM만으로는 불충분합니다. 가격이 너무 높으며 용량은 제한됩니다. 그렇기에 우리는 고성능 SSD가 유효 메모리 용량을 확장하는 계층형 메모리 아키텍처로의 전환으로 시야를 넓히고 있습니다.

NVIDIA와 같은 회사들은 특히 모델이 외부 데이터에 대하여 더 많이 의존하며 확장성있는 추론을 가능케 하는 스토리지의 역할을 강조했습니다.

4. 와트당 토큰이 실제로 중요한 지표입니다

AI의 성공을 측정하는 방식이 조용히 변화하고 있습니다. 바로 초당 토큰을 넘어선 와트당 토큰입니다.

이유는 무엇일까요? 전력이 강력한 제약이기 때문입니다. 대규모 AI 시스템을 가동하려면 높은 비용이 발생합니다. 이는 하드웨어 측면뿐 아니라 에너지 측면에서 보았을 때에도 마찬가지입니다. 비효율적인 시스템은 경제적 확장성을 갖지 못하며, 효율성 개선은 항상 새로운 칩으로 국한되는 것이 아닙니다. 스토리지의 밀도를 높이고 유휴 컴퓨팅 사이클을 최소화하며 데이터의 이동을 줄이는 것이 핵심인 경우가 종종 있습니다.

NVIDIA GTC의 인프라 논의 전반에 걸쳐 강조한 바와 같이 효율성은 이제 실리콘 문제를 넘어선 시스템 전체의 문제가 되었습니다.

5. AI는 중앙 집중과 동시에 분산하며 작동해야 하며, 스토리지가 이 두가지를 지원합니다

AI 아키텍처에 대한 논의는 중앙 집중식과 엣지라는 잘못된 이분법으로 흘러갑니다. 그러나 종종 이 두 가지가 모두 필요하다는 것이 현실입니다.

중앙 집중식으로 갖춰진 AI 팩토리는 모델 학습, 대규모 추론, 데이터 집계를 처리할 수 있습니다. 반면, 엣지 배포의 경우 실시간 의사결정과 지연 시간에 민감한 워크로드, 높은 데이터 주권 요건을 가진 애플리케이션에 활용할 수 있습니다.

이 두 가지를 모두 연결할 수 있는 것은 바로 스토리지

AI 팩토리와 엣지 배포 모두를 위해 높은 처리량과 용량, 확장성이 필요합니다. 스토리지 성능과 밀도에 대한 지속적인 혁신이 함께하지 않으면 어느 쪽도 잠재력을 십분 발휘할 수 없습니다.

결론

AI 혁신은 무엇의 제한을 받고 있는가 하는 요인이 바뀜에 따라 속도가 높아지고 있습니다. 2026년, 이제는 컴퓨팅도, 모델도 아닙니다. 바로 데이터 인프라가 그 열쇠입니다.

그리고 그 중심에 Solidigm이 있습니다. 성능, 효율성, 확장을 위해 구축된 업계 최고의 대용량 스토리지를 통해 차세대 AI를 지원하고 있는 우리는 결국 AI의 미래는 얼마나 빠르게 생각할 수 있는가에 머무르지 않고 기계에 그 생각의 원천이 될 데이터를 빠르게 전달할 수 있는가에 모든 것이 달려 있다고 생각하고 있습니다.