컴퓨테이셔널 스토리지(Computational Storage)의 미래는 어떻게 될까요?

전 세계에 '컴퓨테이셔널 스토리지'가 공식적으로 도입된 지 5년이 조금 넘었습니다. 이 용어는 2012년부터 등장하기 시작했지만 그 이전에도 존재했으며, 시장에 공식적으로 소개되고 지지를 받기 시작한 것은 2018년이었습니다. 플래시 메모리 서밋(Flash Memory Summit, FMS) 2018에서 3곳의 소규모 스타트업이 함께 힘을 모아 업계 베테랑으로 팀을 구성하고 SNIA와 함께 표준화 작업을 시작하기로 결정했습니다. [1]   오늘날 사람들은 이 용어가 살아남을 수 있을지 이미 궁금해하고 있습니다. 하지만 이 업계에서 하루아침에 시작되는 것은 없다는 점을 지적하기 위해 이러한 역사로 설명을 시작합니다. 모든 것에는 시간, 육성, 지원, 공통된 프레임워크 등이 필요합니다. 현재 데이터 스토리지 시장에서 알려진 많은 솔루션도 마찬가지입니다. NVM Express(NVMe)와 SCSI over PCIe(SOP)를 비교해 보십시오. 얼마 전까지만 해도 그러했습니다.  컴퓨테이셔널 스토리지에 영향을 미치는 시장 변화 서문에서 오늘의 질문인 '컴퓨테이셔널 스토리지에 미래가 있는가'에 대해 논의해 보겠습니다. 여기서 논의하는 것이 어리석어 보일 수 있지만, 오늘날 시장에 많은 변화가 도래하면서 일부 업계 전문가들은 이 질문에 큰 관심을 두게 되었습니다. 컴퓨테이셔널 스토리지 발전을 보고 싶어 하는 사람들과 이에 반대하는 사람들 모두에게 관심사가 된 것입니다. 왜 관심을 갖게 되었을까요? Compute Express Link(CXL), 다양한 약어(CIM, PIM, AIM 등)를 사용하는 Computational 또는 Compute in Memory 등을 포함한 여러 혁신적인 솔루션이 출시될 예정입니다.  1. 여러 솔루션을 수용할 수 있을 만큼 다양화된 시장 일부 사람들이 깨닫지 못하는 것은 이러한 기술이 서로 경쟁하는 것이 아니라, 더 큰 과제를 해결하기 위해 각자의 위치를 찾고 있다는 사실입니다. 반도체 부문에서 무어의 법칙 종말이 빠르게 다가오고 있지만, 본 노이만 구조는 이미 종말에 도달했습니다. 과거에 'CPU + 메모리 + 스토리지'가 있었다면, 현재에는 여러 곳에 컴퓨팅이 분산되어 있습니다. 

그림 1.  데이터가 처리되는 위치를 찾는 컴퓨팅

스냅샷을 보면 NVIDIA가 현대 컴퓨팅의 필수 요소가 될지 짐작조차 하지 못했던 제품인 Essential GPU를 어떻게 적시에 적절한 위치에 배치했는지 알 수 있습니다. 이 예시는 컴퓨테이셔널 스토리지와 같은 솔루션 뿐 아니라 모든 '컴퓨테이셔널'에 대한 지속적인 기회를 강조합니다.  GPU 연결 시스템이 처음 등장했을 때는 어느 누구도 이것을 컴퓨팅 레이어에 대한 위협으로 생각하지 않았습니다. 결국 그래픽을 위한 것이었으니까요. 파트너를 직접적으로 언급하는 기술(컴퓨팅 vs 컴퓨테이셔널)을 말할 때 일부에서는 이를 지원 또는 증강 솔루션이 아닌 대체 노력으로 간주하려는 경우가 있는데, 실제로 그렇습니다.  이제 컴퓨테이셔널 스토리지는 SNIA에서 승인된 아키텍터 설계와 해당 작업을 지원하는 완전한 API를 갖추게 되었으며, NVM Express 워킹 그룹은 이를 활성화하기 위해 프로토콜에 대한 첫 번째 공식 명령 집합을 곧 완성할 예정입니다. 그 자체로도 5년 동안 엄청난 성과를 거둔 것입니다. NVMe는 기준점으로 자리 잡는 데 더 오래 걸렸습니다. 따라서 현재 당면한 질문에 대한 간단한 대답은 이렇습니다. 컴퓨테이셔널 스토리지는 1) 자리를 잡았고, 2) 앞으로도 자리를 잡을 것이며, 3) 문제가 없는 솔루션은 아니고, 4) 시장과 기술이 발전함에 따라 더 나은 생태계를 구축할 것입니다.

그림 2.  컴퓨테이셔널 스토리지 솔루션을 위한 경로

컴퓨테이셔널 스토리지는 일생에 한 번뿐인 팬데믹으로 인해 시작과 중단을 반복하고, 그 과정에서 어려움을 겪었지만, 앞으로도 존재할 것이고, 계속해서 필요할 것이며, 곧 성장하기 시작할 것입니다. 이 기술이 2020년에 도약하는 것을 보고 싶었지만 10년 이내에 도입이 크게 늘어날 것이라는 데는 의심의 여지가 없습니다.   2. 컴퓨테이셔널 스토리지 플랫폼 컴퓨테이셔널 스토리지는 지난 15년 동안 128GB에서 128TB로 크기가 커진 스토리지 장치에 로컬로 데이터를 가져와 [2] 해당 데이터를 로컬로 관리, 분석 및 수정할 수 있는 기능을 제공하는 플랫폼입니다. 이것은 데이터 중력(데이터의 일부를 A 지점에서 B 지점으로 이동하는 데 필요한 에너지와 시간의 양)에 대한 완벽한 솔루션입니다. 이 간단한 사실은 우리가 기존 아키텍처를 제거, 대체 또는 실질적으로 변경하는 것이 아니라 가장 필요한 곳, 즉 데이터 옆에 컴퓨팅의 부가가치 계층을 구축하는 것임을 증명합니다.  3. 데이터를 위한 혁신적인 스토리지 "어차피 거기에 두어야 했으니 저장하기 전에 컴퓨팅을 하면 되지 않나요?"라고 말하는 사람들도 있을 것입니다. 간단한 대답은 “물론이죠. 안 될 이유가 뭐죠?”입니다. 데이터를 저장하기 전에 데이터 작업을 할 수 있다면 좋습니다. 하지만 언젠가는 지금 저장한 이 데이터가 새로운 형태로 필요하게 될 것입니다. 그러니 현재 위치에서 데이터를 변환해 보는 것은 어떨까요? 이 개념을 좀더 자세히 살펴보기 위해 한 가지 예를 들어보겠습니다. 실제 수학적 해법으로 데이터를 '생성'하고 '변경'한 다음, 페이지에 문자로 내역을 기록하는 책을 떠올려 보십시오. 이러한 문자들은 여러분이 현재 저장하고 있는 데이터를 나타냅니다. 언젠가 누군가 이 수학 문제를 읽고 풀이를 거쳐 증명이나 반박을 찾아낸다면 …. 이제 우리는 완전히 새로운 책을 만들어 책의 데이터를 '수정'해야 합니다. 데이터를 입력하여 출력한 다음, 수정하여 다시 입력합니다. 오늘날의 세계에서는 더욱 정교한 스토리지 수단을 사용할 수 있기 때문에 몇 가지 단계를 간소화할 수 있습니다. 데이터를 CSD(Computational Storage Drive)로 옮기고, 거기에서 수정한 다음, 복원합니다. 프로세스가 단순화되었습니다. "하지만 그것이 엄청 느린가요?”라고 묻는 독자들이 있을지도 모릅니다. '지금 바로' 작업을 수행해야 하는 사람들에게 GPU, PIM 및 기타 기술이 이상적입니다. 이 기술들은 경쟁하는 것이 아니라 서로를 보완합니다. CXL, PIM, CSD, CIM, AIM, GPU, DPU, CPU, DRAM, HBM 등은 모두 현 상태를 단순히 받아들이는 것이 아니라 효율성과 유용성을 위해 적극적으로 검토해야 하는 퍼즐의 조각입니다. 지난 2년간 가트너 하이프 사이클 변화에서 이러한 기술을 추적하면 이러한 요소들이 생태계에서 어떻게 함께 작동하고 진화하는지 확인할 수 있습니다. 

그림 3.  컴퓨테이셔널 스토리지에 적용되는 스토리지에 대한 '공식' 가트너 하이프 사이클

광기의 정의는 다른 결과를 기대하면서 같은 행동을 반복해서 하는 것이라고 합니다. 우리는 현재 보유하고 있는 컴퓨팅 인프라를 면밀히 살펴서 까다로운 문제에 동일한 노력을 더 많이 쏟아붓는 광기를 극복하고  그 대신 더 나은 가치를 제공할 수 있는 섬세한 솔루션으로 전환해야 합니다. 그렇습니다. 이러한 혁신적인 기술에 진정으로 적응하려면 시스템 아키텍처 내의 여러 곳에서 변화가 필요합니다. 우리 업계는 어딘가에서 시작하여 그 변화를 주도해야 합니다.  컴퓨테이셔널 스토리지의 발전을 주도하는 솔리다임 솔리다임은 이러한 변화를 주도하고 있습니다. 단순한 'SSD 상자'에서 벗어나 생각하고 오늘날의 기성 솔루션을 지원 및 개선하는 기술을 탐색하면서 새로운 시장, 새로운 솔루션, 더 나은 가치, 글로벌 툴박스에 있는 도구를 더 효과적으로 활용할 수 있는 기회를 창출합니다. 

이 내용이 흥미로웠다면 플래시 메모리 서밋(Flash Memory Summit, FMS) 2023에서 발표했던 백업 슬라이드를 확인하고, 추가적인 논의를 원하신다면 저에게 문의하시기 바랍니다.