Solidigm SSD로 AI 추론을 에지로 가져가는 DUG

데이터 처리에 대한 요구 사항이 폭발적으로 증가하고 있습니다. 데이터 수집 및 스토리지뿐만 아니라 처리 전력에 대한 AI의 요구는 그 어느 때보다 많은 컴퓨팅이 필요하다는 것을 의미합니다. 그리고 이는 더 이상 기존에 위치했을 법한 대규모 물리적 시설의 데이터 센터에만 해당되는 것이 아니라 이제는 에지에도 해당됩니다.

제 이름은 Harry McHugh이고, 저는 DUG Technology의 CIO입니다.

DUG Technology는 고성능 컴퓨팅에 중점을 둔 회사입니다. 우리는 전통적으로 석유 및 가스 산업에 중점을 두었지만 그 이후로 모든 수직 시장에서 고성능 컴퓨팅으로 발전했습니다.

DUG는 10 년 이상 데이터 센터를 운영해 왔으며, 이 모든 것은 DUG COOL의 액침 기술을 기반으로 합니다. 이 액침 기술을 통해 우리가 할 수 있는 일은 컴퓨팅 전력을 매우 작은 공간에 넣는 것입니다. 따라서 기존 랙에서처럼 영화에서 볼 수 있는 공기로 컴퓨터를 냉각하는 대신, DUG에서 하는 일은 컴퓨터 전체를 오일 수조, 즉 일명, 오일 탱크에 완전히 담그는 것입니다. 

즉, 공기를 사용하는 것보다 오일이나 액체를 사용하여 컴퓨터를 냉각하는 것이 훨씬 효율적이기 때문에 동일한 공간에서 훨씬 더 많은 컴퓨팅을 얻을 수 있음을 의미합니다. 산업과 수직 시장은 대규모 데이터 세트를 한 위치에서 다른 위치로 이동하는 데 엄청난 시간이 걸리는 데이터 중력이라는 문제로 어려움을 겪어 왔습니다.

전통적으로, 이는 광섬유 네트워크를 통해 발생합니다. 하지만 가장 빠른 광섬유 네트워크에서도 AI 및 HPC 애플리케이션이 사용해야 하는 데이터 양을 이동하는 데 며칠, 몇 주 또는 몇 달이 걸릴 수 있습니다. 그리고 데이터 센터에서 10년 이상 액침 기술을 학습하고 적응하며 구현한 끝에, DUG에서는 이를 컨테이너화된 모듈식 데이터 센터인 DUG Nomad를 통해 에지로 가져왔습니다. 예를 들어, DUG Nomad 10 제품은 10피트 배송 컨테이너에 100개 이상의 H200 GPU를 배치할 수 있습니다.

배송 컨테이너는 배송 컨테이너 자체가 데이터 센터이기 때문에 물류를 단순화할 수 있습니다. 이를 통해 우리는 매우 외딴 환경 에서도 구축할 수 있으며, 이것은 가장 가혹한 기후도 견딜 수 있도록 실전 테스트를 거쳤습니다. 그리고 현장에 구축되면 DUG Immersion Cool 기술을 통해 이것이 탱크 내부에서 매우 전력 효율적이고 열적으로 안정적임을 의미합니다. 

믿을 수 없을 정도로 이동성이 뛰어나고 견고하지만, 이러한 탱크 내부에 배치할 수 있는 용량에는 제한이 있습니다. 전통적으로 DUG에서는 HDD와 Lustre 기반 스토리지 시스템을 사용했습니다. 

드라이브의 고장, 복잡성, 해당 솔루션 관리와 관련하여 많은 복합적인 문제가 있음을 발견했습니다. 그래서 우리는 스토리지 시스템의 상당 부분을 Solidigm NVMe 기반 드라이브로 전환했습니다. Solidigm NVMe 드라이브의 매우 높은 용량과 고성능을 갖춤으로써 DUG는 작은 공간에 엄청난 양의 데이터 스토리지와 성능을 배치할 수 있으며, 이는 에지의 AI 추론에 정확히 필요한 것입니다.