DUG Technology: 엑사스케일 플래시 스토리지
DUG Technology는 하드 디스크 드라이브에서 인텔® Optane™ 기술 기반의 페타바이트급 플래시 스토리지로 전환했습니다.
개요
- DUG Technology는 고성능 컴퓨팅 선두 업체입니다. 혁신적인 하드웨어 솔루션과 소프트웨어 솔루션을 결합하여 고객이 크고 복잡한 데이터 세트를 활용할 수 있도록 지원합니다.
- 시장 확장을 위한 탄력적인 적응형 스토리지 환경을 구축하기 위해 DUG는 2세대 인텔® 제온® 스케일러블 프로세서, 인텔® Optane SSD 및 인텔® QLC 3D NAND SSD로 구동되는 VAST Data Universal Storage를 사용하여 하드 디스크 드라이브에서 페타바이트 규모의 플래시 스토리지로 전환하였고, 그 결과 성능과 안정성이 향상되었습니다.
DUG는 이 기능을 HPCaaS라고 합니다. 온디맨드로 이용할 수 있는 전문화된 풀 스택 엑사스케일 컴퓨팅입니다. 과거 DUG의 CaaS(compute-as-a-service) 기술은 주요 석유 및 가스 회사와 같은 특정 고객만 이용할 수 있었습니다. 하지만 시장의 주목을 받게 되면서 DUG는 다양한 고성능 컴퓨팅을 처리해야 하는 다른 산업 분야로 서비스를 확장했습니다.
DUG는 "데이터만 있으면 다 처리해 주는" 서비스를 에너지 부문 이외의 기업에도 제공하기로 결정했습니다. DUG는 HPC에 특화된 DUG McCloud 덕분에 새로운 산업 분야에 훌륭한 서비스를 제공할 수 있었습니다. DUG McCloud를 뒷받침하는 인텔®의 VAST Data Universal Storage를 통해 DUG는 학계, 천체물리학, 의학 및 유전체학, 산불 모델링, COVID-19 연구 등 새로운 분야로 진출할 수 있었습니다. 하지만 그러한 과정에서 DUG는 스토리지 처리 방식을 혁신해야 했습니다.
과제
사업 시작 후 10년간 DUG는 지진 워크로드에 필요한 규모 및 비용의 경제를 실현하기 위해 HDD 기반 스토리지를 배포 및 관리해 왔습니다. DUG는 그 동안 애플리케이션 최적화를 통해 Lustre HDD 기반 인프라의 기능을 효과적으로 활용하는 한편, 그 한계를 보완했습니다. 그 과정에서 DUG는 많은 타협을 해야 했습니다. 예를 들어, Lustre 파일 시스템 고객이 특정 워크플로 최대 처리량에 도달하면, 해당 파일 시스템을 공유하는 다른 사용자도 불편을 겪습니다. 회복 탄력성의 관점에서 볼 때, HDD 고장에 대비해 소프트웨어를 설계했더라도, 고장 드라이브를 매주 교체하는 것은 DUG에게 상당한 부담입니다.
DUG의 애플리케이션은 Lustre 및 HDD 스토리지에 최적화되었지만, DUG가 지원하기 시작한 새로운 애플리케이션은 모두 스토리지 입출력(I/O)을 다르게 처리했습니다. DUG에게 스토리지 다용성 및 멀티테넌시가 매우 중요해졌습니다. 새로운 솔루션은 모두 광범위한 요구 사항을 엑사스케일로 지원해야 했습니다. 또한, 다양한 애플리케이션에서 복잡한 처리 요구 사항에 대응할 수 있는 스토리지도 필요했습니다. DUG는 더 높은 성능과 안정성을 제공하기 위해 솔리드 스테이트 드라이브(SSD) 기반 스토리지를 고려했습니다. 그러나 Lustre의 SSD로 전환하는 비용은 너무 컸습니다. DUG에게는 경제성이 중요했습니다.
새로운 시장으로 확장할 수 있는 탄력적인 적응형 스토리지 환경을 구축하기 위해서 DUG는 새로운 스토리지 접근 방식을 찾아야 했습니다.
테스트
솔루션: VAST Data Universal Storage
DUG는 비즈니스를 확장하고 다양한 신규 시장과 고객의 요구 사항을 지원하기 위해 VAST Data Universal Storage를 선택했습니다. Universal Storage 제품은 병렬 파일 시스템의 속도와 규모를 새로운 수준의 플래시 경제성 및 다중 테넌트와 결합하여 DUG의 완전한 기술 도약을 지원합니다. 또한 VAST Data의 DASE(Disaggregated Shared Everything) 아키텍처는 다른 테넌트에 영향을 미치지 않도록 최적화되지 않은 I/O를 격리하여 일관된 성능을 제공합니다. VAST Data는 DASE 접근 방식을 통해 병렬 스토리지의 동시성 문제를 제거하므로 다른 워크로드를 희생하지 않고 특정 워크로드에 대해 고성능을 제공합니다.
고객 성능 경험을 크게 개선하는 것 외에도 VAST Data는 기존 HPC 스토리지 기술에서는 찾아볼 수 없는 안정성, 관리성 및 지원을 함께 제공합니다. VAST Data의 DASE 아키텍처는 엑사스케일 확장성을 제공하므로 DUG는 장애로부터 신속하게 복구할 수 있는 아키텍처에서 단일 장애 지점 없이 수십 페타바이트의 플래시 스토리지로 확장할 수 있습니다. DASE 아키텍처의 안정성은 "무료"입니다. VAST Data의 데이터 보호 효율성, 그리고 아키텍처의 스테이트리스 상태 덕분입니다. VAST Data Universal Storage는 복원력 외에도 DUG의 배포 및 관리 경험을 간소화하므로 다운타임이 발생하지 않습니다. 시스템이 온라인 상태일 때 자동 적용되는 새로운 기능을 지속적으로 푸시하는 통합 확장 어플라이언스가 있기 때문입니다.
인텔 스토리지 기술을 사용하는 VAST Data Universal Storage의 개요
VAST Data Universal Storage는 각 애플리케이션이 해당 워크로드에 대한 모든 관련 데이터에 액세스할 수 있도록 단일 글로벌 네임스페이스를 제공합니다. VAST Data 솔루션은 올플래시 드라이브 성능, 대규모 확장성, 아카이브 스토리지의 경제성, 플러그 앤 플레이 NAS(Network-Attached Storage) 연결의 단순성을 결합합니다.
인텔® SSD는 VAST Data Universal Storage의 비용 효율성과 안정성을 위한 하드웨어 기반을 제공합니다. 인텔은 수직 플로팅 게이트 기술과 CMOS(Complementary Metal-Oxide-Semiconductor) 언더 어레이 아키텍처를 결합하여 셀당 동일한 비트에 대해 업계에서 가장 높은 면적 집적도(제곱 밀리미터당 기가바이트의 스토리지)를 제공합니다.1 즉, 인텔® QLC 3D NAND SSD는 이전 세대 TLC(triple-level cell) 미디어뿐만 아니라, 차지 트랩 기술 기반의 경쟁사 QLC(quad-level cell) 설계보다 더 높은 면적 집적도와 안정성을 제공합니다.1 인텔의 아키텍처 혁신을 기반으로 한 VAST Data 솔루션을 통해 모든 데이터를 플래시 드라이브에 효율적으로 저장할 수 있습니다. 인텔 QLC 3D NAND SSD의 비용 효율성 및 높은 신뢰성을 바탕으로 VAST Data 아키텍처는 HDD 대비 비용을 최대 85% 절감하여 10년 기준으로 GB당 비용이 HDD 기반 시스템과 비슷한 수준입니다.2 3
인텔® Optane™ SSD는 VAST Data Universal Storage에서 실행되는 워크로드의 쓰기 성능을 더욱 강화합니다. 결정적으로 인텔 Optane SSD는 스토리지에 대한 쓰기를 버퍼링하여 전체 QLC 삭제 단위 블록 쓰기를 지원합니다. 인텔 Optane SSD의 짧은 대기 시간, 높은 내구성 및 높은 4K Random 쓰기 성능을 활용하면, 장기 데이터와 단기 데이터가 큰 QLC 블록에 함께 배치되지 않게끔 할 수 있습니다. 인텔 Optane SSD는 인텔 QLC 3D NAND SSD의 비효율적인 쓰기 작업을 막아 줍니다. 이것이 VAST Data가 10년 SSD 내구성 보증을 제공하는 동시에 비용 효율적인 QLC NAND로 경제성을 높일 수 있는 이유입니다.2 3
스토리지 용량, 비용 및 기능은 VAST Data Universal Storage 스토리의 일부일 뿐입니다. VAST Data 솔루션은 새로운 수준의 데이터 축소 및 데이터 보호 효율성을 제공하는 새 알고리즘을 능숙하게 구현합니다.4 VAST Data Universal Storage는 이러한 아키텍처 특성을 2세대 인텔® 제온® 스케일러블 프로세서와 결합하여 DASE 클러스터에서 새로운 차원의 글로벌 알고리즘을 구현합니다.4 이 프로세서들은 VAST Data Universal Storage의 기반이 되는 연산 능력과 중요한 가속 라이브러리를 제공합니다. 스토리지 성능 개발 키트(SPDK)는 VAST Data Universal Storage의 가속기 역할을 하여 모든 CPU에서 모든 QLC 및 인텔 Optane SSD에 대한 저지연 액세스를 제공합니다. 따라서 SPDK는 레거시 비공유(shared-nothing) 스토리지 아키텍처에서 확장을 방해할 수 있는 복잡한 휘발성 캐시 일관성 작업의 필요성을 제거합니다. VAST Data Universal Storage는 NVMe-oF(NVMe over Fabrics) 프로토콜을 사용하여 NVMe(NVM Express) 장치와 CPU를 상호 연결함으로써 DAS(direct-attached storage)의 성능 및 대기 시간과 함께 분산 확장성을 제공합니다.5 NVMe-oF는 표준 이더넷 또는 InfiniBand 네트워크에서 실행되어 리소스의 분산 및 범용 데이터 센터 패브릭상의 'shared-everything' 아키텍처를 지원합니다. VAST 데이터 연결은 네트워크 파일 시스템(NFS), 서버 메시지 블록(SMB) 및 Amazon S3 호환 API와 같은 유비쿼터스 프로토콜을 통해 시스템을 노출하므로 범용 스토리지를 사용하는 애플리케이션에는 특수 어댑터, 형식 또는 프로토콜이 필요하지 않습니다.
VAST Data는 DUG의 데이터 처리 방식을 바꿔 놓았습니다
DUG는 2019년 12월부터 텍사스 휴스턴과 호주 퍼스에 있는 DUG 데이터 센터에서 VAST Data를 사용하여 작업을 수행해 왔으며, 추가 확장을 계획하고 있습니다. 실제로 DUG는 2020년과 2021년에 휴스턴에서 컴퓨팅 기능을 두 배로 늘리고 퍼스에서는 두 배 이상 늘릴 계획입니다. 다행히도 VAST Data 솔루션은 규모가 커지면서 안정성이 떨어지는 게 아니라 오히려 올라갑니다.
DUG의 데이터 스토리지 요구 사항은 항상 많았습니다. 지진 처리 프로젝트는 1PB 이상의 데이터를 동반하며, 처리 과정에서 6~8배로 확대됩니다. 단일 지진 처리 프로젝트 동안 DUG는 해당 데이터를 최대 50번까지 복사하고 기록합니다. 일반적으로 DUG는 동시에 100개 이상의 프로젝트를 진행합니다. VAST Data Universal Storage는 이러한 유형의 데이터 증가에 적합하며, 이를 통해 DUG는 공유 HPC 컴퓨팅 리소스에서 경쟁 애플리케이션의 성능 공정성을 보장할 수 있습니다.
방대한 양의 데이터를 효율적으로 처리하는 것 외에도 VAST Data의 데이터 축소 기능은 또 다른 장점이라 할 수 있습니다. DUG의 경우 이 기능 덕분에 비용이 절감됩니다. 축소가 매우 어려운 지진 데이터의 경우에도 VAST Data의 데이터 축소 기능을 통해 비용을 크게 절감할 수 있습니다. DUG는 VAST Data의 새로운 유사성 기반 글로벌 데이터 압축 방식을 사용하여 다양한 워크로드에서 데이터를 축소하고 비용을 절감하고 있습니다.
또한, VAST Data는 DUG의 스토리지를 연중무휴 24시간 원격으로 관리합니다. 공급업체가 DUG 스토리지에 대한 원격 어플라이언스 관리를 제공하는 것은 이번이 처음입니다. 업데이트 시에 다운타임이 전혀 발생하지 않으며, VAST Data가 DUG 환경의 성능과 가용성을 면밀히 모니터링합니다. 이 때문에 DUG는 스토리지 팀을 확장하지 않고도 스토리지 용량을 확장할 수 있습니다.
전략적 자산이 된 스토리지
DUG의 성공적인 신시장 진출은 인텔 기술로 구동되는 VAST Data Universal Storage 덕분에 가능했습니다. VAST Data 스토리지 솔루션이 제공한 용량, 성능 및 안정성 덕분에 DUG는 HDD를 없애고 복잡한 HPC 파일 스토리지 기술을 넘어 석유 및 가스 산업 안팎의 고객에게 최상급 서비스를 제공할 수 있었습니다. 올-실리콘(all-silicon) 스토리지 제품은 DUG가 차세대 성장을 위해 멀티테넌트 클라우드 환경을 효율적으로 구축할 수 있도록 일관되고 다양한 고성능 솔루션을 제공합니다. VAST Data가 제공하는 스토리지, 안정성 및 관리 용이성 덕분에 이제 스토리지는 DUG의 전략적 자산이 되었으며, 더 폭넓은 비즈니스 목표를 달성할 수 있게 해주었습니다.
DUG Technology 소개
퍼스, 휴스턴, 런던, 쿠알라룸푸르에 데이터 센터를 보유한 DUG Technology는 17년 경력을 보유하고 있으며, HPC의 최전선에 있습니다. DUG Techonology는 혁신적인 하드웨어 솔루션과 소프트웨어 솔루션을 결합하여 클라이언트가 복잡한 대량의 데이터 세트를 활용할 수 있도록 지원합니다. 탄탄한 업력과 응용 물리학 기반 덕분에 DUG Technology는 최첨단 HPCaaS를 고객에게 직접, 또는 DUG McCloud 플랫폼을 통해 제공할 수 있습니다.