DUG Technology: 엑사스케일 플래시 스토리지

DUG Technology는 하드 디스크 드라이브에서 인텔® Optane™ 기술 기반의 페타바이트급 플래시 스토리지로 전환했습니다.

개요

  • DUG Technology는 고성능 컴퓨팅의 최전선에 위치한 업체로, 고객이 크고 복잡한 데이터 세트를 활용할 수 있는 혁신적인 하드웨어 솔루션과 소프트웨어 솔루션을 결합합니다.
  • 새로운 시장으로의 확장을 가능하게 하는 탄력적인 적응형 스토리지 환경을 구축하기 위해 DUG는 2세대 인텔® 제온® 스케일러블 프로세서, 인텔® Optane SSD 및 인텔® QLC 3D NAND SSD로 구동되는 VAST Data Universal Storage를 사용하여 하드 디스크 드라이브에서 페타바이트 규모의 플래시 스토리지로 전환함으로써 성능과 안정성을 향상시켰습니다.
지진 분석은 소리의 반사만으로 지표면 아래의 상황을 종합 분석하는 고성능 컴퓨팅(HPC) 분야입니다. 유용한 3D 분석을 수행하려면 페타바이트(PB) 규모의 데이터와 수천 대의 강력한 컴퓨터가 필요합니다. 주요 석유 회사조차도 이러한 분석을 사내에서 수행하는 데 필요한 모든 계산 리소스를 보유하고 있지 않으므로 DUG Technology와 같은 회사에 의존하여 산더미 같은 데이터에서 세부 정보를 찾아냅니다.

DUG는 이 기능을 HPC-as-a-service(HPCaaS)라고 합니다. 온디맨드로 이용할 수 있는 전문화된 풀 스택 엑사스케일 컴퓨팅입니다. 과거 DUG의 CaaS(compute-as-a-service) 기술은 주요 석유 및 가스 회사와 같은 특정 고객만 이용할 수 있었습니다. 시장의 주목을 받으면서 DUG는 동일한 서비스로 다양한 극도의 컴퓨팅 요구 사항을 처리하는 다른 산업 분야로 서비스를 확장했습니다.

DUG는 같은 "데이터만 가져오면 끝나는" 용이한 서비스를 에너지 부문 이외의 기업에도 제공하기로 결정했습니다. DUG는 DUG McCloud의 HPC 전문 서비스 덕분에 이러한 새로운 산업 분야에 경제적으로 서비스를 제공할 수 있다는 것을 알고 있었습니다. DUG McCloud를 뒷받침하는 인텔® 기술 기반의 VAST Data Universal Storage를 통해 DUG는 학계, 천체물리학, 의학 및 유전체학, 산불 모델링, COVID-19 연구를 포함한 새로운 분야로 성공적으로 진출할 수 있었습니다. 그러나 여기까지 오기 위해서는 DUG의 스토리지 처리 방식에 큰 변화가 필요했습니다.

과제

DUG는 사업을 시작한 후로 10년 간 지진 워크로드가 필요한 곳에 규모 및 비용의 경제를 실현하기 위해 HDD에 기반한 스토리지를 배포하고 관리해 왔습니다. DUG는 그 동안 Lustre HDD 기반 인프라의 능력을 사용하고 한계는 피하는 애플리케이션을 철저히 최적화했습니다. DUG는 많은 타협을 해야 했습니다. 예를 들어, Lustre 파일 시스템 고객이 주어진 워크플로 최대 처리량에 도달하면 동일한 파일 시스템을 공유하는 다른 사용자는 어려움을 겪을 것입니다. 회복 탄력성의 관점에서 볼 때 비록 DUG가 HDD 실패를 방지하기 위해 소프트웨어를 설계했더라도, 매주 실패한 드라이브를 교체하는 것은 DUG 측에서는 계속되는 부담입니다.

결국, DUG의 애플리케이션은 Lustre 및 HDD 스토리지에 잘 최적화되었지만 DUG가 점점 더 지원하게 된 새로운 애플리케이션은 모두 스토리지 입출력(I/O)을 다르게 처리하게 됐습니다. DUG에는 스토리지 다용성 및 멀티테넌시가 매우 중요해졌습니다. 새로운 솔루션은 모두 광범위한 요구 사항과 엑사스케일 지원을 필요로 했습니다. DUG는 다양한 애플리케이션에서 복잡한 처리량 요구 사항을 처리할 수 있는 스토리지도 필요했습니다. DUG는 더 높은 성능과 안정성을 제공하기 위해 솔리드 스테이트 드라이브(SSD) 기반 스토리지를 고려했습니다. 그러나 Lustre의 SSD로 전환하는 비용은 너무나도 컸습니다. DUG는 경제성이 중요했습니다.

새로운 시장으로 확장할 수 있는 탄력적인 적응형 스토리지 환경을 구축하기 위해서 DUG는 새로운 스토리지 접근 방식을 찾아야 했습니다.

테스트

dug-technology-article-flash-storage

솔루션: VAST Data Universal Storage

DUG는 비즈니스를 확장하고 다양한 신규 시장과 고객의 요구 사항을 지원하기 위해 VAST Data Universal Storage를 선택했습니다. Universal Storage 제품은 병렬 파일 시스템의 속도와 규모를 새로운 수준의 플래시 경제성 및 다중 테넌트와 결합하여 DUG의 완전한 기술 도약을 지원합니다. 또한 VAST Data의 DASE(Disaggregated Shared Everything) 아키텍처는 다른 테넌트에 영향을 미치지 않도록 최적화되지 않은 I/O를 격리하여 일관된 성능을 제공합니다. VAST Data는 DASE 접근 방식을 통해 병렬 스토리지의 동시성 문제를 제거하므로 다른 워크로드를 희생하지 않고 특정 워크로드에 대해 고성능을 제공합니다.

고객 성능 경험을 크게 개선하는 것 외에도 VAST Data는 기존 HPC 스토리지 기술에서는 찾아볼 수 없는 안정성, 관리성 및 지원을 함께 제공합니다. VAST Data의 DASE 아키텍처는 엑사스케일 확장성을 제공하므로 DUG는 장애로부터 신속하게 복구할 수 있는 아키텍처에서 단일 장애 지점 없이 수십 페타바이트의 플래시 스토리지로 확장할 수 있습니다. DASE 아키텍처의 안정성은 "무료"로 달성됩니다. 이는 VAST Data의 데이터 보호 효율성 그리고 아키텍처의 스테이트리스 상태로 인한 것입니다. VAST Data Universal Storage는 복원력 외에도 DUG의 배포 및 관리 경험을 간소화하므로 DUG에는 다운타임이 발생하지 않습니다. 시스템이 온라인 상태일 때 자동으로 적용되는 새로운 기능을 지속적으로 푸시하는 통합 확장 어플라이언스를 제공하기 때문입니다.

Intel 스토리지 기술을 사용하는 VAST Data Universal Storage의 개요

VAST Data Universal Storage는 각 애플리케이션이 해당 워크로드에 대한 모든 관련 데이터에 액세스할 수 있도록 단일 글로벌 네임스페이스를 제공합니다. VAST Data 솔루션은 올플래시 드라이브 성능, 대규모 확장성, 아카이브 스토리지의 경제성, 플러그 앤 플레이 NAS(Network-Attached Storage) 연결의 단순성을 결합합니다.

Intel® SSD는 VAST Data Universal Storage의 비용 효율성과 안정성을 위한 하드웨어 기반을 제공합니다. 인텔은 수직 플로팅 게이트 기술과 CMOS(Complementary Metal-Oxide-Semiconductor) 언더 어레이 아키텍처를 결합하여 셀당 동일한 비트에 대해 업계에서 가장 높은 면적 밀도(제곱 밀리미터당 기가바이트의 스토리지)를 제공합니다.1 즉, 인텔® QLC 3D NAND SSD는 이전 세대 TLC(triple-level cell) 미디어보다 더 큰 면적 밀도를 제공할 뿐만 아니라 차지 트랩 기술을 기반으로 하는 경쟁 QLC(quad-level cell) 설계보다 더 높은 면적 밀도와 신뢰성을 제공합니다.1 인텔의 아키텍처 혁신을 통해 VAST Data 솔루션은 플래시 드라이브에 모든 데이터를 경제적으로 저장할 수 있습니다. 인텔 QLC 3D NAND SSD의 비용 효율성 및 높은 신뢰성은, VAST Data 아키텍처가 HDD 대비 최대 85%의 비용을 절감하여 10년 동안 HDD 기반 시스템과 비슷한 수준의 GB당 비용을 달성할 토대를 제공합니다.2 3

인텔® Optane™ SSD는 VAST Data Universal Storage에서 실행되는 워크로드의 쓰기 성능을 더욱 가속화합니다. 결정적으로 인텔 Optane SSD는 스토리지에 대한 쓰기를 버퍼링하여 전체 QLC 삭제 단위 블록 쓰기를 지원합니다. 인텔 Optane SSD의 짧은 대기 시간, 높은 내구성 및 높은 4K 임의 쓰기 성능을 통해 장기 및 단기 데이터는 큰 QLC 블록에 함께 배치되지 않을 수 있습니다. 인텔 Optane SSD는 인텔 QLC 3D NAND SSD를 비효율적인 쓰기 작업으로부터 보호합니다. 이것이 VAST Data가 10년 SSD 내구성 보증을 제공하는 동시에 비용 효율적인 QLC NAND를 통해 경제적 이점을 제공할 수 있는 이유 중 하나입니다.2 3

dug-technology-article-supported-clients

그러나 스토리지 용량, 비용 및 기능은 VAST Data Universal Storage 스토리의 일부일 뿐입니다. VAST Data 솔루션은 또한 완전히 새로운 수준의 데이터 축소 및 데이터 보호 효율성을 개척하는 새 알고리즘을 구현하는 데 매우 능숙합니다.4 VAST Data Universal Storage는 2세대 인텔® 제온® 스케일러블 프로세서와 함께 이러한 모든 아키텍처 측면을 결합하여 DASE 클러스터에서 새로운 클래스의 글로벌 알고리즘을 구현합니다.4 이 프로세서들은 VAST Data Universal Storage의 기반이 되는 연산 능력과 중요한 가속 라이브러리를 제공합니다. 스토리지 성능 개발 키트(SPDK)는 VAST Data Universal Storage의 가속기 역할을 하여 모든 CPU에서 모든 QLC 및 인텔 Optane SSD에 대한 저지연 액세스를 제공합니다. 따라서 SPDK는 레거시 비공유(shared-nothing) 스토리지 아키텍처에서 확장을 방해할 수 있는 복잡한 휘발성 캐시 일관성 작업의 필요성을 제거합니다. VAST Data Universal Storage는 NVMe-oF(NVMe over Fabrics) 프로토콜을 사용하여 NVMe(NVM Express) 장치와 CPU를 상호 연결함으로써 DAS(direct-attached storage)의 성능 및 대기 시간과 함께 분산 확장성을 제공합니다.5 NVMe-oF는 표준 이더넷 또는 InfiniBand 네트워크에서 실행되어 리소스의 분산 및 범용 데이터 센터 패브릭상의 'shared-everything' 아키텍처를 지원합니다. VAST 데이터 연결은 네트워크 파일 시스템(NFS), 서버 메시지 블록(SMB) 및 Amazon S3 호환 API와 같은 유비쿼터스 프로토콜을 통해 시스템을 노출하므로 범용 스토리지를 사용하는 애플리케이션에는 특수 어댑터, 형식 또는 프로토콜이 필요하지 않습니다.

VAST Data는 DUG의 데이터 처리 방식을 변경했습니다

DUG는 2019년 12월부터 텍사스 휴스턴과 호주 퍼스에 있는 DUG 데이터 센터에서 VAST Data를 사용하여 작업에 전념해왔으며 추가 확장을 계획하고 있습니다. 실제로 DUG는 2020년과 2021년에 휴스턴에서 컴퓨팅 기능을 두 배로 늘리고 퍼스에서는 두 배 이상 늘릴 계획입니다. 다행히도 VAST Data 솔루션은 규모가 커지면서 안정성을 잃는 게 아니라 더욱 안정적이 됩니다.

DUG의 데이터 스토리지 요구 사항은 항상 많았습니다. 지진 처리 프로젝트는 1PB 이상의 데이터와 함께 DUG에 도착하며, 처리 과정에서 6~8배의 확장을 경험합니다. 단일 지진 처리 프로젝트 동안 DUG는 해당 데이터를 최대 50번까지 복사하고 기록합니다. 일반적으로 DUG는 동시에 100개 이상의 프로젝트를 진행합니다. VAST Data Universal Storage는 이러한 유형의 데이터 증가에 적합하며 이를 통해 DUG는 경쟁 애플리케이션이 모두 공유 HPC 컴퓨팅 리소스에서 성능 공정성을 경험하도록 보장할 수 있습니다.

방대한 양의 데이터를 효율적으로 처리하는 것 외에도 VAST Data의 데이터 축소 기능은 또 다른 장점이라 할 수 있습니다. DUG의 경우 이 기능은 비용 절감 장치입니다. 축소하기 어려운 것으로 악명 높은 지진 데이터의 경우에도 VAST Data는 강력한 데이터 축소 기능을 통해 상당한 비용을 절감할 수 있습니다. DUG는 VAST Data의 새로운 유사성 기반 글로벌 데이터 압축 방식을 사용하여 다양한 워크로드에서 데이터를 축소하여 더 큰 절감 효과를 경험하고 있습니다.

DUG에 있어 또 다른 이점은 VAST Data가 DUG의 스토리지를 연중무휴 24시간 원격으로 관리한다는 것입니다. 공급업체가 스토리지에 대한 원격 어플라이언스 관리를 제공함으로써 DUG가 혜택을 받은 것은 이번이 처음입니다. DUG에는 업데이트를 위한 다운타임이 전혀 발생하지 않으며 DUG의 IT 관리자는 VAST Data가 환경의 성능과 가용성을 면밀히 모니터링하고 있다는 사실을 확신할 수 있습니다. 이 때문에 DUG는 스토리지 팀을 확장하지 않고도 스토리지 용량을 확장할 수 있습니다.

전략적 자산으로서의 스토리지

DUG의 성공적인 신시장 진출은 인텔 기술로 구동되는 VAST Data Universal Storage 덕분에 가능했습니다. VAST Data 스토리지 솔루션이 제공한 용량, 성능 및 안정성 덕분에 DUG는 HDD를 없애고 복잡한 HPC 파일 스토리지 기술을 넘어 석유 및 가스 산업 안팎의 고객에게 리더십 최상급 고객 경험을 제공할 수 있었습니다. 올-실리콘(all-silicon) 스토리지 제품은 DUG가 차세대 성장을 위해 멀티테넌트 클라우드 환경을 효율적으로 구축할 수 있도록 일관되고 다양한 고성능을 제공합니다. VAST Data가 제공하는 스토리지, 안정성 및 관리 용이성으로 스토리지는 DUG의 전략적 자산이 되었으며, 더 폭넓은 비즈니스 목표를 달성할 수 있게 해주었습니다.

DUG Technology 소개

17년 이상의 경험과 함께 퍼스, 휴스턴, 런던 및 쿠알라룸푸르에 데이터 센터를 보유한 DUG Technology는 HPC의 최전선에 있습니다. DUG Techonology는 클라이언트가 복잡한 대량의 데이터 세트를 사용할 수 있도록 혁신적인 하드웨어 솔루션과 소프트웨어 솔루션을 결합합니다. DUG Technology는 탄탄한 응용 물리학 기반과 산업 경험 덕분에 최첨단 HPCaaS를 고객에게 직접 또는 DUG McCloud 플랫폼을 통해 제공할 수 있었습니다.