DUG Technology: 엑사스케일 플래시 스토리지

HDD에서 SSD로 전환

DUG Technology는 하드 디스크 드라이브에서 Solidigm™ 기술 기반의 페타바이트급 플래시 스토리지로 전환했습니다.

• DUG Technology는 고성능 컴퓨팅(HPC) 선두 업체로, 혁신적인 하드웨어 솔루션과 소프트웨어 솔루션을 결합하여 고객이 크고 복잡한 데이터 세트를 활용할 수 있도록 지원합니다.
• DUG는 새로운 시장으로 확장할 수 있는 탄력적이고 적응력이 뛰어난 스토리지 환경을 구축하기 위해 VAST를 통해 하드 디스크 드라이브에서 페타바이트 플래시 스토리지로 전환했습니다.

Solidigm SSD는 실용적인 지진 데이터를 만듭니다. 

지진 분석은 고성능 컴퓨팅(HPC) 분야로 반사된 소리만으로 지구 표면 아래에 무엇이 있는지 이미지를 생성해야 합니다. 유용한 3D 분석 결과에는 페타바이트(PB)의 데이터와 광범위한 SSD 스토리지를 보유한 수천 대의 강력한 컴퓨터가 필요합니다.

대부분의 석유 및 가스 회사는 이러한 모든 분석을 자체적으로 수행하는 데 필요한 컴퓨팅 리소스를 보유하고 있지 않습니다. 강력한 기계에 접근할 수 있는 업계 최대의 업체들조차도 종종 더 빠르고 정확하며 더 낮은 비용으로 결과를 제공할 수 있는 능력을 갖춘 DUG Technology 같은 기업에 의존합니다.

고성능 CaaS(Computing as a Service) 

DUG는 이러한 온디맨드 방식의 전문화된 풀 스택 엑사스케일 케이블 컴퓨팅 기능을 HPCaaS(HPC-as-a-service)라고 합니다. 전통적으로 DUG의 서비스로서의 컴퓨팅 기술은 대형 석유 및 가스 회사와 같은 특정 고객만 이용할 수 있었습니다. 하지만 업계에서 능력을 인정받자, DUG는 다양한 고성능 컴퓨팅 작업을 처리하고자 하는 다른 산업 분야로 서비스를 확장했습니다.

DUG는 에너지 부문 외의 사업에도 이렇게 '데이터만 제공'하는 간편 서비스를 도입하기로 결정했습니다. DUG는 HPC용 전문 DUG HPC Cloud 서비스 덕분에 이러한 수직적인 신산업에 경제적으로 서비스할 수 있다는 사실을 알았습니다. DUG HPC Cloud를 뒷받침하는 Solidigm 기술 기반을 포함하는 VAST Data Platform을 통해 DUG는 학계, 천체물리학, 의학 및 유전체학, 산불 모델링, 방어를 포함한 새로운 분야로 성공적으로 진출할 수 있었습니다. 그러나 DUG가 여기까지 오기에는 스토리지 처리 방식에 큰 변화가 필요했습니다.

Solidigm SSD, 도전에 나서다

DUG는 처음 회사를 운영하는 10년간 지진 워크로드가 필요한 곳에 규모 및 비용의 경제를 실현하기 위해 HDD에 기반한 스토리지를 배포하고 관리해 왔습니다. 그 기간 동안 DUG는 Lustre HDD 기반 인프라의 기능을 활용하고 한계를 피하기 위해 애플리케이션을 철저히 최적화했습니다.

여기에서 DUG는 적절한 비용으로 생산성을 최적화하기 위해 많은 타협을 해야 했습니다. 예를 들어 Lustre 파일 시스템의 클라이언트가 특정 워크플로에 대해 최대 처리량에 도달하면 동일한 파일 시스템을 공유하는 다른 사용자들이 어려움을 겪었습니다. HDD 고장에 대비해 소프트웨어를 설계했더라도, 고장 드라이브를 매주 교체하는 것은 DUG에 상당한 부담이었으며, 시간과 리소스 측면에서도 더 많은 비용이 드는 일이었습니다.

새로운 HPCaaS용 애플리케이션 New Storage Solutions

DUG의 애플리케이션은 Lustre와 HDD 스토리지에 최적화되어 있었지만, DUG는 처리하는 모든 스토리지 입출력(I/O)을 다르게 지원하기 위해 새로운 애플리케이션을 개발하고 있었습니다. 이러한 애플리케이션에는 스토리지 다용성과 다중 테넌트 지원이 필요합니다. DUG는 엑사스케일에서 광범위한 요구 사항을 지원하는 새로운 솔루션이 필요했습니다.

DUG에는 또한 다양한 애플리케이션의 다양한 처리량에 대응할 수 있는 스토리지 솔루션이 필요했습니다. DUG는 더 높은 성능과 안정성을 제공하기 위해 솔리드 스테이트 드라이브(SSD) 기반 스토리지를 고려했습니다. 그러나 Lustre를 SSD로 옮기는 비용은 너무나도 컸습니다. DUG은 경제성이 중요했습니다.

새로운 시장으로 확장할 수 있는 탄력적인 적응형 스토리지 환경을 구축하기 위해서 DUG는 새로운 스토리지 접근 방식을 찾아야 했습니다.

해결책: Solidigm SSD를 사용하는 VAST Data Universal Storage

DUG는 비즈니스를 확장하고 다양한 신규 시장과 고객의 요구 사항을 지원하기 위해 VAST Data Platform을 선택했습니다. 플랫폼 제품은 병렬 파일 시스템의 속도와 규모를 새로운 수준의 플래시 경제성 및 다중 테넌트와 결합하여 DUG의 완전한 기술 도약을 지원합니다. 또한 VAST Data의 DASE(Disaggregated Shared Everything) 아키텍처는 다른 테넌트에 영향을 미치지 않도록 최적화되지 않은 I/O를 격리하여 일관된 성능을 제공합니다.

VAST Data는 DASE 접근 방식을 통해 병렬 스토리지의 동시성 문제를 제거하므로 다른 워크로드를 희생하지 않고 특정 워크로드에 대해 고성능을 제공합니다.

고객 성능 경험을 크게 개선하는 것 외에도 VAST Data는 기존 HPC 스토리지 기술에서는 찾아볼 수 없는 안정성과 관리성, 지원을 함께 제공합니다.

VAST Data의 DASE 아키텍처로 확장성 향상 

VAST Data의 DASE 아키텍처는 엑사스케일 확장성을 제공하여 DUG가 수십 페타바이트의 플래시 스토리지로 성장할 수 있도록 했습니다. 이 아키텍처는 단일 장애 지점이 없기 때문에 장애로부터 신속하게 복구할 수 있습니다. DASE 아키텍처의 안정성은 '무료'로 달성됩니다. 이는 VAST Data의 데이터 보호 효율성 그리고 아키텍처의 스테이트리스 상태로 인한 것입니다.

VAST Data Platform은 탁월한 복원력과 함께 DUG의 구축 및 관리 경험을 단순화합니다. 시스템이 온라인 상태일 때 자동으로 적용되는 새로운 기능을 지속적으로 푸시하는 통합 확장 어플라이언스를 제공하기 때문에 DUG에는 다운타임이 발생하지 않습니다.

Solidigm 스토리지 기술을 사용하는 VAST Data Universal Storage의 개요

VAST Data Platform은 각 애플리케이션이 해당 워크로드에 대한 모든 관련 데이터에 액세스할 수 있도록 단일 글로벌 네임스페이스를 제공합니다. VAST 데이터 솔루션은 다음을 결합합니다.

• 올플래시 드라이브 성능
• 대규모 확장성
• 아카이브 스토리지의 경제성
• 플러그 앤 플레이 네트워크 연결 스토리지(NAS) 연결의 단순성
• 완전한 멀티프로토콜 지원(SMB 2.1, 3.0, NFS v3, v4.1, 블록 액세스를 위한 NVMe/TCP 포함 S3)

Solidigm의 D5-P5336은 VAST Data Platform의 비용 효율성과 신뢰성을 위한 하드웨어 기반을 제공합니다. Solidigm은 상호보완적인 CMOS(Metal-oxide-semiconductor) 언더어레이 아키텍처를 활용하여 셀당 동일한 비트에 대해 업계에서 가장 높은 면적 밀도(제곱 밀리미터당 기가바이트의 스토리지)를 제공합니다.¹

즉, Solidigm QLC 3D NAND SSD는 이전 세대 TLC(triple-level cell) 미디어보다 더 큰 면적 밀도를 제공할 뿐만 아니라 경쟁 QLC(quad-level cell) 설계보다 더 높은 면적 밀도와 신뢰성을 제공한다는 의미입니다.