DUG Technology: 엑사스케일 플래시 스토리지
HDD에서 SSD로의 전환
DUG 기술은 하드 디스크 드라이브에서 Intel®(현재 Solidigm™) 기술로 구동되는 페타바이트 플래시 스토리지로 전환을 실현시켰습니다.
- DUG Technology는 고성능 컴퓨팅(HPC) 선두 업체로, 혁신적인 하드웨어 솔루션과 소프트웨어 솔루션을 결합하여 고객이 크고 복잡한 데이터 세트를 활용할 수 있도록 지원합니다.
- DUG는 VAST를 통해 하드 디스크 드라이버에서 페타바이트급 플래시 스토리지로 전환하여 탄력적인 적응형 스토리지 환경을 구축하고 새로운 시장으로 진출하였습니다.
Solidigm SSD를 이용하면 지진 데이터를 활용할 수 있습니다.
지진 분석은 반사된 소리만으로 지구 표면 아래에 무엇이 있는지 종합적으로 분석하는 고성능 컴퓨팅(HPC) 분야입니다. 3D 분석에는 페타바이트급(PB) 데이터와 방대한 SSD 스토리지를 탑재한 수천 개의 강력한 컴퓨터가 필요합니다.
석유 회사들은 이러한 모든 분석을 내부에서 처리하기 위한 컴퓨팅 리소스를 갖추고 있지 않으므로, DUG Technology와 같은 회사의 도움을 받아 많은 데이터로부터 상세한 정보를 추출하고 필요한 정보를 가려낼 수 있습니다.
고성능 CaaS(Computing as a Service)
DUG는 이러한 온디맨드 방식의 전문화된 풀 스택 엑사스케일 컴퓨팅 기능을 HPCaaS(HPC-as-a-service)라고 합니다. 과거 DUG의 CaaS(compute-as-a-service) 기술은 주요 석유 및 가스 회사와 같은 특정 고객에게만 제공되었습니다. 하지만 업계에서 능력을 인정받자, DUG는 다양한 고성능 컴퓨팅 작업을 처리하고자 하는 다른 산업 분야로 서비스를 확장했습니다. DUG는 에너지 부문 이외의 기업에도 "데이터만 가져오면 끝나는" 간편 서비스를 동일하게 제공하기로 결정했습니다. DUG는 HPC를 위한 전문화된 DUG McCloud 서비스 덕분에 이러한 새로운 산업 분야에 합리적인 비용으로 서비스를 제공할 수 있다는 것을 알고 있었습니다. DUG McCloud를 뒷받침하는 솔리다임 기술 기반의 VAST Data Universal Storage를 통해 DUG는 학계, 천체물리학, 의학 및 유전체학, 산불 모델링, COVID-19 연구를 포함한 새로운 분야로 성공적으로 진출할 수 있었습니다. 그러나 이 지점에 도달하기 위해서는 DUG가 스토리지를 처리하는 방식에 큰 변화가 필요했습니다. 솔리다임 SSD, 도전에 나서다 운영 첫 10년 동안 DUG는 지진 워크로드에 필요한 규모와 비용 경제성을 달성하기 위해 HDD 기반 스토리지를 배포하고 관리했습니다. 그 기간 동안 DUG는 Lustre HDD 기반 인프라의 기능을 활용하고 한계를 피하기 위해 애플리케이션을 철저히 최적화했습니다. 여기에서 DUG는 적절한 비용으로 생산성을 최적화하기 위해 많은 타협을 해야 했습니다. 예를 들어 Lustre 파일 시스템의 클라이언트가 특정 워크플로에 대해 최대 처리량에 도달하면 동일한 파일 시스템을 공유하는 다른 사용자들이 어려움을 겪었습니다. HDD 고장에 대비해 소프트웨어를 설계했더라도, 고장 드라이브를 매주 교체하는 것은 DUG에 상당한 부담이었으며, 시간과 리소스 측면에서도 더 많은 비용이 드는 일이었습니다.
새로운 HPCaaS용 애플리케이션 New Storage Solutions
DUG의 애플리케이션은 Lustre와 HDD 스토리지에 최적화되어 있었지만, DUG는 처리하는 모든 스토리지 입출력(I/O)을 다르게 지원하기 위해 새로운 애플리케이션을 개발하고 있었습니다. 이러한 애플리케이션에는 스토리지 다용성과 다중 테넌트 지원이 필요합니다. DUG는 엑사스케일에서 광범위한 요구 사항을 지원하는 새로운 솔루션이 필요했습니다. DUG에는 또한 다양한 애플리케이션의 다양한 처리량에 대응할 수 있는 스토리지 솔루션이 필요했습니다. DUG는 더 높은 성능과 안정성을 제공하기 위해 솔리드 스테이트 드라이브(SSD) 기반 스토리지를 찾았습니다. 그러나 Lustre의 SSD로 전환하는 비용은 너무 컸고, DUG에는 경제성이 무엇보다 중요했습니다. 새로운 시장으로 확장할 수 있는 탄력적인 적응형 스토리지 환경을 구축하기 위해서 DUG는 새로운 스토리지 접근 방식을 찾아야 했습니다. 솔루션: 솔리다임 SSD를 사용하는 VAST Data Universal Storage DUG는 비즈니스를 확장하고 다양한 신규 시장과 고객의 요구 사항을 지원하기 위해 VAST Data Univeral Storage를 선택했습니다. Universal Storage 제품은 병렬 파일 시스템의 속도 및 규모를 더욱 합리적인 수준의 플래시 가격 및 다중 테넌트와 결합하여 DUG의 완전한 기술 도약을 지원합니다. 또한 VAST Data의 DASE(Disaggregated Shared Everything) 아키텍처는 다른 테넌트에 영향을 미치지 않도록 최적화되지 않은 I/O를 격리하여 일관된 성능을 제공합니다.
VAST Data는 DASE 접근 방식을 통해 병렬 스토리지의 동시성 문제를 제거하므로 다른 워크로드를 희생하지 않고 특정 워크로드에 대해 고성능을 제공할 수 있습니다.
고객 성능 경험을 크게 개선하는 것 외에도 VAST Data는 기존 HPC 스토리지 기술에서는 찾아볼 수 없는 안정성과 관리성, 지원을 함께 제공합니다.
VAST Data의 DASE 아키텍처를 통한 엑사스케일 확장성 제공
VAST Data의 DASE 아키텍처는 엑사스케일 확장성을 제공하며, DUG는 이를 통해 수십 페타바이트의 플래시 스토리지로 확장할 수 있습니다. 이 아키텍처에는 단일 장애 지점이 없어 신속한 복구가 가능합니다. VAST Data의 데이터 보호 효율성과 아키텍처의 스테이트리스성 덕분에 DASE 아키텍처의 안정성을 '무료'로 확보할 수 있습니다.
복원력 외에도 VAST Data Universal Storage는 또한 DUG의 배포와 관리 환경을 간소화합니다. 통합된 스케일아웃 어플라이언스는 시스템이 온라인 상태일 때 자동으로 적용되는 새로운 기능을 끊임없이 내놓으며, 따라서 DUG에는 다운타운이 없습니다.
Solidigm 스토리지 기술을 사용하는 VAST Data Universal 개요
VAST Data Universal Storage는 각 애플리케이션이 해당 워크로드에 대한 모든 관련 데이터에 액세스할 수 있도록 단일 글로벌 네임스페이스를 제공합니다. VAST Data 솔루션은 다음과 같은 이점을 모두 제공합니다.
- 올플래시 드라이브 성능
- 대규모 확장성
- 아카이브 스토리지의 경제성
- 플러그 앤 플레이 NAS(Network-Attached Storage) 연결의 단순성 Solidigm
SSD는 VAST Data Universal Storage의 비용 효율성과 안정성을 위한 하드웨어 기반을 제공합니다. Solidigm은 수직 플로팅 게이트 기술과 CMOS(Complementary Metal-Oxide-Semiconductor) 언더 어레이 아키텍처를 결합하여 셀당 동일한 비트에 대해 업계에서 가장 높은 면적 밀도(제곱 밀리미터당 기가바이트의 스토리지)를 제공합니다. 1 즉, Solidigm QLC 3D NAND SSD는 이전 세대 TLC(triple-level cell) 미디어보다
더 큰 면적 밀도를 제공할 뿐만 아니라 차지 트랩 기술을 기반으로 하는 경쟁 QLC(quad-level cell) 설계보다 더 높은 면적 밀도와 신뢰성을 제공합니다. 1 Solidigm의 아키텍처 혁신을 통해 VAST Data 솔루션은 플래시 드라이브에 모든 데이터를 경제적으로 저장할 수 있습니다.
