VAST 데이터 플랫폼과 Solidigm™ 스토리지로 더 빠른 RNA 염기서열분석을 실현하는 DUG

DUG는 지진 탐색에서 RNA 염기서열분석에 이르기까지, VAST 데이터 플랫폼과 Solidigm QLC SSD를 활용하여 HPCaaS를 재정의합니다.

고성능 컴퓨팅(HPC) 솔루션의 선두주자 DUG Technology Ltd(DUG)는 자원 분야의 지진 분석부터 의료 분야의 유전체 해독에 이르는 다양한 응용 분야에서 혁신을 주도하고 있습니다. DUG는 고성능 HPC-as-a-Service(HPCaaS) 제품을 활용해 복잡한 문제를 해결할 수 있는 컴퓨팅 리소스를 조직에 제공하여 온프레미스 인프라 없이 확장성과 유연성을 제공합니다.

DUG 소개

DUG는 2003년에 공동 설립자 Matthew Lamont의 집 뒷마당에 있는 헛간에서 운영되던 지구과학 관련 용역업체 DownUnder GeoSolutions로 시작되었습니다. 22년이 지난 지금, DUG는 퍼스, 런던, 휴스턴, 쿠알라룸푸르, 아부다비에 지사를 두고 다양한 업계의 고객사를 지원하고 있습니다. 또한 지구상에서 가장 큰 슈퍼컴퓨터 네트워크를 설계, 소유, 운영하고 있습니다.

DUG 최고정보책임자(CIO) Harry McHugh는 “우리의 HPC 워크로드에는 지진 데이터 처리와 이미징, 생물정보학, 인공지능, 원격 지구 관찰, 전산 유체 역학, 무선 천문학이 포함된다"고 합니다. 

"핵심은 HPC가 현대 과학 발견의 원동력이며, 지금은 필수 요소가 되었다는 점"입니다.

McHugh에 따르면 DUG 기술의 중요한 원동력은 데이터 집약적인 워크로드를 가속화하는 데 중요한 역할을 하는 고급 스토리지 아키텍처에 있다고 합니다.

DUG는 처음에는 HDD 기반 스토리지에 의존하여 HPC 애플리케이션을 지원했지만, 특히 Lustre 기반 파일 시스템에서 성능 병목 현상, 안정성 문제, 확장성 한계 문제에 직면했습니다. 데이터 처리에 대한 수요가 증가함에 따라, 또 특히 여러 번 데이터를 복사하고 써야 하는 지진 워크로드로 인해 DUG에게는 일관된 고속 입출력(I/O) 성능을 보장하기 위해 보다 다재다능하고 확장 가능한 솔루션이 필요했습니다. 효율성과 비용 효과는 유지하면서도 엑사스케일 요건을 처리할 수 있는 스토리지 아키텍처가 필요했습니다.

“이런 워크로드를 VAST 및 Solidigm 아키텍처에서 실행하면 기존 스토리지 시스템에 비해 속도가 1.7배 증가하고 런타임 비용이 40% 절감되었다. VAST와 Solidigm으로 달성한 속도 향상은 놀라운 수준”이라는 것이 DUG 최고정보책임자 Harry McHugh의 말입니다.¹

빅데이터 컴퓨팅 문제

대부분의 DUG 컴퓨팅 성능은 지진 데이터를 처리하고 이미지화하는 데 사용되지만, DUG의 HPCaaS 고객 중에는 까다로운 RNA 염기서열분석 시 컴퓨팅 문제를 안고 있는 생물정보학자들도 있습니다. 연구자들은 유전체 데이터를 분석하기 위해 RNA 염기서열분석에 의존하지만, 그 과정에서 막대한 양의 작은 파일이 생성되므로, 최소한의 지연 시간으로 고대역폭을 처리할 수 있는 스토리지 시스템을 필요로 합니다.

McHugh에 따르면, RNA 염기서열분석 워크플로우에는 일반적으로 약 100GB의 입력 데이터가 포함되지만, 5TB 크기의 출력 데이터세트를 생성할 수 있다고 합니다. “수백만 개의 작은 파일이 있으므로 입력부터 출력까지는 엄청난 이동”인 것입니다.

이러한 데이터 폭발은 스토리지와 컴퓨팅 인프라에 엄청난 스트레스를 주지만, Solidigm™ SSD 기술을 활용하는 특수 제작된 VAST 데이터 플랫폼에 적합합니다. DUG는 빅데이터 워크로드를 처리하도록 설계된 확장 가능한 고성능 데이터 솔루션으로 VAST를 선택했습니다. VAST 데이터 플랫폼의 스토리지 계층은 Solidigm SSD 스토리지와 고급 데이터 절감 및 효율성 기술을 결합하여 조직이 RNA 염기서열분석 같은 대규모 데이터세트를 빠르고 효율적으로 관리할 수 있도록 지원합니다.

McHugh는 “생물정보학 워크로드가 발생하려면 분산형 파일 시스템이 필수”라면서 “고성능이어야 하고, 신뢰할 수 있어야 하며, IOPS가 높아야 한다. 다시 말해, VAST의 모든 장점을 갖추어야 한다”고 말합니다.

VAST 데이터 플랫폼은 NAS(네트워크 연결 스토리지)의 단순성을 통해 병렬 파일 시스템의 성능과 규모를 지원함으로써 HPC를 가속화합니다.

RNA 염기서열분석의 이점

RNA 염기서열분석은 전사체 단위에서 질병을 연구하고 치료법을 혁신하여 세포와 조직 전반에서 유전자 활성도를 실시간으로 보여줍니다. RNA 염기서열분석은 활성 유전체에 대한 동적 관점을 제시함으로써 DNA 단독 분석보다 더 깊은 통찰력을 제공하여 임상의가 진단 정확도를 높이고, 표적 치료를 개선하고, 환자 예후를 개선하는 데 도움을 줍니다. RNA 염기서열분석은 다음과 같은 방식으로 의료계를 혁신하고 있습니다.

• 정밀 진단: RNA 염기서열분석은 환자의 세포에서 어떤 유전자가 활발하게 발현되고 있는지 보여줌으로써, 임상의가 질병 아형을 구별하고, 희귀하거나 잘못 진단된 질병을 검출하며, 생체표지자 기반 진단을 안내하는 데 도움이 됩니다.
• 개인 맞춤 치료: RNA 염기서열분석은 환자의 유전자가 어떻게 활성화되거나 비활성화되는지에 관한 자료를 수집함으로써, 표적 요법 선택, 시간 경과에 따른 치료 반응 모니터링, 약물 내성 기전 식별을 가능하게 합니다.
• 전염병 관리: RNA 염기서열분석은 배양이 어려운 경우에도 바이러스, 박테리아 및 기타 병원체를 검출하고 특성화하는 데 도움이 됩니다. 또한 병원균의 진화(예: 코로나19 변종)를 실시간으로 모니터링하고 감염에 대한 숙주 면역 반응을 검출하는 데도 도움이 됩니다.
• 복합 질환 연구: RNA 염기서열분석을 통해 신경퇴행성 질환, 자가면역 질환, 정신 질환 같은 질환의 유전자 발현 이상 패턴, 질병 경로와 진행에 대한 통찰, 새로운 치료 표적을 발견할 수 있습니다.
• 암 연구와 종양학: RNA 염기서열분석은 종양 성장을 유도하는 유전자 융합 및 돌연변이를 식별하고, 임상시험에서 환자를 계층화하며, RNA 기반 치료법의 발전을 알리는 데 도움을 주는 종양학의 기초 도구가 되었습니다.

Solidigm과 VAST 데이터의 DUG HPCaaS 제품 지원 방식

VAST 데이터 플랫폼의 기초는 DUG의 수많은 문제를 해결한 Solidigm의 고밀도 QLC SSD입니다.

Solidigm QLC SSD 기술로 구현된 VAST 데이터 플랫폼은 DUG에게 혁신적인 솔루션이 되었습니다. Solidigm QLC SSD를 구현함으로써 VAST는 HDD 기반 시스템보다 경쟁력이 뛰어난 올플래시 스토리지와 저렴한 가격의 조합을 실현했습니다. 

DUG는 Solidigm SSD 탑재 VAST 데이터 플랫폼으로 전환함으로써 단일 장애 지점 없이 엑사스케일 확장성, 향상된 데이터 보호 및 압축 기능, 보다 효율적인 멀티테넌트 클라우드 환경을 달성했습니다.

또한, VAST 데이터의 원격 어플라이언스 관리 기능은 DUG의 운영 간접비를 크게 줄여 가동 중단 시간 제로 업데이트와 사전 성능 모니터링을 실현했습니다. 그 결과 신뢰성과 가성비가 높은 미래형 스토리지 인프라가 구축되면서 DUG는 컴퓨팅 기능을 확장하면서도 복잡성은 줄일 수 있었습니다. 이 솔루션으로 스토리지는 애물단지였다가 새로운 시장을 탐색하고 여러 업계에서 혁신을 주도할 수 있는 힘을 주는 DUG의 전략적 자산으로 변모했습니다.

수년 간 VAST는 기본 Solidigm 스토리지 기술을 한 세대에서 다음 세대로 업그레이드하여 더 높은 용량을 지원했습니다.

McHugh는 “처음부터 VAST와 함께해 왔으며, 수년 간 우리 사업장에 설치한 VAST의 양을 증가시켰다”면서, “이것만 봐도 관계를 지속할 이유는 충분한 것 같다”고 합니다.

McHugh는 기존 스토리지 시스템이 대규모 스트리밍 읽기와 쓰기에 최적화되어 있는 경우가 많아, 지진파 데이터 처리 같은 분야에서는 잘 작동하지만 유전체학 연구 분야에서는 흔히 사용되는 작고 단편화된 파일을 잘 처리하지 못한다고 말했습니다.

"Solidigm SSD 스토리지를 인프라에 넣음에 따라 이렇게 무작위 배정이 많은 IOPS 워크로드를 효과적으로 관리할 수 있었다”면서, “속도와 효율성은 유지하면서 확장 능력을 갖게 되었다”고 말합니다.

기존 HDD와 Solidigm 스토리지 솔루션의 성능 비교

DUG의 생물정보학계 고객에게 VAST와 Solidigm의 조합은 상당한 운영상의 이점을 선사합니다. 대규모 데이터 처리 능력과 신속한 파일 액세스는 유전체 염기서열분석 과정을 가속화하는 데 핵심 요인입니다.

DUG는 벤치마킹을 통해 Solidigm의 고급 스토리지 솔루션을 활용하여 생물정보학 워크로드의 효율성을 크게 개선할 수 있음을 입증했습니다.

McHugh는 "이런 워크로드를 VAST-Solidigm 아키텍처에서 실행하면 기존 스토리지 시스템에 비해 속도가 1.7배 증가하고 런타임 비용이 40% 절감되었다” 면서, “VAST와 Solidigm으로 달성한 속도 향상은 놀라운 수준"이라고 말했습니다.¹

VAST 데이터와의 협업 확대

VAST 플랫폼의 신뢰성은 DUG가 기술에 계속 투자할 수 있도록 하는 또 다른 중요한 요소이며, Solidigm 스토리지 장치의 품질과 신뢰성을 통해 추가적으로 실현됩니다.

McHugh는 “신뢰성과 성능 중에 선택해야 되는 경우가 많지만, VAST와 Solidigm을 조합하면 둘 다 손에 넣을 수 있다”고 설명합니다. 이러한 균형 때문에 DUG의 고객들은 아무리 데이터 집약적인 워크로드라도 지원할 수 있는 인프라로서 신뢰합니다.

업계에서 데이터 기반 과학의 경계가 계속 확장됨에 따라 견고한 고성능 컴퓨팅 솔루션에 대한 요구는 커질 것입니다. DUG의 Solidigm 엔터프라이즈 SSD 스토리지 지원 VAST 데이터 생태계 활용 사례는 기술이 어떻게 지진파 데이터 처리에서 생물정보학에 이르는 여러 수직 분야에서 혁신을 주도할 수 있는지 보여주는 훌륭한 예입니다.