2024년, 전 세계는 149제타바이트(ZB)의 데이터를 생성, 캡처, 복사 및 소비했으며, 이 양은 증가할 것으로 예상됩니다. IDC의 Global DataSphere, 2024에 발표된 바에 따르면, IDC는 2024년에 163,006엑사바이트(EB)의 데이터가 생성되었으며, 이는 2028년에 두 배 이상인 393,852EB로 증가하여 예측 기간 동안 24.4%의 연평균 성장률(CAGR)을 기록할 것으로 추산합니다.
이러한 환경에서 기업은 비용, 공간 및 에너지 소비를 관리하면서 방대한 양의 데이터를 처리해야 하는 커지는 압박에 직면해 있습니다. 컴퓨팅 집약적 워크로드와 AI 기반 애플리케이션은 하드웨어와 소프트웨어 아키텍처 측면 모두에서 새로운 수준의 효율성을 요구합니다.
Ocient의 플랫폼은 이미 한 주요 고객에게 3년 동안 160만 달러의 에너지 비용을 절감해 주었으며, 하드웨어, CapEx 및 OpEx도 절감했습니다.
데이터 분석 소프트웨어 솔루션의 선구자인 Ocient는 상시 가동되는 컴퓨팅 집약적 데이터 및 AI 워크로드를 위한 효율성을 재정의하고 있습니다. 최신 업계 표준 하드웨어에서 실행되도록 최적화된 회사의 효율적인 통합 플랫폼은 Solidigm의 고급 SSD(솔리드 스테이트 드라이브) 스토리지 기술을 활용하여 데이터 분석 워크로드의 비용, 에너지 소비, 시스템 설치 공간을 최대 90%까지 줄여 고객이 규모에 맞는 지속 가능한 데이터 성능과 관리를 달성할 수 있도록 지원합니다.1
컴퓨팅 집약적 워크로드를 실행하는 기업들은 운영 비용이나 환경적 영향을 크게 늘리지 않으면서 증가하는 수요를 충족하기 위해 데이터 운영을 확장하는 방법과 씨름하고 있습니다. 이러한 문제를 해결하기 위해 특별히 구축된 Ocient Hyperscale Data Warehouse는 완전히 재구성된 설계를 활용하여 상시 가동되는 대규모 워크로드에 대한 실시간 분석을 제공합니다. 혁신적인 아키텍처는 하드웨어 공간을 최소화하는 동시에 탁월한 성능을 제공하여 고객이 페타바이트 규모의 상시 데이터셋에서도 더 빠르게 데이터를 수집하고 인사이트를 추출할 수 있도록 지원합니다.
Solidigm의 16TB급 SSD는 Ocient의 혁신적인 아키텍처를 위한 기반 스토리지입니다. Solidigm™ D7-P5520 SSD와 Solidigm™ D5-P5430 SSD는 스토리지 밀도, 전력 효율성 및 시스템 수준의 성능을 최적화하는 데 중요한 역할을 합니다. Solidigm SSD는 탁월한 스토리지 밀도를 제공하여 고객이 단일 2U 서버에 최대 1.2페타바이트(PB)의 데이터를 저장할 수 있도록 확장할 수 있게 합니다. 용량 및 성능 목표를 달성하는 데 필요한 드라이브 수가 적기 때문에, Solidigm 스토리지를 기반으로 하는 Ocient 솔루션은 고객이 데이터 센터 내 워크로드 공간을 최소화할 수 있도록 지원합니다. 이는 부동산 및 하드웨어 비용이 급격히 증가할 수 있는 대규모 데이터 환경에서 특히 중요합니다.
Solidigm SSD는 회전 디스크 기술을 사용하는 하드 디스크 드라이브(HDD)와 달리 업계 최고의 전력 효율성을 제공합니다. Solidigm NAND 기반 SSD는 일반적인 순차 쓰기 워크로드에서 와트당 400% 이상, 혼합 무작위 워크로드에서 와트당 27,000% 이상 높은 성능을 제공합니다.2 이로 인해 Solidigm SSD는 Ocient가 대규모로 운영 효율성을 제공하고 에너지 소비를 줄일 수 있는 능력의 초석이 됩니다.
Ocient의 독자적인 CASA(Compute Adjacent Storage Architecture)는 SSD가 빠른 PCIe 4.0 버스를 통해 프로세서에 직접 연결되도록 하여 수억 개의 병렬 작업을 실행하고 데이터 액세스 병목 현상을 제거합니다. Ocient는 Solidigm의 고속 SSD와 CASA 아키텍처를 결합하여 초당 1.2테라비트 이상의 데이터 스캔 성능을 달성함으로써 더 빠른 쿼리와 분석을 가능하게 합니다.
Ocient의 플랫폼은 이미 한 주요 고객에게 3년 동안 160만 달러의 에너지 비용을 절감해 주었으며, 하드웨어, CapEx 및 OpEx도 절감했습니다. 이러한 절감 효과는 혁신적인 스토리지 기술과 고도로 최적화된 소프트웨어를 결합했을 때의 잠재력을 보여줍니다. 기존 인프라에는 202kW라는 막대한 전력을 소비하는 데이터 센터 공간이 포함되어 있었습니다. 이 레거시 시스템은 데이터 웨어하우스로서 Hadoop 및 Apache Spark에서 워크로드를 실행하고 4.41PB의 스토리지를 필요로 하는 평균 145kW 전력의 10개 랙을 보유하고 있었습니다. Ocient로 마이그레이션한 후 고객은 공간을 10개 랙에서 3개 랙으로 크게 줄였습니다. 이러한 축소로 인해 전력 소모가 최대 202kW에서 46kW로 낮아졌으며, 3년 동안 막대한 에너지 비용 절감 효과가 급격히 증가하고 ROI가 가속화되었습니다. 쿼리 시간 또한 분 단위에서 초 단위로 단축되었습니다.
또 다른 사례(위)는 17PB 이상의 CDR(통화 상세 기록) 데이터를 관리하기 위해 HDD가 장착된 5개의 전체 랙에 의존하고 115kW 이상의 전력을 소비하는 다른 레거시 인프라에서 전환해야 했던 티어 1 통신 제공업체입니다. 특정 쿼리를 완료할 수 없게 되면서 문제가 시작되었고, 회사는 보다 현대적인 솔루션이 필요하다고 결정했습니다. Ocient 플랫폼이 탑재된 Solidigm SSD로 마이그레이션한 후, 고객의 워크로드는 단 22kW의 전력만 필요한 단일 랙으로 통합되었습니다. 이러한 변화로 하드웨어에 대한 초기 CapEx와 에너지 비용에 대한 OpEx가 절감되어, 고객은 절실히 필요한 자원을 혁신과 성장에 재투자할 수 있게 되었습니다.
Ocient의 효율성 향상은 하드웨어를 넘어 Solidigm SSD의 잠재력을 극대화하는 소프트웨어 혁신으로 확장됩니다. 이 회사의 TimeKey 클러스터링은 시간 및 사용자 정의 키별로 데이터를 구성하여 각 쿼리에 대해 스토리지에서 최소한의 데이터만 읽도록 합니다. 이러한 효율성은 Solidigm SSD의 성능을 활용하여 최대 처리량을 보장하고 초고속 분석을 제공합니다.
또한 Ocient의 Zero Copy Reliability는 데이터 복제의 필요성을 제거하여 스토리지 요구 사항을 최대 90%까지 줄여 줍니다.1 Solidigm SSD의 신뢰성과 결합된 이 혁신을 통해 고객은 데이터 무결성을 유지하면서 더욱 자신 있게 데이터를 저장하고 쿼리할 수 있습니다.
또한 Ocient는 고급 압축 기술과 병렬 처리 기능을 활용하여 가장 큰 워크로드에서도 고성능을 보장합니다. 이에 상응하는 대역폭을 제공하는 Solidigm SSD를 통해 고객은 더 적은 자원으로 빠르고 확장 가능한 결과를 얻을 수 있습니다.
데이터 센터 에너지 소비가 면밀한 조사를 받고 있는 이 시기에, Ocient와 Solidigm은 보다 효율적이고 지속 가능한 솔루션을 제공하기 위해 노력하고 있습니다. Solidigm SSD의 전력 효율성은 데이터 센터가 레거시 탄소 발자국을 줄이고 비용을 개선하는 데 도움을 주며, Ocient의 효율적인 소프트웨어 솔루션은 컴퓨팅 집약적 데이터 및 AI 워크로드에 필요한 하드웨어 아키텍처와 순 에너지를 줄여 줍니다.
Ocient와 Solidigm의 협력은 성능, 비용 효율성, 효율적이고 폭발적인 데이터 증가를 가능하게 하여 고객의 요구를 해결하는 솔루션을 제공하는 하드웨어-소프트웨어 공동 설계의 힘을 보여줍니다. 시스템 수준의 비용, 공간 및 에너지 소비를 최대 90%까지 절감할 수 있게 함으로써 Ocient와 Solidigm은 혁신적인 스토리지 기술과 목적에 맞게 구축된 소프트웨어 솔루션을 결합했을 때의 혁신적인 잠재력을 보여줍니다. 이들은 함께 고객이 더 적은 자원으로 더 많은 것을 할 수 있도록 지원합니다.
1출처: Ocient: https://ocient.com/blog/ocient-and-solidigm-help-reduce-energy-hungry-ai-data-pipelines/
2주장: 100% 128KB QD 256 순차 쓰기 워크로드 및 70/30 R/W 무작위 4KB QD512 워크로드를 사용하여 WD HC580 24TB SATA HDD와 Solidigm D5-P5430 30.72TB SSD 비교.
상품성, 특정 목적에의 적합성 및 비침해성에 대한 묵시적 보증이나 이행 과정, 거래 과정 또는 사용에서 발생하는 모든 보증을 비롯하여 본 문서에서는 어떠한 명시적 또는 묵시적 보증도 제공하지 않습니다.
이 문서에 기술된 제품은 '정오표'로 알려진 오류나 설계 결함이 있을 수 있으며, 이로 인해 제품이 게시된 사양과 다를 수 있습니다. 요청 시 정오표를 제공해 드립니다.
Solidigm은 타사 데이터를 통제하거나 감사하지 않습니다. 정확성을 평가하려면 기타 소스를 참고해야 합니다.
제품을 주문하기 전에 Solidigm 담당자 또는 판매처에 문의하여 최신 사양을 확인하십시오.
SOLIDIGM 및 Solidigm “S” 로고는 미국, 중국, 일본, 싱가포르, 유럽연합, 영국, 멕시코 및 기타 국가에 등록된 SK hynix NAND Product Solutions Corp.(d/b/a Solidigm)의 상표입니다.