Alluxio와 Solidigm, AI 워크로드용 고급 캐시 솔루션 개발 위해 협력

요약 정보

AI 캐싱 솔루션의 글로벌 리더 Alluxio는 GPU 기반 AI 워크로드를 위한 가장 빠른 캐시를 제공합니다. 확장 가능한 아키텍처로 수만 개의 노드를 지원하여 스토리지 대역폭 소비를 대폭 줄입니다. 전 세계 대규모 언어 모델(LLM)의 성공은 AI 스토리지 문제를 해결하기 위한 Alluxio의 최첨단 접근 방식 덕분입니다.

"Solidigm은 우수한 분산형 AI 캐싱 솔루션을 제공하기 위해 Alluxio와 파트너십을 맺었습니다. Solidigm의 D5-P5336을 읽기 캐시로, D7-PS1010을 체크포인트 쓰기로 사용하는 Alluxio의 최소 오버헤드 솔루션은 고객에게 대규모 AI 워크로드를 위한 비용과 성능 면에서 최상의 조합을 제시합니다. 이 솔루션은 Solidigm D7-PS1010 Gen5 TLC SSD의 전체 쓰기 대역폭과 Solidigm D5-P5336 Gen4 QLC의 읽기 대역폭을 활용하면서 TLC 및 QLC SSD에서 쓰기 증폭을 1.02로 유지하도록 최적화되었습니다. Solidigm의 Greg Matson 전략 기획 및 마케팅 담당 수석 부사장은 “우리는 함께 고객의 AI 니즈에 맞춰 비용과 성능이 최적화되고 오버헤드가 적은 솔루션을 지속적으로 제공할 수 있기를 희망한다”고 말합니다.

Alluxio DORA 캐시 아키텍처의 주요 이점

DORA는 Decentralized Object Repository Architecture의 약어로 Alluxio의 차세대 아키텍처입니다. 분산형 캐싱 스토리지 시스템인 DORA는 짧은 지연 시간, 높은 처리량, 비용 절감 효과를 제공하는 동시에 AI 워크로드를 위한 고성능 데이터 액세스 계층 제공을 목표로 합니다. DORA는 분산형 스토리지와 메타데이터 관리를 활용하여 더 높은 성능과 가용성은 물론 플러그형 데이터 보안과 거버넌스를 제공함으로써 확장성을 높이고 대규모 데이터 액세스를 효율적으로 관리할 수 있습니다.

DORA의 아키텍처 목표

1. 확장성: 확장성은 AI 학습과 같은 데이터 집약적인 애플리케이션의 요구 사항을 충족하기 위해 수십억 개의 파일을 지원해야 하는 DORA의 최우선 과제입니다.
2. 고가용성: DORA의 아키텍처는 99.99%의 가동 시간과 마스터 레벨의 단일 장애 지점에 대한 보호 기능을 갖춘 고가용성을 염두에 두고 설계되었습니다.
3. 성능: 성능은 모델 학습, 모델 제공 속도, AI 워크로드에 대한 GPU 활용도를 우선시하는 DORA의 핵심 목표이기도 합니다.

아키텍처는 서비스 레지스트리, 스케줄러, 클라이언트, 작업자 이렇게 네 가지 주요 구성 요소로 이루어져 있습니다. 이러한 구성 요소는 서비스 검색, 분산 부하 스케줄링, 데이터 저장과 같은 작업을 함께 관리하면서 시스템 전체에서 최적의 성능을 유지합니다.

NVMe 스토리지 관련 기술 하이라이트

1. 페이지 데이터 스토어(Page Data Store)는 SSD의 최대 성능을 활용하고 최고의 WAF와 내구성을 유지할 수 있습니다.

DORA는 캐시 저장을 위해 실제 상황에서 검증된 페이지 저장소 모듈을 활용하므로 대용량 파일에서 중소 규모의 읽기 요청을 보다 세밀하게 캐싱할 수 있습니다. 이 신뢰할 수 있는 페이지 스토어 기술은 Meta, Uber, TikTok의 Presto와 같은 애플리케이션에서 그 성능이 검증되었습니다. DORA의 세분화된 캐싱은 읽기 증폭을 150배까지 줄이고 파일 위치 읽기 성능을 최대 15배까지 향상시켰습니다. 

페이지 데이터 스토어(Page Data Store)는 저널 파일 시스템을 활용하고 고정식 대형 청크 파일을 사용하여 데이터를 두 가지 수준의 디렉터리로 구성합니다. 모든 쓰기는 이러한 청크 파일에 추가되며, 청크 파일 내의 개체가 삭제되도록 표시되면 더 이상 필요하지 않은 경우에만 파일 자체가 제거됩니다. 이 설계는 PCIe 5.0 TLC SSD를 사용하더라도 최적의 성능을 보장하는 동시에 SSD 쓰기 증폭 계수(WAF)를 1로 유지하여 SSD의 내구성을 극대화합니다.

예를 들어, Alluxio의 읽기 캐시를 QLC SSD와 함께 사용할 경우, 스토리지 엔진은 내부 또는 가비지 컬렉션 WAF를 일으키지 않고도 QLC의 내구성을 최대한 활용하여 QLC NVMe SSD에서 효율적으로 작동합니다.

2. 분산형 메타데이터 저장소

DORA는 모든 작업자에게 메타데이터를 배포하여 항상 메타데이터에 액세스하고 사용할 수 있도록 합니다. 메타데이터 액세스를 최적화하기 위해 DORA는 메타데이터 항목에 대해 2단계 캐싱 시스템을 활용합니다. 캐싱의 첫 번째 수준은 메타데이터 항목을 메모리에 저장하는 인메모리 캐시입니다. 이 캐시에는 구성 가능한 최대 용량과 만료 기간을 설정할 수 있는 TTL(Time-to-Live) 설정이 있습니다. 캐싱의 두 번째 수준은 영구 캐시로, RocksDB를 사용하여 메타데이터 항목을 디스크에 저장합니다. 영구 캐시는 사용 가능한 디스크 공간에 따라 용량에 제한이 없으며 TTL 기반 캐시 제거를 사용하여 활성 동기화 또는 무효화를 방지합니다. 저장된 메타데이터는 Page Store와 같이 전체 UFS 경로로 해시됩니다.

인메모리 캐싱과 영구 캐싱을 결합하면 메타데이터를 쉽게 사용할 수 있고 액세스할 수 있으며 시스템 리소스를 효율적으로 사용할 수 있습니다. 메타데이터의 분산화는 메타데이터가 주로 마스터 노드에 의해 관리되는 아키텍처의 병목 현상을 방지합니다. 이 시스템은 DORA 작업자당 최대 3,000만~5,000만 개의 파일을 저장할 수 있으므로 수십억 개의 파일이 있는 대규모 데이터 집약적 애플리케이션을 지원할 수 있습니다.

Solidigm은 인메모리 메타데이터 설계와 RocksDB의 조합이 최적의 메타데이터 스토리지 솔루션을 제공한다는 사실을 확인했습니다. 이 설계는 PCIe 4.0 QLC SSD(읽기 7GB/s, 쓰기 3GB/s)와 PCIe 5.0 TLC SSD(읽기 및 쓰기 14.5GB/s)의 읽기 및 쓰기 속도를 최대한 활용합니다. 또한 RocksDB는 스킵리스트 기반 쓰기 버퍼를 사용하여 많은 소규모 쓰기를 더 큰 규모의 순차적 2MB 쓰기로 통합하므로 매우 효율적이고 SSD WAF를 최소화하여 SSD 내구성을 더욱 향상시킵니다.

성능 테스트: Solidigm™이 적용된 Alluxio
D7-PS1010 및 D5-P5336

테스트 구성

최근 Intel의 Gen5 BNC 스토리지 서버와 Solidigm D7-PS1010 및 D5-P5336 SSD를 사용한 실험에서 Alluxio는 빠른 데이터 수집 및 읽기 성능, 특히 GPU 스케일링을 통한 성능을 입증했습니다. 주목할 만한 결과는 다음과 같습니다.

• 캐시 로드 효율성: Alluxio 캐시 엔진은 PCIe 5.0 TLC SSD에 쓰는 동안 UFS QLC 스토리지의 최대 읽기 대역폭을 효과적으로 포화시켰습니다.
• Fuse 읽기 테스트: Alluxio의 FUSE(Filesystem in Userspace) 프레임워크는 단일 PCIe 5.0 SSD의 읽기 대역폭을 거의 포화시켜 NVMe SSD에서 캐시 히트를 처리할 때 오버헤드를 최소화했습니다.

빠른 배포를 위한 단일 노드 테스트를 설정하여 Alluxio 스토리지 엔진의 성능을 선보였습니다. Alluxio의 가장 큰 강점은 호스트 측 분산 복제 캐시를 활용할 수 있다는 점으로, GPU에 따라 확장되고 노스-사우스 스토리지 대역폭 오버헤드를 크게 줄일 수 있습니다. 단일 노드 설정에서도 Alluxio는 특히 고성능 NVMe SSD와 함께 사용할 때 탁월한 효율성을 보여줍니다. 이 테스트에서는 캐시를 PCIe 5.0 TLC 또는 PCIe 4.0 QLC로 구성하고 기본 파일 저장소(UFS)는 PCIe 4.0 QLC를 사용했습니다.

핵심 요점

1. Alluxio 캐시 로드 엔진은 효율성이 뛰어나 UFS QLC의 최대 읽기 대역폭을 포화시키고 PCIe 5.0 TLC 캐시 SSD로 데이터를 수집할 수 있습니다. UFS가 10GB/s의 읽기 대역폭을 지원하더라도 Alluxio는 Solidigm D7-PS1010의 9.3GB/s 쓰기 대역폭을 쉽게 포화시킬 수 있습니다.

2. XFS 저널 파일 시스템을 기반으로 구축된 Alluxio의 페이지 캐시 스토리지 엔진은 Solidigm Alluxio FIO 에뮬레이터를 사용해 엄격한 테스트를 거쳐 내구성을 검증받았습니다. 테스트 결과, TLC 또는 QLC SSD 사용 여부와 관계없이 Alluxio는 1.02의 WAF를 달성하는 것으로 나타났습니다. 이상에 가까운 1의 WAF는 SSD 성능과 내구성을 극대화하여 최종 사용자에게 최적의 결과를 제공합니다.

FUSE 읽기 오버헤드가 최소화됩니다. SSD 캐시에서 100% 캐시 히트로 FUSE 읽기를 수행하고 DRAM 페이지 캐시를 우회하는 경우, FUSE 프레임워크는 단일 PCIe 5.0 SSD의 읽기 대역폭을 거의 포화 상태로 만들어 14.8GB/s에 도달할 수 있습니다.

고밀도 캐시 솔루션을 찾는 고객에게는 Solidigm의 61.44TB QLC SSD가 이상적인 옵션입니다. Alluxio의 스토리지 엔진은 WAF 친화적이며 최소한의 쓰기로 읽기 위주의 캐시로 탁월한 성능을 발휘하므로 QLC는 읽기 캐시 경로와 완벽하게 일치합니다. Alluxio의 효율적인 설계 덕분에 213PB의 순차 쓰기 PBW를 기준으로 QLC 캐시 장치의 내구성을 추정할 수 있는데, 이는 Solidigm이 최대 213페타바이트의 데이터 쓰기를 지원한다는 의미입니다. 5년 동안 50%의 활용도로 운영할 경우, 이는 높은 기준이지만, QLC는 여전히 최대치에 가까운 2900 MB/s의 쓰기 대역폭을 지원합니다. 또한 QLC는 SSD당 최대 6GB/s의 랜덤 읽기 대역폭을 제공하므로 비용 효율적인 Alluxio AI 캐시 시스템을 구축할 수 있습니다.

Solidigm SSD가 Alluxio에 적합한 스토리지를 제공하는 방법

 SolidigmD5-P5336 61.44TB QLC SSD는 읽기 캐시를 위해 탁월한 성능과 확장성을 제공합니다. 체크포인트 쓰기의 경우 PCIe 5.0 Solidigm D7-PS1010은 세계 최고 수준의 쓰기 성능을 제공합니다.

Alluxio의 Xuan Du 엔지니어링 부사장은 “우리는 Solidigm 팀과 긴밀하게 협력하여 AI 모델 학습 워크로드에 Solidigm SSD 및 NVMe 드라이브와 함께 Alluxio의 분산 캐싱 기술을 실행했을 때의 성능 이점을 검증했습니다. 양사의 협업을 통해 Alluxio를 더욱 최적화하여 Solidigm 드라이브를 활용하는 대규모 AI 워크로드의 I/O 처리량을 극대화할 수 있었다”고 말합니다. 

   Xuan Du
   Alluxio 엔지니어링 부사장

Alluxio와 Solidigm의 협업은 Solidigm TLC 및 QLC SSD가 Alluxio의 서비스를 크게 향상시키는 동시에 운영 비용을 절감하는 결과를 가져왔습니다. 또한 Solidigm은 Alluxio에 탁월한 지원을 제공하는 전담 고객 관리 팀의 지원을 받아 품질과 신뢰성의 기준을 높였습니다.