AI 캐싱 솔루션의 글로벌 리더 Alluxio는 GPU 기반 AI 워크로드를 위한 가장 빠른 캐시를 제공합니다. 확장 가능한 아키텍처로 수만 개의 노드를 지원하여 스토리지 대역폭 소비를 대폭 줄입니다. 전 세계 대규모 언어 모델(LLM)의 성공은 AI 스토리지 문제를 해결하기 위한 Alluxio의 최첨단 접근 방식 덕분입니다.
"Solidigm은 우수한 분산형 AI 캐싱 솔루션을 제공하기 위해 Alluxio와 파트너십을 맺었습니다. Solidigm의 D5-P5336을 읽기 캐시로, D7-PS1010을 체크포인트 쓰기로 사용하는 Alluxio의 최소 오버헤드 솔루션은 고객에게 대규모 AI 워크로드를 위한 비용과 성능 면에서 최상의 조합을 제시합니다. 이 솔루션은 Solidigm D7-PS1010 Gen5 TLC SSD의 전체 쓰기 대역폭과 Solidigm D5-P5336 Gen4 QLC의 읽기 대역폭을 활용하면서 TLC 및 QLC SSD에서 쓰기 증폭을 1.02로 유지하도록 최적화되었습니다. Solidigm의 Greg Matson 전략 기획 및 마케팅 담당 수석 부사장은 “우리는 함께 고객의 AI 니즈에 맞춰 비용과 성능이 최적화되고 오버헤드가 적은 솔루션을 지속적으로 제공할 수 있기를 희망한다”고 말합니다.
DORA는 Decentralized Object Repository Architecture의 약어로 Alluxio의 차세대 아키텍처입니다. 분산형 캐싱 스토리지 시스템인 DORA는 짧은 지연 시간, 높은 처리량, 비용 절감 효과를 제공하는 동시에 AI 워크로드를 위한 고성능 데이터 액세스 계층 제공을 목표로 합니다. DORA는 분산형 스토리지와 메타데이터 관리를 활용하여 더 높은 성능과 가용성은 물론 플러그형 데이터 보안과 거버넌스를 제공함으로써 확장성을 높이고 대규모 데이터 액세스를 효율적으로 관리할 수 있습니다.
아키텍처는 서비스 레지스트리, 스케줄러, 클라이언트, 작업자 이렇게 네 가지 주요 구성 요소로 이루어져 있습니다. 이러한 구성 요소는 서비스 검색, 분산 부하 스케줄링, 데이터 저장과 같은 작업을 함께 관리하면서 시스템 전체에서 최적의 성능을 유지합니다.
DORA는 캐시 저장을 위해 실제 상황에서 검증된 페이지 저장소 모듈을 활용하므로 대용량 파일에서 중소 규모의 읽기 요청을 보다 세밀하게 캐싱할 수 있습니다. 이 신뢰할 수 있는 페이지 스토어 기술은 Meta, Uber, TikTok의 Presto와 같은 애플리케이션에서 그 성능이 검증되었습니다. DORA의 세분화된 캐싱은 읽기 증폭을 150배까지 줄이고 파일 위치 읽기 성능을 최대 15배까지 향상시켰습니다.
페이지 데이터 스토어(Page Data Store)는 저널 파일 시스템을 활용하고 고정식 대형 청크 파일을 사용하여 데이터를 두 가지 수준의 디렉터리로 구성합니다. 모든 쓰기는 이러한 청크 파일에 추가되며, 청크 파일 내의 개체가 삭제되도록 표시되면 더 이상 필요하지 않은 경우에만 파일 자체가 제거됩니다. 이 설계는 PCIe 5.0 TLC SSD를 사용하더라도 최적의 성능을 보장하는 동시에 SSD 쓰기 증폭 계수(WAF)를 1로 유지하여 SSD의 내구성을 극대화합니다.
예를 들어, Alluxio의 읽기 캐시를 QLC SSD와 함께 사용할 경우, 스토리지 엔진은 내부 또는 가비지 컬렉션 WAF를 일으키지 않고도 QLC의 내구성을 최대한 활용하여 QLC NVMe SSD에서 효율적으로 작동합니다.
DORA는 모든 작업자에게 메타데이터를 배포하여 항상 메타데이터에 액세스하고 사용할 수 있도록 합니다. 메타데이터 액세스를 최적화하기 위해 DORA는 메타데이터 항목에 대해 2단계 캐싱 시스템을 활용합니다. 캐싱의 첫 번째 수준은 메타데이터 항목을 메모리에 저장하는 인메모리 캐시입니다. 이 캐시에는 구성 가능한 최대 용량과 만료 기간을 설정할 수 있는 TTL(Time-to-Live) 설정이 있습니다. 캐싱의 두 번째 수준은 영구 캐시로, RocksDB를 사용하여 메타데이터 항목을 디스크에 저장합니다. 영구 캐시는 사용 가능한 디스크 공간에 따라 용량에 제한이 없으며 TTL 기반 캐시 제거를 사용하여 활성 동기화 또는 무효화를 방지합니다. 저장된 메타데이터는 Page Store와 같이 전체 UFS 경로로 해시됩니다.
인메모리 캐싱과 영구 캐싱을 결합하면 메타데이터를 쉽게 사용할 수 있고 액세스할 수 있으며 시스템 리소스를 효율적으로 사용할 수 있습니다. 메타데이터의 분산화는 메타데이터가 주로 마스터 노드에 의해 관리되는 아키텍처의 병목 현상을 방지합니다. 이 시스템은 DORA 작업자당 최대 3,000만~5,000만 개의 파일을 저장할 수 있으므로 수십억 개의 파일이 있는 대규모 데이터 집약적 애플리케이션을 지원할 수 있습니다.
Solidigm은 인메모리 메타데이터 설계와 RocksDB의 조합이 최적의 메타데이터 스토리지 솔루션을 제공한다는 사실을 확인했습니다. 이 설계는 PCIe 4.0 QLC SSD(읽기 7GB/s, 쓰기 3GB/s)와 PCIe 5.0 TLC SSD(읽기 및 쓰기 14.5GB/s)의 읽기 및 쓰기 속도를 최대한 활용합니다. 또한 RocksDB는 스킵리스트 기반 쓰기 버퍼를 사용하여 많은 소규모 쓰기를 더 큰 규모의 순차적 2MB 쓰기로 통합하므로 매우 효율적이고 SSD WAF를 최소화하여 SSD 내구성을 더욱 향상시킵니다.
스토리지 서버― Intel Gen5 | |
---|---|
OS | Fedora Linux 40 (Server Edition) |
커널 | 6.8.5-301.fc40.x86_64 |
CPU 모델 | Intel(R) Xeon(R) 6740E 2.4GHz로 소켓 2개, 소켓당 코어 96개 |
NUMA 노드 | 2 |
DRAM 설치됨 | 256GB(16x16GB DDR4 3200MT/s) |
Huge Pages 크기 | 2048kB |
드라이브 요약 | 2x Gen5 TLC Solidigm D7-PS1010 8TB FW 개정:G70YG030 PCIe Gen5x4 2x Gen4 QLC Solidigm D5-P5336 60T |
FIO | 3.37 이상 또는 최신 버전 |
Alluxio | AI 버전 |
Alluxio 로드 수집 캐시 SSD | ./bin/alluxio job load --path file:///mnt/qlc/alluxio/data --submit |
Alluxio fuse read fio | fio -engine=libaio -bs=256K --rw=read -group_reporting -directory=/mnt/fuse/fusedir/test1/multiple_files -name=read_test -direct=1 -numjobs=16 --nrfiles=1 -openfiles=1 -size=16G --alloc-size 1024000 fio -engine=libaio -bs=1024K --rw=read -group_reporting -directory=/mnt/8Greadfuse/alluxiofuse/local -name=wayne_read_test -direct=1 -numjobs=128 --nrfiles=1 -openfiles=1 -size=4G --alloc-size 1024000 --readonly |
파일 시스템 | XFS |
최근 Intel의 Gen5 BNC 스토리지 서버와 Solidigm D7-PS1010 및 D5-P5336 SSD를 사용한 실험에서 Alluxio는 빠른 데이터 수집 및 읽기 성능, 특히 GPU 스케일링을 통한 성능을 입증했습니다. 주목할 만한 결과는 다음과 같습니다.
빠른 배포를 위한 단일 노드 테스트를 설정하여 Alluxio 스토리지 엔진의 성능을 선보였습니다. Alluxio의 가장 큰 강점은 호스트 측 분산 복제 캐시를 활용할 수 있다는 점으로, GPU에 따라 확장되고 노스-사우스 스토리지 대역폭 오버헤드를 크게 줄일 수 있습니다. 단일 노드 설정에서도 Alluxio는 특히 고성능 NVMe SSD와 함께 사용할 때 탁월한 효율성을 보여줍니다. 이 테스트에서는 캐시를 PCIe 5.0 TLC 또는 PCIe 4.0 QLC로 구성하고 기본 파일 저장소(UFS)는 PCIe 4.0 QLC를 사용했습니다.
Alluxio 부하 테스트 | 캐시 SSD 쓰기 BW(MB/s) | UFS 읽기 BW(MB/s) | 캐시 SSD WAF |
---|---|---|---|
Solidigm D7-PS1010 | 6823 | 6923 | 1.02 |
Solidigm D5-P5336 | 3341 | 3613 | 1.02 |
1. Alluxio 캐시 로드 엔진은 효율성이 뛰어나 UFS QLC의 최대 읽기 대역폭을 포화시키고 PCIe 5.0 TLC 캐시 SSD로 데이터를 수집할 수 있습니다. UFS가 10GB/s의 읽기 대역폭을 지원하더라도 Alluxio는 Solidigm D7-PS1010의 9.3GB/s 쓰기 대역폭을 쉽게 포화시킬 수 있습니다.
2. XFS 저널 파일 시스템을 기반으로 구축된 Alluxio의 페이지 캐시 스토리지 엔진은 Solidigm Alluxio FIO 에뮬레이터를 사용해 엄격한 테스트를 거쳐 내구성을 검증받았습니다. 테스트 결과, TLC 또는 QLC SSD 사용 여부와 관계없이 Alluxio는 1.02의 WAF를 달성하는 것으로 나타났습니다. 이상에 가까운 1의 WAF는 SSD 성능과 내구성을 극대화하여 최종 사용자에게 최적의 결과를 제공합니다.
Alluxio Fuse 테스트 | 캐시 SSD 읽기 BW(GB/s) |
UFS 읽기 BW(GB/s) |
---|---|---|
Solidigm D7-PS1010 | 14.8 | 0 |
FUSE 읽기 오버헤드가 최소화됩니다. SSD 캐시에서 100% 캐시 히트로 FUSE 읽기를 수행하고 DRAM 페이지 캐시를 우회하는 경우, FUSE 프레임워크는 단일 PCIe 5.0 SSD의 읽기 대역폭을 거의 포화 상태로 만들어 14.8GB/s에 도달할 수 있습니다.
Solidigm 61.44TB D5-P5536 seq write PBW | 평균 5년 활용 | 쓰기 BW 지원 |
---|---|---|
213 | 50% | 2900MB/s |
고밀도 캐시 솔루션을 찾는 고객에게는 Solidigm의 61.44TB QLC SSD가 이상적인 옵션입니다. Alluxio의 스토리지 엔진은 WAF 친화적이며 최소한의 쓰기로 읽기 위주의 캐시로 탁월한 성능을 발휘하므로 QLC는 읽기 캐시 경로와 완벽하게 일치합니다. Alluxio의 효율적인 설계 덕분에 213PB의 순차 쓰기 PBW를 기준으로 QLC 캐시 장치의 내구성을 추정할 수 있는데, 이는 Solidigm이 최대 213페타바이트의 데이터 쓰기를 지원한다는 의미입니다. 5년 동안 50%의 활용도로 운영할 경우, 이는 높은 기준이지만, QLC는 여전히 최대치에 가까운 2900 MB/s의 쓰기 대역폭을 지원합니다. 또한 QLC는 SSD당 최대 6GB/s의 랜덤 읽기 대역폭을 제공하므로 비용 효율적인 Alluxio AI 캐시 시스템을 구축할 수 있습니다.
SolidigmD5-P5336 61.44TB QLC SSD는 읽기 캐시를 위해 탁월한 성능과 확장성을 제공합니다. 체크포인트 쓰기의 경우 PCIe 5.0 Solidigm D7-PS1010은 세계 최고 수준의 쓰기 성능을 제공합니다.
Alluxio의 Xuan Du 엔지니어링 부사장은 “우리는 Solidigm 팀과 긴밀하게 협력하여 AI 모델 학습 워크로드에 Solidigm SSD 및 NVMe 드라이브와 함께 Alluxio의 분산 캐싱 기술을 실행했을 때의 성능 이점을 검증했습니다. 양사의 협업을 통해 Alluxio를 더욱 최적화하여 Solidigm 드라이브를 활용하는 대규모 AI 워크로드의 I/O 처리량을 극대화할 수 있었다”고 말합니다.
앞으로도 Solidigm과 중요한 협력을 통해 대규모 AI 모델을 구축, 학습 및 배포하는 고객에게 고성능의 비용 효율적인 솔루션을 공동으로 제공할 수 있기를 기대합니다.
Xuan Du
Alluxio 엔지니어링 부사장
Alluxio와 Solidigm의 협업은 Solidigm TLC 및 QLC SSD가 Alluxio의 서비스를 크게 향상시키는 동시에 운영 비용을 절감하는 결과를 가져왔습니다. 또한 Solidigm은 Alluxio에 탁월한 지원을 제공하는 전담 고객 관리 팀의 지원을 받아 품질과 신뢰성의 기준을 높였습니다.
Wayne Gao는 Solidigm의 수석 엔지니어 겸 솔루션 스토리지 아키텍트입니다. 그는 경로 탐색에서 상용화에 이르기까지 Solidigm의 CSAL(클라우드 스토리지 가속화 계층)을 담당했습니다. Wayne은 20년 넘게 스토리지 개발자로서 경력을 쌓아왔으며 미국 특허 출원/승인 4건을 보유하고 있으며, EuroSys 논문 저자이기도 합니다.
Yi Wang은 Solidigm의 현장 애플리케이션 엔지니어입니다. Solidigm에 합류하기 전에는 Intel, Cloudera, NCR에서 기술 업무를 담당했습니다. 그는 "Cisco 공인 네트워크 전문가", "Microsoft 공인 솔루션 전문가", "Cloudera 데이터 플랫폼 관리자" 자격증을 보유하고 있습니다.
Jie Chen은 Solidigm의 기술 마케팅 아키텍트로, 특히 데이터 배치 모드 및 스토리지 AI 부문에서 클라우드 고객을 위한 에코시스템 구현을 담당하고 있습니다. Solidigm에 입사하기 전에는 다양한 플래시 메모리 및 영구 메모리 제품의 애플리케이션 엔지니어, 품질 및 신뢰성, 제품 개발 엔지니어 및 프로그램 관리자로서 다양한 기술 관련 역할을 담당했습니다.
모든 제품 계획, 로드맵, 사양 및 제품 설명은 고지 없이 변경될 수 있습니다.
상품성, 특정 목적에의 적합성 및 비침해성에 대한 묵시적 보증이나 이행 과정, 거래 과정 또는 사용에서 발생하는 모든 보증을 비롯하여 본 문서에서는 어떠한 명시적 또는 묵시적 보증도 제공하지 않습니다.
이 문서에 기술된 제품은 '정오표'로 알려진 오류나 설계 결함이 있을 수 있으며, 이로 인해 제품이 게시된 사양과 다를 수 있습니다. 요청 시 정오표를 제공해 드립니다.
제품을 주문하기 전에 Solidigm 담당자 또는 판매처에 문의하여 최신 사양을 확인하십시오.
본 문서나 본 문서 내에 참조된 문서 또는 기타 Solidigm 자료의 사본이 필요하신 경우 Solidigm 담당자에게 문의하십시오.
명시된 모든 제품, 컴퓨터 시스템, 날짜 및 수치는 현재 예상치를 기준으로 한 예비 정보이며 사전 고지 없이 변경될 수 있습니다.
Solidigm은 언제든 고지 없이 양 및 제품 설명을 변경할 수 있습니다. 설계자는 "예정" 또는 "미지정"이라고 표시된 기능 및 지침의 특성 또는 부재에 지나치게 의존해서는 안됩니다. Solidigm은 향후 정의를 위해 이를 유보하며 향후 변경으로 인해 발생하는 충돌 또는 비호환성에 대해 어떠한 책임도 지지 않습니다. 여기에 있는 정보는 사전 고지 없이 변경될 수 있습니다. 본 정보를 이용하여 설계를 최종 확정하지 마십시오.
특정 시스템의 특정 테스트에서 구성 요소의 문서 성능을 테스트하십시오. 하드웨어, 소프트웨어 또는 구성에 따른 차이점이 실제 성능에 영향을 미칠 수 있습니다. 구매를 고려할 때 다른 정보를 참고하여 성능을 평가하십시오.
성능 결과는 구성에 표시된 날짜의 테스트를 기반으로 하며 공개된 모든 업데이트가 반영되어 있지 않을 수도 있습니다. 자세한 내용은 공개된 구성 정보를 참조하십시오. 어떤 제품이나 구성 요소도 절대적으로 안전할 수는 없습니다.
Solidigm 또는 Intel 컴파일러 또는 기타 제품에 대한 Solidigm 또는 Intel 최적화는 Solidigm 또는 Intel 외 다른 제품에 대해 동일한 수준으로 최적화된 성능을 제공하지 못할 수 있습니다. Solidigm 또는 Intel 기술은 활성화된 하드웨어, 소프트웨어 또는 서비스 활성화가 필요할 수 있습니다.
비용과 결과는 달라질 수 있습니다.
Solidigm은 타사 데이터를 통제하거나 감사하지 않습니다. 정확성을 평가하려면 기타 소스를 참고해야 합니다.
일부 결과는 내부 Solidigm 분석이나 아키텍처 시뮬레이션 또는 모델링을 사용하여 추정 또는 시뮬레이션한 것으로, 정보 제공 목적으로만 제공됩니다. 시스템 하드웨어, 소프트웨어 또는 구성에 따른 차이점이 실제 성능에 영향을 미칠 수 있습니다.
© Solidigm. 'Solidigm'은 SK hynix NAND Product Solutions Corp(d/b/a Solidigm)의 등록 상표입니다. ‘Intel’은 Intel Corporation의 등록 상표입니다. 기타 이름과 브랜드는 해당 소유 업체의 자산일 수 있습니다.