증가하는 AI 워크로드 내 오브젝트 스토리지의 중요성

AI 워크로드용 Solidigm™ S3 퓨즈 조사 및 개념 증명 설계

오브젝트 스토리지는 이제 추론뿐만 아니라 AI 학습과 VectorDB 사용 사례를 아우르는 AI 워크로드용 1티어 스토리지 솔루션으로 인정받게 되었습니다. AI 학습 및 PyTorch, CUDA 같은 추론 프레임워크와 원활하게 통합할 수 있는 파일 시스템으로 프록시 S3에 대한 수요가 증가하고 있습니다. 이 문제를 해결하기 위해 업계에서는 사용자가 S3 스토리지를 파일 시스템과 연결할 수 있는 S3fs-fuse를 제공하고 있습니다.

오픈 소스 s3fs-fuse의 핵심 문제

• 높은 메모리 소모량: 오픈 소스 솔루션은 최소 4개의 C++ STL 맵을 사용하여 GetAttr, ReadDir 같은 파일 시스템 작업 결과를 캐시합니다. 각 맵에서 1억 개의 개체를 처리하는 데는 32GB의 DRAM이 필요하므로 1억 개의 개체를 관리하는 데 대략 총 128GB의 DRAM이 필요합니다.
• 확장성 문제: AI 스토리지 시스템은 수십억 개의 작은 객체를 처리해야 하므로 현재의 s3fs-fuse 구현은 확장 가능하고 미래 지향적인 클라우드 네이티브 AI 배포에 적합하지 않습니다.
• 성능 약화: C++ STL 맵은 검색과 목록 작업 성능이 우수하지만 관련 메모리 소모량으로 확장성을 제한됩니다.

Solidigm S3 Fuse 설계 아키텍처의 주요 이점

Solidigm 클라우드 스토리지 가속 레이어(CSAL) 그룹은 고객이 보다 유연하게 성능 SLA를 정의하고 DRAM 사용을 관리할 수 있게 설계된 혁신적인 아키텍처를 제안합니다. SK하이닉스의 CXL 메모리 모듈, Solidigm D7-P5810 SLC 드라이브, Solidigm D7-PS1010 Gen5 TLC 드라이브, Solidigm D5-P5336 고밀도 QLC 드라이브 같은 최첨단 기술을 활용하므로 다음과 같은 이점이 있습니다.

• 확장 가능한 AI 스토리지 시스템에 최적화된 리소스 사용.
• 다양한 워크로드 수요를 충족하는 성능과 메모리 소모량 간의 균형.
• 증가하는 클라우드 네이티브 AI 배포의 니즈를 충족할 수 있는 미래 대비형 확장성.

이 아키텍처는 기존 오픈 소스 옵션의 한계를 해결하고 효율적인 AI 학습과 추론 워크플로를 지원하는 미래 지향적인 솔루션을 제시합니다.

Solidigm S3 Fuse 아키텍처 개요

1. 사용자 파일 시스템 작업

사용자가 시작한 파일 시스템 작업은 커널의 FUSE 드라이버에서 우선 처리됩니다. FUSE 드라이버는 이러한 작업을 사용자 모드 서비스로 리디렉션합니다. 이 아키텍처에서 Solidigm이 개발한 개념 증명 S3 Fuse 서비스는 GetAttr, ReadDir, Read, Write와 같은 핵심 파일 시스템 작업을 관리합니다.

2. S3 FUSE 캐시

Solidigm S3 FUSE 캐시의 캐시 모듈 설계에서 FIFO(선입선출) 제거 알고리즘을 선택했습니다. FIFO의 적중률이 더 높을 뿐만 아니라([3]의 LRU 제거 알고리즘과의 비교 테스트에서 입증된 바와 같이) 기본 NAND SSD와의 호환성도 더 높기 때문입니다. Solidigm CSAL 소프트웨어와 함께 작업함으로써 NAND SSD의 쓰기 증폭을 크게 줄였습니다. 실제 테스트를 통해 WAF(쓰기 증폭 계수) 값이 기본적으로 1로 감소하는 것을 관찰했습니다.

3. GetAttr 및 ReadDir 요청 처리

이 요청은 Solidigm이 개발한 개념 증명 S3-FIFO KV 스토어를 활용하는 메타데이터 코어에서 처리합니다. Solidigm CSAL 추가 캐시 및 S3-FIFO 메커니즘에 대한 자세한 내용은 참조 섹션의 링크 1-3에서 확인하십시오.

4. 메타데이터 코어 및 개념 증명 KV 스토어

메타데이터 코어는 개념 증명 S3-FIFO 캐시 알고리즘을 사용하는 Solidigm이 개발한 개념 증명 KV 캐시 스토어를 기반으로 구축됩니다. FIFO 및 CSAL 추가 캐시 메커니즘은 SSD에 최적화되어 매우 효율적입니다. Solidigm Gen5 NVMe SSD, D7-PS1010의 쓰기 대역폭은 9.4GB/s이고 읽기 대역폭은 14GB/s입니다. FIFO 쓰기를 활용할 수 있게 소프트웨어를 설계하여 SSD 쓰기 증폭 계수(WAF)를 1로 줄임으로써 사용자 데이터에 전체 대역폭을 사용할 수 있습니다. 이에 따라, KV 스토어의 기본 대기열은 10GB/s 대역폭에서 작동할 수 있습니다.

5.  KV 스토어 확장 옵션

KV 스토어의 작은 대기열은 추가 DRAM이나 SK하이닉스 CXL 메모리 모듈로 확장할 수 있고, DRAM과 유사한 지연시간으로 장치당 최대 96GB를 달성합니다. 

6. 읽기 및 쓰기 요청 처리

읽기/쓰기 요청은 메타데이터 코어에 의존하여 파일 시스템의 청크 매핑을 검색합니다. 그 다음 대용량 FIFO 기반 청크에 데이터를 쓰거나 읽어 사용자가 용량 요건에 따라 QLC 스토리지를 선택할 수 있게 합니다.

7. 로컬 호스트 최적화

로컬에서 사용 가능한 파일 정보와 데이터가 있으면 시스템에서 사용자에게 직접 반환합니다. 그렇지 않을 경우, S3에서 소스 데이터를 가져옵니다.

성능 테스트

성능 벤치마킹은 [5] C++ 맵과 Solidigm D7-PS1010 Gen5 TLC SSD 포함 RocksDB 구성이 포함된 마이크로벤치마크 테스트로 실시되었습니다. 테스트 결과 효율성과 확장성이 크게 향상되었습니다.

이 아키텍처는 최적화된 SSD 사용률, AI 워크로드용 확장성, 유연한 통합 옵션을 중점으로 최신 AI 스토리지 과제를 해결하는 강력한 솔루션입니다.

Test_KV 결과에서 얻은 인사이트

Test_KV 테스트 결과에 따른 주요 동향과 관찰된 사안은 다음과 같습니다.

구성 문맥

이 분석에서 RocksDB는 튜닝을 최소화한 상태에서 테스트되었습니다. 메모리 쓰기 버퍼를 활용하고 압축과 블록 캐시를 비활성화하여 메모리 사용량 제어를 개선했습니다. 더 많은 미세 조정을 통해 성능을 추가로 개선할 수 있었습니다.

핵심 요점

• C++ 맵 성능: C++ 맵의 성능은 최고였습니다. 메모리테이블에 있는 스킵리스트를 거의 모두 활용하여 RocksDB에 3GB의 DRAM을 할당했음에도 성능이 C++ 맵에 비해 4배나 떨어졌습니다. C++ 맵의 직접 액세스와는 달리, 스킵리스트를 횡단하려면 여러 개의 연결 리스트를 탐색해야 하기 때문에 예상했던 결과였습니다.
• RocksDB를 통한 메모리 절약: RocksDB의 메모리 사용량을 줄임과 동시에 3GB DRAM 구성과 유사한 성능을 유지하면 성능 SLA가 저하되지 않으면서 최대 2GB의 DRAM을 대폭 절감하는 것을 확인했습니다.
• 극한의 DRAM 효율성: 100MB에 불과한 DRAM을 할당한 경우에도 RocksDB의 지연시간은 평균 15마이크로초로 유지되었습니다. 이러한 유연성을 통해 시스템 설계자는 특정 사용 사례를 기반으로 리소스와 성능 SLA 중에 하나를 택할 수 있습니다.
• 개념 증명 S3 Fuse의 효율성: RocksDB를 활용했을 때, 개념 증명 S3 Fuse 설계는 1,000만 개의 객체를 처리할 때 MinIO 목록 작업 같은 S3 목록보다 효율성이 훨씬 높은 것으로 나타났습니다.
• 이 결과를 보면 RocksDB가 리소스 효율성과 성능의 균형을 맞춰 까다로운 스토리지 시스템의 확장 및 구성 가능성을 부여할 수 있음을 잘 알 수 있습니다.

표 2.  테스트 결과

Solidigm SSD가 Solidigm 개념 증명 FUSE 설계에 적합한 스토리지를 공급하는 방법

S3 Fuse 캐시에서 Solidigm D5-P5336 61.44TB QLC 드라이브는 탁월한 성능과 확장성을 자랑합니다. 체크포인트 쓰기의 경우 PCIe 5.0 Solidigm D7-PS1010의 쓰기 성능은 세계 최고 수준입니다.