차세대 Hadoop 스토리지: 성능 및 복원력을 위한 BlueField-3 및 CSAL

요약문: 기존 Hadoop 스토리지는 최신 빅데이터 워크로드의 성능 및 리소스 효율성에 과제가 있습니다. 이 포스터에서는 BlueField-3 및 Solidigm CSAL 소프트웨어로 구동되는 솔루션을 소개하여 3방향 복제, 삭제 코딩(EC) 및 RAID를 통해 우수한 처리량, CPU 오버헤드 감소 및 강력한 데이터 보호를 제공하고, 확장 가능하고 안전한 데이터 관리를 보장합니다.

포스터의 전체 버전을 보려면 여기를 방문하십시오. 

섹션 1

BlueField-3 및 Solidigm CSAL을 사용한 Hadoop 스토리지 아키텍처

BlueField-3 + CSAL 솔루션을 채택하여 3계층 Hadoop 스토리지 아키텍처를 재구성함으로써 다음과 같은 이점을 얻었습니다:

1. BlueField-3의 하드웨어 컴퓨팅 리소스를 활용하여, Solidigm의 CSAL 소프트웨어는 EC, RAID, 및 다중 사본과 같은 다양한 데이터 보호 백업 메커니즘을 지원합니다.
2. 기존 아키텍처 는 서버 3계층과 스위치 2계층으로 구성되어 있었으나, 서버 2계층과 스위치 1계층으로 압축되어 저장된 데이터의 읽기/쓰기 지연 시간을 크게 줄였습니다.
3. 스토리지 관련 컴퓨팅 리소스를 BlueField-3로 오프로드하면 CPU 컴퓨팅 리소스가 절약되어 CPU가 Hadoop 계산에 보다 효과적으로 집중할 수 있습니다.

섹션 2

기존 3중 복제

높은 신뢰성: 3개의 사본으로 내결함성을 보장합니다.

체인 복제: Datanode를 통해 데이터가 순차적으로 흐르므로 지연 시간이 증가합니다.

ACK 오버헤드: 다단계 확인 응답은 복잡성과 지연 시간을 추가합니다.

BlueField-3+ CSAL 이 적용된 활성/백업 아키텍처

간소화된 워크플로: 하나의 BlueField-3 내부에서 데이터를 직접 복제합니다

향상된 성능: 동서 트래픽이 없고, 복제 단계가 줄어들며, 지연 시간이 감소합니다.

고성능 시나리오에 최적화: 지연 시간에 민감한 워크로드에 이상적입니다.

 Datanode 장애 발생 시 백업 노드로의 신속한 장애 조치를 가능하게 하려면 추가 관리 플레인 메커니즘이 필요합니다.

섹션 3

에코시스템

섹션 4

성능 및 CPU 비교

• 3% 성능 개선
• CPU 리소스 사용률 20%

CSAL은 기능이 풍부하고 견고하며 QLC 친화적인 RAID 솔루션을 제공하여 고밀도, 고성능 배포 가능

1. RMW 오버헤드 없음

2. 내장된 쓰기 홀 보호

3. 여러 코어에 걸쳐 확장

4. 저널이 있는 MDRAID 대비 4배~20배 더 우수한 성능

5. SSD 내구성 향상

섹션 6

TCO 분석

솔루션 A: BlueField-3 + CSAL와 솔루션 B 비교: LVM 데이터 노드

솔루션 A(BlueField-3 + CSAL)은 솔루션 B와 비교했을 때 컴퓨팅 노드에서 서버를 재사용하고 스토리지 관련 연산을 BlueField-3로 오프로드하여 데이터 센터 공간과 전력을 절약합니다.

그림의 3노드 예를 보면 솔루션 A는 TCO CAPEX에서 50% 이상을 절감합니다.

여기에서 DPU 네이티브 유연한 스토리지 아키텍처에 대해 읽어보십시오