코어에서 에지까지 데이터 센터 SSD의 새로운 사용 사례

Three emerging use cases- SSDs in smart ag, SSDs in autonomous vehicles, SSDs in edge and data center.
Three emerging use cases- SSDs in smart ag, SSDs in autonomous vehicles, SSDs in edge and data center.

우리는 이전과 다른 방식으로 데이터를 생성하고 소비하고 있습니다. 전 세계의 모든 산업에서 데이터는 잠들지 않습니다. 전문가들은 2025년까지1 매년 181제타바이트의 데이터를 생성, 소비 및 분석할 것으로 예상합니다. 연평균 성장률(CAGR)이 23%에 달하면서 데이터 생성 및 소비가 급증하고 있습니다. 문제는 이 모든 데이터를 어디에 저장할 것인가 하는 것입니다.

데이터 스토리지의 필요성 범주

데이터 스토리지 위치에 대해 이야기할 때 고려해야 할 3가지 주요 하위 범주가 있습니다. 엔드포인트 데이터에서 정보는 노트북, 모바일 장치, 웨어러블 기술, 차량 또는 로컬 서버와 같은 장치 자체에 위치합니다. 에지에서는 이러한 엔드포인트의 데이터가 지역 사무실과 소규모 데이터 센터와 같은 엔터프라이즈급 위치 또는 코어(일명 클라우드)로 이동합니다. 

상상해보십시오: 

  • 매분 66,000개의 Instagram 사진이 업로드되고 있습니다.
  • 매분마다 500,000달러 상당의 Venmo 또는 AWS 거래가 발생하고 있습니다
  • 분당 600만 개의 Google 검색을 수행합니다.

우리는 매년 더 많은 데이터를 생산해 왔지만 지난 몇 년 동안 사용량에 변화가 생겼습니다. 이제는 임시 캐시에 데이터를 생성한 다음 덮어쓰는 대신 이 새로운 데이터를 전례 없는 속도로 저장하고 있습니다. 이러한 데이터의 대부분은 클라우드나 에지에 저장됩니다.2

클라우드 네이티브 데이터는 코어 콘텐츠의 미래입니다

이러한 데이터의 대부분은 클라우드로 이동합니다. Gartner는 2025년까지 새로운 디지털 이니셔티브의 95% 이상이 클라우드 네이티브가 될 것으로 예상됩니다.3 이러한 콘텐츠를 보관하는 데이터 센터는 냉각이 필요합니다. 실제로 데이터 센터 에너지 비용의 최대 40%가 냉각으로 인해 발생할 수 있습니다. 또한 고급 AI 모델이 몇 년마다 10,000배 속도로 성장하고 있기 때문에,4 데이터 센터 드라이브의 성능을 유지하는 동시에 전력 소비를 완화하면서 전력 소비 과제를 해결해야 합니다. 다층 구조의 데이터 센터에서는 이러한 냉각 및 전력 문제가 더욱 두드러지게 나타납니다. 

에지의 데이터는 사물 인터넷으로 구동됩니다

동시에 '에지화(edgeification)'라고 불리는 데이터 스토리지 현상은 이제 현실이 되었습니다. 사물 인터넷(IoT)은 데이터 생성에 영향을 미치고 있으며, 이것은 다시 데이터 스토리지와 검색에 영향을 미칩니다.  2023년 말까지 약 145억 개의 IOT 장치가 연결되고 로컬 에지 SSD CAGR 성장이 50%에 달할 것으로 예상됩니다. 5,6 에지는 무게, 폼 팩터, 견고성 등의 고유한 지역성 문제를 제시합니다.

솔리다임은 데이터 스토리지와 지속 가능성 요구에 대한 해답을 제시합니다

이제 그 어느 때보다 현실 세계의 지속 가능성을 염두에 두고 적절한 내구성을 제공하는 고밀도 SSD가 필요합니다. 지속 가능성의 핵심 과제 중 하나는 설치 공간을 줄이는 것입니다. 솔리다임 스토리지 솔루션은 유닛 레벨 밀도를 높이고 적절한 내구성을 제공하여 드라이브 폐기 비용 절감, 랙 레벨 통합, 총 전력 절감 등의 지속 가능성 지표를 달성하는 데 큰 도움이 됩니다. 

이제 코어와 에지를 아우르는 3가지 새로운 사용 사례를 통해 실제 응용 프로그램에서 밀도 및 내구성 요구 사항이 어떻게 형성되고 있는지 살펴보겠습니다.

1. 자율 주행 데이터 사용량 

일반적인 자율 주행이라고 하는 첨단 운전자 보조 시스템(ADAS)의 경우, 방대한 양의 데이터 로깅 및 감지 작업을 수행해야 합니다. 탁월한 충격 및 진동 사양과 기능을 갖춘 SSD는 이 상황에서 올바른 선택입니다. 요철과 도로 결함으로 인해 이 에지 스토리지 응용 프로그램이 필요합니다. 이러한

시스템에 시간당 19TB에 달하는 높은 충족률(fill rate) 요구 사항이 있을 수 있습니다. 연중무휴 24시간 가동 주기는 아니지만, 연간 17,600분의 주행 프로필은 연간 5PB의 데이터를 생성합니다.7

솔리다임 SSD 제품 포트폴리오의 여러 SSD는 스마트한 드라이빙 응용 프로그램의 내구성 요건을 충족할 수 있습니다. 하지만 더 중요한 것은, QLC 제품군이 노동력, 물, 비료와 같은 자원을 최적화하면서 작물 수확량을 개선하는 스마트 농업 및 정밀 농업과 같은 응용 프로그램을 포함하여 일부 새로운 스토리지 사용 사례에 필요한 성능과 내구성을 모두 제공할 수 있다는 것입니다. 이러한 것은 에지에서 많은 양의 데이터를 필요로 하며 주로 의사 결정을 위해 읽기가 중심이 되는 프로세스입니다.8

2. 로봇 및 드론 데이터 사용량

로봇 시스템, 드론, 위성 이미지 분석으로 실시간 데이터를 생성합니다. 예를 들어, John Deere의 See and Spray 기능의 경우, 차량이 이동하는 동안 작물별로 초당 20장의 이미지가 촬영됩니다. 그런 다음 이러한 이미지를 저장된 1백만 개의 이미지와 비교하여 살포가 필요한 영역을 파악합니다. 이 작업은 매 순간 이미지를 캡처하는 온보드 카메라의 지원을 받아 스프레이당 하루에 6TB의 스토리지가 필요합니다.9

3. 개체 스토리지 데이터 사용 사례 

코어 데이터 센터에서 개체 저장소는 비정형 데이터를 위한 데이터 스토리지 솔루션입니다. 사용자가 5PB 데이터 풀을 처리하기 위해 확장해야 한다고 상상해 보십시오.Dell EMC의 F600 또는 F900 시스템은 이를 위한 탁월한 설치입니다. Dell F900은 페타바이트급의 스토리지를 수용할 수 있습니다. Dell의 자체 현장 추적 데이터 분석에 따르면 구축된 일부 D5-P5316 드라이브에서 14년의 드라이브 수명을 추출할 수 있었습니다.10

실제 데이터 스토리지의 종결

이러한 실제 사용 사례 중 일부에서 드라이브 수준 분석 및 차량 데이터에 집중할 수 있습니다. 예:

  1.  토론토 대학교 연구에 따르면 엔터프라이즈 배포 시 워크로드의 대부분은 읽기 80%, 쓰기 20%로 나타났습니다.11 
  2. Storage Review는 19개의 솔리다임 D5-P5316 QLC 드라이브를 사용하여 100조 번째 자리의 Pi를 분석한 결과, 5년의 드라이브 보증 기간을 훨씬 초과하는 추정 내구성을 측정했으며, 이는 이러한 고성능 컴퓨팅(HPC) 응용 프로그램에서 내구성이 문제가 되지 않는다는 것을 의미합니다. (해당 분석에 대한 자세한 내용은 여기에서 확인할 수 있습니다.)
  3. NetApp은 현장에서 대규모 배포를 통해 SSD 운영 특성에 대한 연구를 수행했습니다. 이 연구에서 얻을 수 있는 내용이 많지만, 가장 중요한 발견 중 하나는 (섹션 §3.1.2에서 언급했듯이) QLC SSD가 3K PE 사이클 이상을 제공할 수 있고 솔리다임이 이미 QLC 제품을 통해 이를 달성한 경우 '대다수(~95%)의 인구가 조기에 지치지 않고 QLC로 전환할 수 있다'는 것입니다.12

적합한 스토리지 솔루션 선택

스토리지 사용 사례를 위한 전용 스윔 레인에 대한 필요성이 증가하고 있습니다. 응용 프로그램에 어떤 SSD를 선택할지는 쓰기 중심, 읽기 중심 또는 이 두 가지가 혼합된 경우, 대상 DWPD(Drive Writes Per Day)와 워크로드에 따라 달라집니다. 한 가지 방법이 모든 것에 맞을 수는 없습니다. 스토리지 솔루션 구축을 계획할 때 여러 가지 요소를 고려하여 최상의 결과를 얻을 수 있습니다. 그림 1은 실행하려는 응용 프로그램에 적합한 스토리지 솔루션을 선택하는 데 도움이 될 수 있습니다.

QLC와 SLC 사용 사례

솔리다임은 다양한 응용 프로그램을 위한 여러 내구성 수준과 성능 수준을 제공합니다. 그림 1에서 볼 수 있듯이, 솔리다임 D7-P5810(SLC NAND 기반)은 DWPD 기준으로 측정했을 때 내구성이 가장 뛰어납니다. 동시에 0.5+ DWPD의 QLC 기반 SSD는 대용량(최대 61.44TB)으로 솔리다임 제품군 중 가장 높은 페타바이트 쓰기 성능을 제공합니다. 

다음 표는 상대적인 쓰기 내구성 기능을 기준으로 다양한 데이터 센터 워크로드에 솔리다임의 드라이브를 어떻게 활용할 수 있는지 보여줍니다. 코어에서 에지까지 사용 사례를 시작하면서 밀도, 내구성, 성능의 적절한 요구 사항 조합을 이해하는 것이 사용 사례에 적합한 스토리지 솔루션을 확보하는 데 핵심이 될 것입니다. 

DWPD SSD 내구성을 위한 대상 응용 프로그램과 SSD 사용 예시.

그림 1. 내구성 스윔 레인과 대상 응용 프로그램 및 사용법

스토리지 사용 사례가 진화하는 방식 

솔리드 스테이트 스토리지 기술이 사용 사례 확장과 함께 여러 방향으로 추진되면서 SSD의 주요 사용 사례 중 일부가 진화하고 있습니다.

1. 내구성 

1세대 SSD는 매우 높은 쓰기 내구성 요구 사항(일부 경우 10~20DWPD)을 충족할 것으로 예상되었습니다. 쓰기 증폭 계수(호스트 요청과 비교하여 NAND에 써야 하는 시간)는 이후 더 나은 SSD 펌웨어 아키텍처로 인해 감소했으며, 프로그램/삭제 주기 측면에서 SLC, TLC 및 QLC NAND 내구성 수준이 어느 정도 표준화되었습니다.  JESED219 유형의 표준은 내구성 측정에 사용되는 워크로드 유형에 매우 필요한 명확성을 제공했습니다. 그림 1의 상단 섹션은 제품의 각 스윔 레인이 정의한 고유한 내구성에 따라 워크로드 환경을 어떻게 적용할 수 있는지 보여주는 예입니다.

2. 영향력 있는 성능

솔리드 스테이트 스토리지의 세대별 변화와 사용 사례 진화에 따라 대역폭과 IOPS 이외의 영역이 더 많은 관심을 받고 있습니다. 전환 워크로드 후 IOPS의 일관성, TRIM 작업 후 지연 시간 응답, 낮음-중간 수준의 QD 성능 관찰이 중요합니다.  드라이브 크기가 점점 커지면서 한 테넌트의 IO가 다른 테넌트에 지연 시간 영향을 미치지 않는 멀티 테넌시 응용 프로그램을 활용하기 위해 NAND 및 드라이브 펌웨어 수준에서 새로운 기술이 구현되고 있습니다. 앞으로는 FDP(Flexible Data Placement) 모드를 사용하는 세분화된 제어를 통해 호스트가 드라이브 펌웨어의 내부 가비지 수집으로 인해 발생할 수 있는 내구성 및 성능 손실 없이 데이터를 배치할 수 있습니다.

3. 폼 팩터

HDD를 상속한 2.5인치 폼 팩터를 갖춘 데이터 센터 SSD에 일률적으로 모든 것을 적용하는 시대는 지났습니다. EDSFF는 커넥터에 더 나은 신호 무결성과 핫 플러그 견고성을 갖춘 다양한 폼 팩터를 제공했습니다. 공통 커넥터 설계를 구현하면 클라우드 및 데이터 센터 플랫폼에 배포할 수 있는 다양한 롱, 숏, 톨 폼 팩터를 지원할 수 있습니다.

4. 데이터 중심 기능 데이터 센터에 배포된 1세대 SSD는 1) 정전 데이터 보호, 2) 임시 버퍼에서 NAND 미디어로 이동할 때 ECC를 사용하여 데이터를 엔드투엔드로 보호하는 2가지 주요 기능을 필수로 갖추고 있었습니다.  대역 외 관리, 원격 측정, 지연 시간 및 드라이브 상태를 즉시 추적하는 등의 고급 기능은 오늘날의 SSD에 반드시 필요한 기능입니다. 컴퓨팅 스토리지와 AI의 출현으로 향후 배포에는 드라이브 자체의 오류 예측을 위해 이러한 기술이 배포될 것으로 예상됩니다. 향후 개발의 핵심 영역 중 하나는 더 긴 수명을 위해 SSD를 지속 가능한 방식, 즉 추가적인 사용을 위한 재사용, 용도 변경, 재프로비저닝으로 사용하는 것입니다.

향후 SSD 개발에 영향을 미치는 SSD 사용 사례를 위한 주요 매개 변수.

그림 2. 미래의 SSD를 결정하는 사용 사례

결론

데이터가 증가하고 SSD의 성숙도가 높아지면서 사용 모델이 더 이상 기존 엔터프라이즈 응용 프로그램에 좌우되지 않습니다. 클라우드 서비스 제공업체(CSP)는 대규모의 SSD 배포에 혁명을 일으켰습니다. CSP 또한 새로운 기능을 수용하고 최신 폼 팩터를 장려하여 업계를 구축하는 데 도움이 되었으며, NAND 미디어와 내구성 계층을 기반으로 하는 차별화된 포트폴리오를 활용했습니다. AI 혁명을 추진하기 위한 스토리지의 필요성과 함께 에지의 새로운 사용 사례가 등장하면서 차세대 SSD

에 대한 새로운 요구 사항이 더욱 증가할 것입니다.  전체적인 시장 요구에 하나의 폼 팩터로 하나의 밀도를 맞추던 시대는 지나갔습니다. 미래를 위한 혁신은 스토리지 사용 사례 환경의 워크로드 요구 사항에 의해 주도되고 정의될 것입니다. 솔리다임 SSD는 기술적으로 충분히 준비되어 있고 민첩하게 대응할 수 있습니다.


참고 

[1] https://explodingtopics.com/blog/data-generated-per-day

[2] https://www.red-gate.com/blog/database-development/whats-the-real-story-behind-the-explosive-growth-of-data

[3] https://www.datacenterdynamics.com/en/opinions/the-five-big-trends-powering-tomorrows-data-center/

[4] https://pages.dataiku.com/report-idc-2023

[5] https://iot-analytics.com/number-connected-iot-devices/

[6] https://www.idc.com/getdoc.jsp?containerId=US50673423

[7] https://www.solidigm.com/products/technology/inonet-used-solidigm-qlc-drives-for-duration-cost-accuracy-of-test-drive-results.htmlhttps://www.visualcapitalist.com/network-overload/

[8] https://www.sciencedirect.com/topics/earth-and-planetary-sciences/precision-agriculture#:~:text=Precision%20agriculture%20(PA)%20is%20the,of%20fertilizers%20and%20irrigation%20processes.

[9] https://www.deere.com/en/sprayers/see-spray-ultimate/

[10]  https://www.storagereview.com/review/dell-powerscale-benefitting-from-qlc-ssd-economics-and-performance

[11] https://www.usenix.org/conference/fast22/presentation/maneas

[12] https://www.usenix.org/system/files/fast22-maneas.pdf

저자 소개

Tahmid Rahman은 솔리다임의 제품 마케팅 데이터 센터 이사입니다. 그의 주요 업무는 현재 및 향후 제품에 대한 제품 포지셔닝, 벤치마킹 및 고객 요구 사항 통합입니다. 그는 방글라데시 공학 기술 대학교에서 학사, 텍사스 A&M에서 전기공학 석사를 취득했습니다. 또한 Davis에 위치한 캘리포니아 대학교에서 MBA를 취득했습니다. 그는 관광과 하이킹을 포함한 야외 활동을 좋아합니다.