Zhengrui 기술 및 Solidigm SSD

Zhengrui Technology는 Solidigm 고밀도 스토리지를 사용하여 동물 사육 분야의 혁신을 가속화합니다.

현대화된 가축 농업은 육류, 달걀 및 우유와 같은 동물 제품에 대한 수요 증가를 충족하고 대규모 과학 육종 및 유전자 연구의 새로운 기회를 제공합니다. AI 기술은 유전체 선택, 지능형 육종 및 영양 공급, 질병 진단, 지능형 모니터링 및 관리, 데이터 마이닝 및 의사결정 지원 등의 프로세스를 통해 가축 유전 육종을 최적화하고 가축 생산 효율성 및 건강을 개선하며 가축 산업의 개발을 촉진합니다.  

인공 지능(AI) 기술은 다양한 방식으로 가축 유전 육종을 최적화하고 있습니다. 일부 예시는 다음과 같습니다.

1. 유전체 선택: 개인의 유전적 형질은 성장 속도, 육류 생산, 우유 생산 등과 같은 형질을 고려하여 육종 프로그램을 최적화하기 위해 다량의 게놈 데이터의 딥 러닝 및 분석을 통해 예측될 수 있습니다. 
2. 지능형 육종: AI 기술을 통해 여성 가축의 번식 능력과 자손의 유전적 특성을 예측할 수 있습니다. 유전체 정보, 생리학적 정보 및 환경적 정보에 대한 종합적인 분석을 통해 AI는 육종 성공률을 개선할 수 있습니다.
3. 지능형 급이: 영양 공급량과 영양 성분은 가축에 맞게 지능적으로 조절할 수 있으며, 성장률과 생산 효율성을 개선하기 위해 생리적 요구, 성장 단계 및 환경적 요인을 고려합니다.
4. 질병 진단: AI 기술은 가축 행동과 생리학적 지표를 실시간으로 모니터링하여 이상을 감지할 수 있습니다. 과거 데이터 분석을 통해 질병의 발생과 확산을 예측할 수 있어 조기 진단과 치료가 가능합니다.
5. 지능형 모니터링 및 관리: 온도, 습도, 이산화탄소 농도 등과 같은 환경 매개변수의 실시간 모니터링 및 자동 조정은 가축의 건강과 농업 환경의 편이성을 높일 수 있습니다. 
6. 데이터 마이닝 및 의사결정 지원: 육종 데이터 마이닝 및 분석은 농부와 관리자에게 의사결정 지원을 제공합니다. 이를 통해 최적의 육종 계획, 사료 프로그램, 질병 예방 및 통제 전략을 수립할 수 있습니다.

AI 기술의 도움으로 Zhengrui Technology의 한 가축 연구소와 고객사는 유전체 및 생산 능력 표현형과 같은 다량의 생물학적 데이터를 수집하고 라벨링한 다음, 가축 질병의 지능적 식별 및 육종 가치 예측과 같은 딥 러닝 모델을 트레이닝했습니다. AI와 유전 기술의 결합을 통해 가축 산업의 발전은 완전히 새로운 방식과 새로운 속도로 발전할 수 있습니다.

 동물 사육에서의 AI 응용 분야

빅데이터, 머신 러닝, 멀티모달 모델링 및 동물 사육 분야의 기타 기술의 AI 적용으로 데이터 웨어하우징의 개념이 크게 바뀌었습니다. AI가 데이터 분석을 지원하기 전에는 가축 산업에서 수기 기록의 전자화가 병목 현상에 직면하여 그 가치가 하락했습니다. 데이터는 유용한 통찰력을 제공하지 못하고 대부분 단순히 보관되어, 그 잠재력을 최대한 발휘하지 못한 ‘콜드 데이터’가 되었습니다. AI 기술을 통해 농부와 가축 관리자는 이 보관된 데이터를 다시 탐색하고 데이터 수집의 범위와 빈도를 더욱 확장할 수 있게 되었으며, 그 결과 원래의 원시 비구조화 데이터가 '데이터 레이크'로 대량 유입되어 관리 및 육종에 대한 결정을 내리는 데 사용할 수 있게 되었습니다.

Institute of Animal Husbandry는 매일 테라바이트(TB)의 데이터를 생성합니다. 기존의 데이터 스토리지 및 관리 모델은 구조화 데이터, 반구조화 데이터, 비구조화 데이터 및 바이너리 데이터(이미지, 오디오 및 비디오)를 포함한 대규모의 복잡한 데이터를 신속하게 처리할 수 없습니다. AI를 통해 데이터 레이크의 데이터를 원시 데이터에서 보고, 시각화, 분석 및 머신 러닝과 같은 작업을 위한 대상 데이터로 변환할 수 있습니다.  

구성 세부 정보

가축 연구소는 수집된 데이터를 처리하고 활용하기 위한 산술 기반을 구축했으며, 4개의 빅데이터 컴퓨팅 서버, 4개의 추론 서버, 8개의 스토리지 서버를 인프라로 사용하고 있습니다. 

• 이러한 컴퓨팅 서버 각각은 주로 데이터 마이닝 및 트레이닝에 사용되는 4개의 NVIDIA A100 GPU로 구성됩니다.
• 각 추론 서버는 8개의 NVIDIA RTX 3090 GPU로 구성되며, 이 GPU는 대량의 이미지 및 비디오 데이터에서 시각적 신경망 작업을 수행하는 데 사용됩니다.
• 스토리지 서버는 대용량 기계식 하드 디스크로 구성되어 분산 스토리지를 형성합니다.
• 서버 네트워크가 200G InfiniBand 스위치와 연결되어 있습니다.

데이터 개요

과거 데이터를 가져오고 일일 R&D 및 운영에서 데이터를 축적함에 따라 스토리지 및 산술 전력에 대한 제약이 점차적으로 나타납니다. R&D 및 운영 프로세스에는 방대한 양의 데이터가 포함되지만, 데이터 값 밀도는 매일 감소하고 있으며, 중복 데이터가 많아 유효 데이터가 희소해집니다. 읽기 부하가 너무 크고, 기존 스토리지 시스템의 읽기 효율이 크게 감소하며, 산술 연산 능력을 완전히 사용할 수 없고, R&D 효율이 감소합니다. 또한 데이터 품질을 개선하기 위해 대량의 데이터 전처리 작업이 필요하기 때문에 이는 더 많은 읽기 및 쓰기 작업을 요구하고 많은 리소스를 차지하게 됩니다.

AI 데이터 레이크에 대한 스토리지 시스템 요구 사항 재검토

더 소규모 데이터 레이크의 경우 HDD는 네트워크 대역폭에 의해 제한된 쓰기 처리량과 함께 우수한 읽기 처리량을 제공합니다. 그러나 데이터 크기가 증가함에 따라 분산 스토리지에 대한 노드 간 액세스는 많은 네트워크 리소스를 소모하므로 고속 네트워크의 오버헤드가 증가하는 고성능 100G 이더넷 또는 InfiniBand 네트워크에서도 효율성 문제가 발생합니다. 

그러나 네트워크 비용보다 훨씬 더 중요한 것은 유휴 산술 연산 능력입니다. GPU 및 TPU와 같은 AI 산술의 빠른 개발과 함께 컴퓨팅 수요를 충족하기 위해서는 더 많은 데이터 처리량이 필요하며, 이는 스토리지 시스템의 성능에 대한 더 높은 수요를 야기합니다. AI 산술 빌드의 비용이 얼마나 비싼지 고려할 때 데이터 수집을 기다리는 유휴 산술 연산은 엄청난 리소스 낭비입니다.

스토리지 매체로서 SSD로 전환하는 것은 스토리지 성능에 대한 높은 수요에 대처하기 위한 논리적 단계입니다. 그러나 이러한 변화를 위해서는 다음과 같은 여러 가지 문제를 해결해야 합니다.

1. 올플래시 솔루션은 비용과 용량의 균형을 맞춰야 합니다.
   
2. 하이브리드 솔루션 또는 계층형 스토리지는 대규모 AI 데이터 세트 트레이닝에 이상적이지 않습니다. 교육 과정 중에 데이터에 여러 번 액세스해야 하므로 HDD의 ‘콜드’ 스토리지는 병목 현상을 일으킵니다.
3. 고성능 클라우드 스토리지 비용은 높습니다. 빅데이터 애플리케이션의 일반적인 모델은 데이터 보안 중복성, 계층화 및 기타 측면의 관리 비용을 해결하기 위해 퍼블릭 클라우드 벤더의 기술적 강점을 활용하여 컴퓨팅을 호스팅하고 클라우드에 저장하는 것입니다. 그러나 고성능 클라우드 스토리지의 프리미엄 가격은 기본 클라우드 서비스보다 훨씬 높아 장기적인 운영에 비용 압박을 가하고 있습니다. 또한 일일 데이터 수집 트래픽의 비용을 더하면 정당화하기 어려운 비용이 발생합니다.

기존 분산 스토리지의 문제점

1. 성능 제약: 스토리지 시스템은 100테라바이트의 데이터 성장에 직면하고 있으며, 읽기 효율성이 감소하고 분산 컴퓨팅 시간이 길어져 연구 프로세스가 심각하게 제한됩니다.
2. 비용 효율성 저하: 클라우드 컴퓨팅 센터의 스토리지 비용은 높고 지속 불가능할 수 있으며, 상업용 소형 SSD를 사용하면 신뢰성과 관리 병목 현상에 직면할 수 있습니다. 레거시 스토리지 서버는 오늘날의 대용량 SSD에 비해 구식 아키텍처, 큰 설치 공간, 높은 열 및 전력 소비가 특징입니다.

Solidigm 4세대 QLC SSD는 획기적인 성능을 제공합니다.

이러한 스토리지 문제에 대한 한 가지 실용적인 해결책은 Solidigm 192-layer 3D NAND입니다. 이 제품은 경쟁 제품의 부피 밀도보다 훨씬 앞선 업계 최고의 밀도인 18.6GB/mm2를 제공합니다. Solidigm은 업계의 고밀도, 전력 효율성 및 고처리량 취약점을 해결하는 탁월한 고밀도 스토리지 SSD를 제공합니다.

Solidigm D5-P5336은 Solidigm의 데이터 센터용 4세대 QLC SSD 중 하나로, 최대 122.88TB*의 대용량과 읽기에 최적화된 성능을 제공하며 고처리량 읽기 및 데이터 집약적 워크로드에 높은 가치를 제공합니다. 이 아키텍처는 널리 배포된 읽기 집약적 워크로드에서 점점 더 큰 데이터 세트를 효율적으로 가속화하고 확장하는 동시에 스토리지 밀도를 높이고 총 비용을 절감하며 TLC SSD 및 HDD 기반 솔루션보다 더 지속 가능한 스토리지 인프라를 지원하도록 설계되었습니다.

이제 Solidigm의 대용량 고성능 QLC SSD가 시장에 출시되면서 단일 계층 스토리지 기반의 올플래시 서버 구축이 기술적, 경제적으로 실행 가능해졌습니다. 단일 계층 스토리지 설계는 스토리지 서버 개발 및 배포의 기술적 어려움을 크게 줄여주며 보다 일관되고 예측 가능한 성능을 제공합니다.

고밀도 QLC SSD를 배포하는 스토리지 서버는 기계적 HDD의 범위를 벗어난 페타바이트 규모의 단일 노드 스토리지 용량을 제공합니다. 또한 단일 계층 스토리지 미디어 설계는 캐시 디스크가 차지하는 용량, 공간 및 에너지 소비를 절감하여 스토리지 밀도에서 각 노드의 이점을 더욱 통합합니다.

더 나아가 고밀도 스토리지 노드는 랙 공간, 에너지 소비 및 네트워크 포트 오버헤드를 절약합니다. 사용자의 목표 스토리지 용량을 단일 노드에서 실현할 수 있다면 배포와 운영 및 유지보수의 어려움을 크게 줄일 수 있습니다. U.2 폼 팩터의 Solidigm D5-P5336 122.88TB는 이미 표준 1U 서버에서 최대 4PB의 용량을 달성할 수 있으므로 엔터프라이즈 데이터를 올플래시 스토리지로 완전히 이동시켜 휴면 또는 ‘콜드’ 데이터의 가치를 활용할 수 있습니다.

표 2.  Solidigm D5-P5336 기능¹

표 3. D5-P5336 TCO 절감과 다른 스토리지 구성 비교.¹

Zhengrui Technology, Solidigm과 협력: AI 추론 지원, 스토리지 혁신 가속화

Zhengrui Technology는 Solidigm 대용량 QLC NVMe SSD를 사용하여 동물 사육 생물유전학 데이터 스토리지 솔루션을 만들었습니다. 고밀도, 고신뢰성 및 확장 가능한 스토리지 플랫폼은 효율성과 비용 효율성을 모두 제공합니다.

기능

1. 올플래시 기술을 채택하면 Solidigm D5-P5336 30.72TB SSD가 탑재된 풀 스피드 PCIe 4.0에서 실행되는 최대 24개의 핫스왑 가능 NVMe SSD를 지원할 수 있습니다. 높은 IOPS는 고용량 밀도로 보완되며 단일 노드는 1백만 개 이상의 IOPS와 700TB 이상의 스토리지 공간을 제공할 수 있습니다.
2. 4세대/5세대 Intel Xeon Scalable 프로세서는 AI 가속화를 위한 핵심 지원도 제공합니다. 새로운 스토리지 엔드를 통해 중요하지 않은 데이터가 쓰이는 즉시 필터링하여 네트워크 부하를 줄이고 탁월한 데이터 안정성을 제공할 수 있습니다.
3. 2U 올플래시 서버는 스토리지 밀도를 최대한 활용하여 여러 캐비닛의 데이터를 단일 캐비닛에 저장하므로 공간 활용도를 개선하고 사용자의 총 소유 비용을 효과적으로 절감할 수 있습니다.

표 4. AI 데이터 레이크 스토리지 구성 및 효율성 값²

Solidigm은 Zhengrui Technology와 함께 이 맞춤형 솔루션으로 고객들로부터 인정을 받았으며, 이를 통해 고객은 다음과 같은 여러 가지 문제를 해결할 수 있습니다. 대용량 QLC 단일 디스크로 데이터 볼륨 및 성능 요구 충족

이러한 일반적인 AI 배포에서 데이터 스토리지 노드는 리소스 경쟁으로 인해 성능 핫스팟이 발생하기 쉬우며 컴퓨팅 유닛은 데이터를 대기하는 동안 중단됩니다. Solidigm QLC 드라이브는 지연 시간이 짧고 안정적이며 신뢰할 수 있는 성능을 유지하는 페타바이트 규모의 데이터 스토리지의 요구를 충족할 수 있습니다. 

확장성 향상

18TB HDD +TLC에서 30.72TB Solidigm D5-P5336 SSD로 전환 시 랙 공간은 79% 감소했습니다.² 이것은 사실상 스토리지 캐비닛 및 랙 공간의 설치 공간을 줄이고 특정 공간 예산 내에서 컴퓨팅 노드를 확장할 수 있는 유연성을 제공합니다.

에너지 소비 절감, 공간 점유 감소

이렇게 함으로써 배포된 스토리지 장치의 수가 크게 줄어들어 전체 배포의 전력 소비와 냉각 에너지 필요성이 줄어들어 건설 및 운영 비용에 긍정적인 영향을 미칩니다. 하이브리드 솔루션(18TB HDD + TLC)의 전력 소비량은 57,600W로 올플래시 솔루션(Solidigm D5-P5336 SSD)의 전력 소비량은 12,000W로 79% 감소했습니다.

혼합 플래시 스토리지 모델이 채택되더라도 대규모 공간 점유 및 복잡한 관리 스케줄링 로직과 같은 일련의 수반되는 문제에 직면해야 합니다.

Zhengrui Tech + Solidigm 솔루션은 700TB급 스토리지를 구현하기 위해 단 2U의 공간을 필요로 합니다. 스토리지 밀도를 더욱 높이려면 61.44TB 또는 122.88TB 단일 디스크 채택 또는 EDSFF 폼 팩터 지원 추가 도입 등의 옵션이 있습니다.

결론

초고밀도 올플래시 스토리지는 컴퓨팅 센터를 위한 안정적이고 효율적인 IO 지원을 제공하고, 전체 컴퓨팅 처리율을 개선하며, 결과 출력을 보장합니다. 고객은 Solidigm QLC SSD를 사용하여 서버실 운영을 간소화하고 건설 및 관리 비용을 절감하여 지출을 줄이고 효율성을 높일 수 있습니다.