모든 AI 모델 훈련은 어딘가로부터 온 원시 데이터로 시작됩니다. 테라바이트 또는 페타바이트 단위의 데이터를 서버로 옮길 때, 빠른 순차 쓰기 성능을 갖춘 대용량 스토리지는 모든 것을 원활하게 해줍니다.

어느 누구도 지저분한 데이터를 좋아하지 않습니다. 이 단계(때로는 사전 처리 또는 추출-변환-로드라고도 함)에서는 원시 데이터가 정리되어 훈련 중에 사용할 토큰으로 구성됩니다. 스토리지에서 볼 때 이는 대부분 순차 읽기 활동입니다.

초기 모델은 랜덤 순서로 트레이닝 토큰에 노출되어 나중에 출력할 수 있는 일련의 매개 변수를 개발합니다. GPU가 업무 시간 외에도 작동하는 동안 이곳에서는 무거운 랜덤 읽기 작업을 예상합니다. 빈번한 체크포인트는 순차 쓰기 처리량에 의존합니다.  

빛나는 새 AI 모델이 배포되고 새로운 입력을 처리하여 응답을 생성합니다. 지연 시간이 짧은 스토리지는 '미래에서 사는 것' 같은 느낌을 실시간으로 추론하게 합니다.

작업을 저장하십시오! 규정 준수 및 감사를 이유로 점점 더 중요해질 뿐만 아니라, 이러한 모든 입력 및 출력을 나중에 모델을 재교육하는 데 사용할 수 있습니다. 대용량이 핵심입니다.