PEAK:AIO와 솔리다임, 기존 스토리지의 한계를 넘어 AI 인프라를 확장하다

전통적인 기술은 이제 추진력을 잃었습니다. 저는 Mark Klarzynski입니다. PEAK:AIO의 창립자입니다.

당사는 필요한 밀도, 성능, 단순성, 전력 요건을 제공하는 새로운 AI 데이터 서버를 구축했지만, 이제는 이러한 핵심 가치를 유지하면서 규모를 확장할 필요가 있었습니다. 이를 위해 기존에 전 세계적으로 널리 알려진 병렬 파일 시스템의 현대적인 대안인 Open pNFS를 기반으로 규모를 확장했습니다.

전통적인 파일 시스템은 종류가 매우 다양하며, 각각 서로 다른 과제를 해결하기 위해 발전해 왔습니다. 즉, 이들은 하나의 동일한 과제가 아니라 특정 과제를 위해 설계되었습니다. 워크로드가 달랐던 것입니다. 우리는 이를 데이터로 나누어 볼 수 있습니다. 우리 모두는 데이터가 무엇인지, 그리고 데이터의 아주 작은 일부분인 메타데이터가 무엇인지도 알고 있습니다. 문제는 규모가 커질수록 이 둘도 함께 증가한다는 점입니다. 상당수 시스템은 메타데이터의 증가를 감당할 수 없었고, 이를 처리할 수 있었던 시스템들은 사실 과학자 팀이 직접 관리하는 HPC 환경을 위해 설계된 것이었습니다. 업계의 속도에 발맞추려면 업계와 함께 성장할 수 있어야 합니다. 성장할 뿐 아니라 업계에 맞춰 방향을 전환할 수도 있어야 합니다. 

Open pNFS는 모듈형 빌딩 블록을 추가하는 간단한 방식으로 작동합니다. 당사는 여기에 또 하나의 요소를 추가했습니다. 이를 인식하여 자동으로 추가 및 조정하고, 사용자가 많은 작업을 수행하거나 전문 교육을 받은 팀을 갖추지 않고도 바로 사용할 수 있도록 한 것입니다. 이것이 바로 제로 터치 설계입니다. 이름에서 알 수 있듯이, Open pNFS의 가장 큰 특징은 단순히 표준일 뿐만 아니라 개방형 구조를 갖춰 당사에만 종속되지 않는다는 것입니다. 

당사의 설계 목표가 기존에는 엔드 노드에서나 볼 수 있었던 성능과 특성을 갖춘 단일 노드를 만드는 것임을 깨달았을 때, 이러한 요구 사항에 부합하면서도 10개의 노드에서 기대할 수 있는 특성을 단일 노드에서 동일하게 제공할 수 있는 파트너가 필요했습니다. 

솔리다임은 여전히 이 시장의 선두주자입니다. SSD 내부에 지능형 데이터 배치 기능이 내장되어 있기 때문에, 이를 기반으로 스택 상위 계층에 지능형 데이터 배치를 추가할 수 있습니다. 솔리다임이 하위 계층에서 이를 처리하고 있다는 것을 알고 있기 때문입니다. 솔리다임이 지속적인 대용량 SSD 공급에 집중하는 것은 당사에 매우 중요합니다. 그렇지 않다면 당사는 현재 수준의 성능과 밀도, 전력 효율성을 제공할 수 없을 것입니다. 솔리다임은 당사의 빌딩 블록을 구성하는 기반입니다.