최고의 콘텐츠 검색 플랫폼 Taboola, Solidigm SSD 선택

AI(인공 지능)를 사용해 사람들의 관심사를 예측하는 것이 Taboola 모델의 핵심이지만, 이것이 Taboola의 IT 부대표 Ariel Pisetzky의 최종 목표는 아닙니다. [1] 그에게 가장 큰 과제는 제한된 예산 내에서 수학적/공학적 방법을 이용해 Taboola의 시스템을 효과적으로 확장하는 것입니다.

"오늘날 오픈 소스 커뮤니티에는 단일 서버에서 수천 개의 노드로 확장하여 엔지니어링 작업을 처리하는 스케일 아웃 소프트웨어 솔루션이 많이 있습니다." Pisetsky는 말합니다. "이제 어떻게 하면 이러한 퍼즐 조각을 하나로 맞출 수 있을지, 어떻게 하면 소수의 인원으로 대규모 설치 기반을 관리할 수 있을지 고민해 봐야 합니다."

문제: 클라우드 데이터 센터를 위한 스토리지 확장 약

10,000대의 서버를 수용하는 9개의 데이터 센터를 통해 Taboola는 각 데이터 센터에 자체 HPC(고성능 컴퓨팅) 인프라(기본적으로 소형 슈퍼컴퓨터로 구성)가 포함된 프라이빗 클라우드를 구축했습니다. 각 데이터 센터에는 콘텐츠 추천 엔진의 ML(머신 러닝) 알고리즘을 지원하기 위한 대규모 스토리지가 필요합니다.

현재 Taboola는 하루에 약 100TB의 데이터를 처리하고 있으며, 데이터 센터 전반에 분산된 수십 페타바이트의 SSD 스토리지를 보유하고 있습니다.

중요한 것은 Taboola가 하이퍼컨버지드 인프라(HCI)를 사용한다는 것입니다. 이는 데이터 센터에 컴퓨터, 네트워킹, 스토리지 구성 요소가 포함된 여러 개의 자체 통합 '빌딩 블록' 컴퓨팅 시스템이 구축되어 있다는 것을 의미합니다.

Taboola의 요구 사항을 충족하는 이 아키텍처는 SSD 스토리지의 안정성을 특히 강조합니다. 데이터 센터 스토리지를 별도로 처리하고 컴퓨팅 요소와 분리하면 고장 장치를 쉽게 식별하고 새 장치로 교체할 수 있기 때문에 SSD의 안정성이 크게 중요하지 않습니다.

그러나 SSD가 수백 또는 수천 개의 하이퍼컨버지드 시스템으로 분산되어 있는 경우, 고장 장치를 식별하고 교체하기가 훨씬 까다롭고, 고장률이 조금만 증가해도 유지 보수 비용이 빠르게 상승합니다. Taboola IT 팀의 주요 목표는 적은 수의 인원으로 대규모 설치 기반을 관리하는 것입니다. 따라서 SSD의 안정성은 구매 결정에 매우 중요한 요소입니다. 높은 안정성 요건이 충족된 후에 성능 및 가격을 고려합니다.

솔루션: Solidigm은 Taboola가 선호하는 SSD 파트너입니다 과거에

Taboola는 여러 공급업체에서 SSD를 구매했습니다. 그러나 다른 공급업체의 SSD는 Taboola의 안정성 요건을 충족하지 못했습니다. Taboola는 데이터 센터 스토리지의 요건을 충족하는 솔리다임 SSD를 구매하기로 결정했습니다. Solidigm SSD는 Taboola가 필요로 하는 안정성과 높은 수준의 성능을 합리적인 가격에 제공합니다.

Solidigm은 SSD 내구성 분야에서 입증된 선두 업체입니다. 데이터 센터를 위한 1세대 QLC(quad-level cell) 낸드 드라이브인 솔리다임(구 인텔) SSD D5-P4320은 이미 경쟁업체의 QLC 낸드 SSD보다 4배 높은 내구성을 제공했습니다. 그리고 새로운 Solidigm(이전에는 인텔) SSD D5-P5316은 0.41 DWPD(drive writes per day)로 업계 최고 수준의 내구성을 제공하며, 이전 세대 Solidigm QLC NAND SSD에 비해 5배 높은 랜덤 쓰기 내구성을 제공합니다. [2]

Taboola 워크로드는 데이터를 ML 알고리즘에 공급하는 작업을 중심으로 진행됩니다. 이 작업은 읽기 중심의 워크로드이기 때문에 QLC SSD가 적합합니다. QLC SSD는 TLC 제품 대비 낮은 비용으로 더 높은 용량을 제공하기 때문입니다. 대규모 Microsoft SQL Server 데이터베이스와 같은 특수 워크로드의 경우에는 쓰기 작업에 적합한 내구성과 안정성을 위해 TLC 드라이브에 투자하는 것이 낫다고 판단했습니다.

Solidigm D5 시리즈를 활용한 스토리지 인프라 구축

Solidigm SSD 기반 안정적인 스토리지 인프라를 통해 Taboola는 필요할 때 언제든 스토리지가 제공될 것이라는 확신을 가지고 추천 엔진 비즈니스를 더욱 확장할 수 있습니다. Taboola의 탈중앙화 하이퍼컨버지드 스토리지 아키텍처에서 솔리다임 SSD의 높은 안정성으로 유지 보수 비용을 절감할 수 있습니다. 이로써 Taboola는 IT 인력 부족 문제에 효과적으로 대처하고 있습니다.

Pisetsky는 "서버에는 일정 수준의 인원을 배치해야 합니다. 그런데 신규 엔지니어를 매년 확보하기가 어렵기 때문에 앞으로는 더 적은 인원으로 서버를 관리해야 합니다."라고 말합니다. [1] Taboola가 인력 부족 문제에 대응하는 한 가지 방법은 더 크고 안정적인 SSD로 운영 능력을 높이는 것입니다.

"진화하는 SSD 기술의 최전선을 지키겠다"는 솔리다임의 약속을 믿은 Taboola는 솔리다임의 SSD가 최고의 가치를 제공한다는 사실을 실감하고 있습니다. 대형 하이퍼스케일러와 비교하면 Taboola는 대기업이 아닙니다.

10,000대의 서버를 사용하는 Taboola는 중소기업 수준의 규모입니다. 중소기업이 보통 1,000대에서 50,000대의 서버를 운용하기 때문입니다. SSD 안정성을 최우선으로 하는 Taboola의 스토리지 전략은 다른 기업에게도 도움이 될 수 있습니다. Taboola에 대하여 Taboola는 머신 러닝(ML) 및 대규모 데이터 세트 기반의 추천 엔진을 사용하는 세계 최대 오픈 웹 콘텐츠 검색 플랫폼입니다.

전 세계에서 10,000대의 서버와 수십 페타바이트의 SSD를 기반으로 9개의 데이터 센터를 운영합니다. Taboola가 SSD 구매를 구매할 때 가장 먼저 고려하는 요소는 안정성입니다. 가격과 성능은 그 다음입니다. 몇 년 전 Taboola는 안정성과 성능이 우수한 솔리다임(구 Intel®) SSD를 표준 스토리지로 채택했습니다.