FI-TS는 분산형 스토리지 플랫폼 제공
금융 서비스 회사는 분산형 소프트웨어 정의 스토리지를 사용하여 총 소유 비용을 낮출 수 있습니다.
개요
- Finanz Informatik Technologie Service(FI-TS)는 독일의 주요 금융 서비스 및 보험 회사에 서비스를 제공하는 클라우드 서비스 제공업체(CSP)입니다.
- FI-TS는 3세대 인텔® 제온® 스케일러블 프로세서, 인텔® Optane™ 영구 메모리 200 시리즈 등 다양한 인텔® 하드웨어를 사용하는 효과적인 데이터베이스 솔루션의 개발을 위해 Lightbits Labs와 인텔을 선택했습니다.
오늘날의 데이터 센터에서는 스토리지 용량과 성능이 모두 제대로 활용되지 않는 경우가 많습니다. 거기에는 나름의 이유가 있습니다. 인프라는 특정 서버 또는 애플리케이션에 필요할 수도 있는 최대 수준의 스토리지와 최고의 성능 요구 사항을 지원할 수 있어야 합니다. 실제로 일반적인 배포에서 스토리지 성능 활용률과 스토리지 용량 활용률은 모두 낮거나 매우 낮습니다. 결과적으로 스토리지 솔루션은 이러한 단점을 해결하고 각 고객의 특정 요구 사항을 충족하기 위해 빠르게 진화하고 있습니다.
Finanz Informatik Technologie Service(FI-TS)는 독일의 주요 금융 서비스 및 보험 회사에 서비스를 제공하는 클라우드 서비스 제공업체(CSP)입니다. 이러한 대형 조직은 대규모 데이터베이스를 보유하고, 높은 수준의 성능을 요구하는 서비스를 제공하며, 안전한 인프라 서비스를 통해 이러한 요구를 충족하면서도 비용을 절감해야 합니다. 이러한 목표를 달성하려면, 높은 성능과 유연성을 유지하면서도 데이터를 효율적으로 확장하고, 활용도가 낮은 스토리지 용량을 제거할 수 있는 능력이 필요합니다. 이러한 문제에 직면한 FI-TS는 효과적인 솔루션의 개발을 위해 Lightbits Labs와 인텔에 지원을 요청했습니다.
스토리지 및 컨테이너 과제
FI-TS DevOps 팀은 내부적으로 설계된 NVM Express(NVMe) 기반 인프라에 구축된 클라우드 네이티브 서비스를 제공하기 위해 회사의 Kubernetes 기반 Finance Cloud Native 프로덕션 인터페이스를 엔지니어링하고 있었습니다. 솔루션의 가장 중요한 요건은 유럽연합(EU)과 독일의 데이터 규정 준수 법률을 충족해야 한다는 것이었습니다. 여기에는 독일 연방 금융 감독 기관인 BaFin에서 설립한 데이터 저장 규정 및 금융 규정이 포함됐습니다. 모든 영구 스토리지는 이 요건을 충족해야 했습니다.
불행히도 회사는 당시 직접 연결 방식의 NVMe 스토리지를 사용하고 있었기 때문에 FI-TS Kubernetes 환경 내에서 이러한 필수 요건을 충족하기는 상당히 까다로웠습니다. Kubernetes 오케스트레이션은 로컬 영구 볼륨(NVMe에서)을 허용했지만, 데이터 보호가 없었고 자체 고가용성을 위해서는 애플리케이션이 필요했습니다. 그렇지 않으면 다른 서버로 이동한 컨테이너가 이전에 작성된 데이터에 액세스할 수 없었습니다. 따라서 로컬 NVMe처럼 작동하고 컨테이너와 함께 작동하며 BaFin의 데이터 보호 및 보존 요구 사항을 따르는 중앙 집중식 중복 스토리지 솔루션이 필요했습니다.
FI-TS는 또한 스토리지 및 리소스 활용에 있어 비효율성을 경험하고 있었습니다. 회사가 보유한 레거시 DAS의 컴퓨팅 성능으로부터 독립된 방식으로 스토리지를 확장할 수 없었기 때문입니다. FI-TS는 이러한 문제를 해결하기 위해 기존 데이터 센터 스토리지 솔루션을 비롯한 여러 대안 솔루션을 살펴보았지만, 비용 구조가 회사의 비즈니스 사례에 맞지 않았습니다.
고가용성의 문제 다루기
FI-TS가 서비스를 제공하는 산업을 감안했을 때 FI-TS는 로컬 플래시 성능 속도로 고가용성을 보장할 수 있는 영구 스토리지가 필요했습니다. 또한 솔루션은 오케스트레이션 계층과 통합되고 CSI(공통 스토리지 인터페이스) 사양을 사용하여 Kubernetes와 긴밀하게 통합되도록 설계되어야 했습니다. 마지막으로, 여러 기관 고객이 플랫폼을 사용하기 때문에, 멀티테넌시를 지원하는 동시에 EU 및 독일의 엄격한 금융 및 개인 정보 보호 규정 준수를 보장하는 솔루션이 필요했습니다.
이러한 요구 사항을 염두에 두고 FI-TS는 인텔 파트너인 Lightbits Labs로 눈을 돌렸습니다. Lightbits는 LightOS에 구현되는 NVMe/TCP(NVMe over TCP) 표준을 개척했습니다. 이 표준은 Kubernetes에 대한 완전한 클라우드 네이티브 영구 스토리지 통합을 지원하며 클러스터링을 통해 전례 없는 확장성 및 가용성을 제공합니다. 최적화된 NVMe/TCP 프런트 엔드와 지능형 백엔드 플래시 관리를 통해 LightOS는 IOPS(초당 입출력 작업 처리 횟수)를 제공합니다. 애플리케이션의 관점에서 이는 직접 연결된 NVMe 솔리드 스테이트 드라이브(SSD)와 구별되지 않습니다. Lightbits와 인텔은 NVMe/TCP(NVMe over TCP)를 전파하고, 확장 가능하고 효율적이며 사용하기 쉬운 데이터 센터용 클라우드 네이티브 스토리지를 제공하기 위해 계속해서 협력하고 있습니다.
성공의 정의
여러 당면 과제를 해결하는 데 Lightbits와 인텔이 큰 도움이 되리라 판단한 FI-TS는 다음과 같이 솔루션 요구 사항을 정하며 협업을 시작했습니다.
- 스토리지 공간 감소와 변화하는 요구 사항에 따른 확장성
- 인프라를 구축하는 기관 고객에게 고가용성을 제공하는 클라우드 서비스용 영구 스토리지 기능
- API(특히 CSI 사양)를 사용하여 고객에게 직접 Kubernetes 액세스 권한을 부여하는 완전 자동화된 스토리지 아키텍처
- 컨테이너화된 환경 IaaS(Infrastructure-as-a-Service) 오퍼링을 위한 오케스트레이션
- 기존 인프라를 보완하는 NVMe 기술
초기의 심층적인 개념 증명(PoC) 프로세스를 완료한 후 FI-TS는 새로운 클라우드 네이티브 분산형 스토리지 솔루션이 영구 스토리지 기능 및 고가용성에 대한 중요한 요구 사항을 충족한다는 결론을 내렸습니다. FI-TS는 계속해서 Lightbits 및 인텔과 협력을 이어갔고 완전한 인텔 기반 프로덕션 환경을 구축했습니다.
퍼즐 조각 맞추기
Lightbits는 NVMe over TCP를 사용하기 때문에 이 솔루션은 이더넷 및 TCP/IP를 기반으로 구축된 FI-TS의 기존 인프라에서도 실행될 수 있었습니다. 따라서 RDMA(Remote Direct Memory Access) 기반 프로토콜 및 기타 스토리지 패브릭에 비해 확장이 간단하고 효율적일 수 있었습니다.
Lightbits와 인텔은 FI-TS의 엄격한 SLA(서비스 수준 계약) 요구 사항을 충족할 수 있었습니다. 그 결과 탄생한 Finance Cloud Native 서비스 솔루션은 컨테이너 볼륨을 위한 Lightbits LightOS 고성능 소프트웨어 정의 블록 스토리지를 다음을 포함한 다양한 인텔 하드웨어와 통합합니다.
- 3세대 인텔® 제온® 스케일러블 프로세서: 3세대 인텔 제온 스케일러블 프로세서는 고성능 및 가속화를 지원하고, 스토리지 소프트웨어에 최적화되어 있으며, 인텔® Volume Management Device(인텔® VMD) 및 엔터프라이즈급 SSD 핫플러그 기능을 포함하고 있습니다.
- 인텔® Optane™ 영구 메모리(PMem): 인텔 Optane PMem은 일반적인 DDR4 DRAM DIMM의 용량을 두 배 이상 늘리므로 각 서버의 활용도를 높여 TCO를 크게 낮출 수 있습니다. 또한 인텔 Optane PMem은 메모리 계층에서 데이터에 쉽게 액세스할 수 있도록 하여 높은 입/출력(I/O) 병목 현상을 해결하는 메모리 풀을 확장하므로 향후 요구 사항이 증가할 때 Finance Cloud Native 대용량 데이터 센터 요구 사항을 충족할 수 있습니다.
- 인텔® QLC 3D NAND SSD: 인텔 QLC 3D NAND 기술은 하드 디스크 드라이브(HDD) 전용 또는 하이브리드(HDD 및 트리플 레벨 셀[TLC] SSD) 시스템 설치 공간을 줄이는 데 도움이 되는 경제적인 솔루션에 탁월한 읽기 성능과 확장성을 갖춘 고용량 스토리지를 제공합니다.
- ADQ(Application Device Queues) 기술이 적용된 인텔® Ethernet 800 시리즈: ADQ 기술을 사용하면 NVMe-oF(NVMe over Fabrics)/TCP가 RDMA 기반 프로토콜과 동일한 범위에서 분산 스토리지 성능을 달성할 수 있고, 배포 및 확장성이 용이하여 광범위한 채택을 지원할 수 있습니다.
혁신은 이야기의 일부일 뿐입니다
FI-TS에게 가장 중요한 성과는 컨테이너화된 세계에서 한 발짝 도약하여, 로컬 플래시처럼 실행되면서 휴대성까지 지원하는 영구 스토리지를 고객에게 제공하고, Finance Cloud Native 서비스 비용 구조를 반영할 수 있다는 것이었습니다. 그러나 그 결과는 이 주목할 만한 혁신을 훨씬 뛰어넘었습니다. Lightbits와 Intel이 다른 핵심 FI-TS 요구 사항인 고가용성 그리고 CSI를 사용한 Kubernetes와의 긴밀한 통합까지 달성한 것입니다. 또한 Lightbits는 NVMe over TCP를 사용하기 때문에 이 솔루션은 이더넷 및 TCP/IP를 기반으로 구축된 FI-TS의 기존 인프라에서도 실행될 수 있었습니다. 따라서 RDMA 기반 패브릭 또는 기타 스토리지 패브릭에 비해 확장이 간단하고 효율적입니다.
"기본 FI-TS 스토리지 기술(최신 인텔 하드웨어 기술을 기반으로 한 LightOS 소프트웨어)은 고객에게 고성능 애플리케이션을 실행할 매우 간단하면서도 확장 가능한 방법을 제공합니다."
LightOS 스토리지는 차이를 만들어냅니다
Finance Cloud Native 서비스의 도입으로 FI-TS는 경쟁 제품보다 확연히 두드러지는 주요 차별화 요소를 제공할 수 있었습니다. 바로 고객 환경의 프로비저닝을 위한 완전 자동화된 API 기반의 유연하고 사용하기 쉬운 배포 모델입니다. 이 서비스는 높은 IOPS, 짧은 대기 시간(로드 상태에서도), 높은 대역폭, 일관된 응답 시간과 함께 고가용성을 제공합니다.
지능형 플래시 관리
Finance Cloud Native 서비스의 지능형 플래시 관리를 통해 최종 고객은 Kubernetes 환경의 베어메탈에서 서비스를 며칠이 아닌 몇 분 만에 가동할 수 있습니다.2 또한 이 서비스를 사용하면 고성능 소프트웨어 정의 볼륨을 쉽게 프로비저닝하면서 씬 프로비저닝, 압축, 스냅샷, 씬 클론 및 스토리지 QoS(서비스 품질)의 이점을 누릴 수 있습니다. 인텔 Optane PMem 모듈 내 임의 쓰기를 인식한 다음 QLC SSD에 순차적으로 쓰는 LightOS의 기능은 플래시 내구성을 확장합니다. 또한 이 솔루션은 인텔 Optane PMem 200 시리즈 및 3세대 인텔 제온 스케일러블 프로세서의 지원으로 동일한 컨테이너 갯수와 동일한 처리량을 유지하면서 노드당 704GB의 8노드 클러스터를 노드당 2,560GB의 5노드 클러스터로 통합했습니다.
안정성 및 확장성
LightOS는 Kubernetes 클러스터의 확장을 자동화합니다. 그 덕분에 Finance Cloud Native 고객은 스토리지 클러스터 전반의 동적 재조정 및 볼륨의 동적 크기 조정을 통해 스토리지 성능 또는 용량을 독립적으로 확장할 수 있는 스케일 아웃(scale-out) 아키텍처 등으로 민첩성을 확보할 수 있습니다. 이 세분화된 접근 방식은 성능 요구 사항을 충족하기 위해 필요에 따라 스토리지와 컴퓨팅의 비율을 변경할 수 있는 완벽한 유연성을 제공합니다. 드라이브 및 서버 장애 보호, 고가용성 관리 및 검색 서비스, 수십 만 명의 클라이언트에게 안심하고 서비스를 제공할 수 있는 기능 등으로 안정성이 보장됩니다.
강화된 보안 및 완벽한 규정 준수
LightOS는 전용 컴퓨팅 서버와 Lightbits 스토리지를 완전히 분리하여 여러 프로젝트와 테넌트를 지원하므로 모든 FI-TS 고객은 프로덕션 환경의 보안 기능을 신뢰할 수 있습니다. Finance Cloud Native 고객은 또한 최종 고객 데이터가 유럽 및 독일 규정에 따라 매우 안전하게 보호된다는 확신을 가질 수 있습니다. 솔루션이 FI-TS의 차별화를 주도합니다 Lightbits 및 인텔 솔루션 덕분에 FI-TS는 더욱 쉽게 고객 배포를 수행할 수 있게 되었습니다. Finance Cloud Native 서비스는 독점 클라이언트 소프트웨어를 사용하지 않고 간단하게 애플리케이션 환경을 통합하고 표준 TCP/IP 네트워크 인프라를 제공하기 때문입니다. 업계 표준 스토리지 서버 하드웨어를 지원하므로 비용도 적정 수준으로 관리할 수 있습니다. 궁극적으로 FI-TS는 Lightbits 및 인텔과의 협력을 통해 리소스 활용도를 높이고, 성능을 향상시키며, 데이터를 보다 효율적으로 확장하고, TCO를 절감할 수 있었습니다. 더욱이 FI-TS는 고객의 가장 중요한 요구 사항을 충족하는 매우 차별화된 서비스를 제공할 수 있었습니다.
"LightBits OS 소프트웨어와 인텔 하드웨어를 기반으로 설계된 플랫폼 덕분에 우리는 고객이 원하는 성능을 제공하고, 고객에게 데이터가 안전하다고 자신 있게 말할 수 있게 되었습니다."