Rita Kozlov와 함께하는 개인정보보호, AI, 클라우드 컴퓨팅의 미래

내레이터: TechArena에 오신 것을 환영합니다. 기술 분야를 선도하는 혁신가들과 우리 진행자인 Allyson Klein이 하는 진솔한 대화를 들어보세요. 시작해 볼까요?

Allyson Klein: TechArena 데이터 인사이트 시리즈에 오신 것을 환영합니다. 제 이름은 Allyson Klein이고요, 공동 진행자 Solidigm의 Jeniece Wnorowski를 소개합니다. 어서 오세요, Jeniece. 안녕하세요?

Jeniece Wnorowski: 안녕하세요. 정말 감사합니다. 저는 잘 지내고요, 돌아오니 좋습니다.

Allyson: Jeniece, 오늘 멋진 인터뷰가 기다리고 있죠? 우리 게스트를 소개해 주시겠어요?

Jeniece: 네. 오늘 정말 기대됩니다. 오늘 특별 게스트인 Cloudflare의 Rita Kozlov 님을 모셨는데요. 제품 부문의 부사장입니다. 오늘 Cloudflare에 관해서 알아보죠.

Allyson: 어서 오세요, Rita.

Rita Kozlov: 감사합니다. 초대해 주셔서 감사해요.

Allyson: 이번 주 내내 이 인터뷰를 기다렸는데요. 전에도 이 프로그램에 Cloudflare가 출연한 적이 있는데 부사장님은 처음이시죠. 회사에서의 직분과 Cloudflare의 더 큰 사명에 어떻게 관여하고 계신지 소개해 주시죠.

Rita: 물론이죠. Cloudflare에서 일한 지 8년 되었는데요, 그 기간 동안 제 역할이 몇 번 바뀌었습니다. Cloudflare에서 고객에게 제공하는 서비스는 크게 세 가지 종류가 있다고 할 수 있어요. 저희는 대부분 CDN [Cloud Delivery Network], WAF [Web Application Firewall], DDoS [protection. Distributed Denial of Service protection] 서비스로 잘 알려져 있죠. 애플리케이션 서비스입니다. 애플리케이션을 어떻게 보호, 보안 및 가속화할 수 있을까요? 또 제로 트러스트 서비스 몇 가지가 있는데 직원의 기기를 보호하는 방법과 네트워크에 연결하는 방법에 관한 것입니다. 그러면 내부적으로는 그 측면의 보안 처리를 어떻게 하시나요? 다음엔 네트워크를 구축했으니 이런 일들을 벌써 하고 있어요. 개발자들이 직접 구축할 수 있도록 어떻게 오픈하나요? 저는 전체의 개발자 제품을 지원하는 일을 하는데 개발자들이 이 인프라상에서 애플리케이션을 구축하도록 돕는 일입니다. 역량을 강화해 주고 인프라 확장, 유지 또는 관리에 대해 걱정하지 않아도 되게 해 주죠. 코드 쓰기에 집중할 수 있고 쉽게 영에서부터 MVP([Minimum Viable Product]) 그 이상이 되게 해 주는 일 그런 것들이에요.

Jeniece: 좋습니다. 말 나온 김에, Rita 부사장님은 Cloudflare 제품 실행을 하시죠? 말씀하신 솔루션의 관점에서 이것이 뭘 의미하는지 말씀해 주시겠어요?

Rita: 네, 물론이죠. 저는 우리 개발자 플랫폼에 제품을 체계화하는 일을 관리해요. 우리 솔루션이 어떤 것인지 정의하는 것을 도와주는 프로젝트 매니저 팀을 관리하는 거죠. 이는 개발자들이 우리 플랫폼에서 어떻게 상호작용하는지부터, 코드 쓰기를 어떻게 하는지, 어떻게 테스트하는지, 이들을 우리 개발자 플랫폼에서 어떻게 온보딩할지, Hello World를 어떻게 성공적으로 쓰도록 할지, 그리고 세상에 점차적으로 이들의 코드를 출시할 도구를 어떻게 제공할지도 있죠. 그리고 그런 측면에서와 풀스택 애플리케이션을 구축하도록 지원하기 위해서 개발자들에게 제공해야 할 모든 도구 측면, 이 양쪽으로 우리 제품 전략을 정의하는 일이에요.

Allyson: 이런 면에서, Cloudflare가 아주 관련이 깊은 것 중 하나는 분산 컴퓨팅 네트워크입니다. 왜 이것이 전형적인 클라우드의 형태인가요? 그리고 Cloudflare의 기술 우선순위에 이것이 의미하는 것이 무엇인가요?

Rita: 전에 다른 클라우드 제공업체를 이용해 보셨다면 그들이 제일 먼저 요청하는 것이 지역을 선택하라는 거예요. 만일 AWS를 사용한다면 드롭다운이 있어서 예를 들어, 미국 동부나 유럽 중 유럽을 선택할 수 있죠. 그리고 결국에는 이게 개발자로서 먼저 내려야 하는 결정이에요. 가장 먼저 하는 일이에요. 선택하는 사항은 사실 어떤 고객을 가장 중요하게 생각하느냐이죠. 미국을 선택한다면 그 이외 세계에서는 내 애플리케이션에 액세스하는 데 더 큰 지연이 생겨요. 이것이 지역 서비스를 위해 구축된 클라우드 제공업체에 구축하는 것과 비교할 때 이 네트워크상에 구축한다는 것의 일부분이라고 생각합니다. 이것을 확장하고 싶다면 로드 밸런싱 및 여러 지역의 모든 것을 복제하는 것을 포함한 복잡한 설정을 해야 합니다. 이런 것은 간단하지는 않죠. 이것이 최종 사용자가 경험하는 것인데, 아주 좋은 것이죠. 지연되는 것이 더 좋습니다. 하지만 또 다른 부분은 개발자가 경험하는 것이죠. 모든 것을 네트워크 수준으로 실행함으로써 개발자들은 인프라 위에 덮어씌우는 것이 아닌 더 높은 수준의 추상화를 다룰 수 있습니다. 이해가 되신다면요.

Jeniece: 네, 이해가 잘 되네요. 분명 오늘, AI가 우리 관심의 초점이라는 것을 알겠어요. 하지만 궁금하네요, Rita. AI가 요구사항에 어떻게 맞아 떨어지는지와 요구사항은 무엇인지, 그리고 팀이 계속 혁신하기 위해서는 팀에게 이것이 어떤 의미인지 고객들은 어떤 의견을 말하나요?

Rita: AI 워크로드 요구사항에 관해서는 다양한 의견을 듣습니다. 모든 고객의 여정은 조금 다르기 때문에요. 첫 번째는 운영적 AI입니다. 팀은 내부를 들여다보며, 우리 직원들과 개발자들과 내 팀을 더 빠르게 운영하기 위해 어떻게 AI를 사용해서 힘을 강화해야할지 생각합니다. 바로 여기에서 많은 실험이 시작됩니다. 그래서 가장 일반적인 AI를 실험적으로 사용하는 단계는 코드 생성부터입니다. 또한 개발자들이 그 이익을 빨리 캐치할 수 있죠. 갑자기 훨씬 빠르게 작업할 수 있으니까요. 지금 투자하고 있는 부분이고 개발자들이 이런 유형의 제품을 사용하고 있다면 우리 개발자 플랫폼을 사용하기에 편리하게 만들어 줄 방법을 찾고 있어요. 두 번째 부분은 운영적 AI를 다 알고 나면, 또는 운영적 AI 내부에서, 이것을 어떻게 생산으로 연결할까 또는 고객에게 소개해야 할까라는 질문이 생겨요. 앞서 개발자들이 풀스택 애플리케이션을 구축하도록 지원하는 것에 대해 언급했는데 개발자의 기대에서부터 AI가 정말 스택의 일부분이 되어가는 것을 보고 있어요. 이전에는 애플리케이션을 구성하는 구성요소를 본다면 프런트엔드가 있고 백엔드가 있는데, API와 데이터베이스입니다. 분명히 이것은 아주 단순화해서 보는 시각이고 컴퓨팅, 스토리지, 데이터가 있죠. 이제 모든 단일 애플리케이션은 어떤 형태로든 AI의 구성요소를 갖추고 있어요. AI가 다음 행동을 예측하려고 하거나 다음 행동을 지원하는 것일 수도 있고 따라서 이렇게 하려면 모델을 실행해야 합니다. 팀을 대표해 질문에 답변하거나 더 의미론적인 검색으로 대체할 수 있는 자동화 챗봇을 원한다면, 예를 들어, 많은 박스에 체크하는 대신에 “특정 종류의 행사를 위해 특정 유형의 드레스를 찾아주세요.”라고 질문할 수 있죠. AI가 이런 방식으로 제품에 점점 더 통합되면서 이것이 개발자들의 기대를 변화시키고 있습니다. 그 결과, 이를 지원하기 위해 AI 제품군들을 출시했습니다.

Allyson: 분명히 Cloudflare는 자체적으로만 운영되지 않죠. 함께 작업하는 전체 에코시스템이 있어서 이 독특한 성능을 시장에 제공하게 됩니다. 고객이 찾고 있는 솔루션을 제공하기 위해 에코시스템에 어떤 접근 방식을 사용합니까? 특히 AI가 중요한 역할을 하는 이 시기에는요? 그리고 이것이 목표로 하는 인프라와 소프트웨어 유형에 어떤 의미가 있나요?

Rita: 제공업체 또는 에코시스템에 관해서는, 먼저 오픈소스 AI가 유해하는 시기에 AI 작업을 할 수 있어서 아주 큰 행운이에요. Hugging Face에서 해 온 작업과 그들의 모델을 Cloudflare 모델 카탈로그에 통합하는 것에 매우 기대가 되고 있습니다. 전반적으로 우리는 오픈소스를 항상 지지해 왔거든요. 그래서 그 방향으로 빠르게 전환하는 것이 합리적이었습니다. 또 다른 점은, 에코시스템이 가장 빠르게 이동하는 곳은 모델과 모델 자체가 얼마나 빨리 변화하는가이죠. 그래서 Meta와 같은 모델 제공업체를 찾고 이들과 협력을 해서 개발자들이 이러한 도구들이 출시되는 대로 액세스할 수 있도록 합니다.

Jeniece: 전체 데이터 파이프라인의 관점애서 AI 배치를 볼 때, 데이터의 사전 훈련/사후 훈련까지 모든 것, 미세 조정, 그리고 최종 재추론까지, Cloudflare가 우선시되는 파트너로 등극하게 될까요? 그리고 이것이 제품 전략에 어떻게 영향을 미쳤나요?

Rita: Cloudflare가 어디에서 AI에 있어 역할을 담당하는 것이 합리적인가를 본다면, 가장 먼저 알아본 것은 바로 훈련과 추론이었습니다. 컴퓨팅 관점에서 보면 적어도 추론 분야에서는 별로 역할이 없습니다. 이것은 전통적인 하이퍼스케일러들이 더 체계가 잡혀 있는 것입니다. 왜냐하면 이러한 유형의 워크로드를 실행하기 위해서는 공동 위치에 있는 많은 양의 GPU 리소스가 있는 아주 방대한 데이터센터가 필요하기 때문이죠. 하지만 Cloudflare를 사용하는 많은 개발자들이 의지하는 훈련 측면에서도 데이터를 저장하기 위한 것입니다. 우리의 목표 스토리지 솔루션인 [Cloudflare] R2에 대한 관심이 높아졌는데요. 특히 그 당시에 심각한 GPU 부족 사태가 있어서 개발자들이 여러 개의 공급업체들에 걸쳐 작업했어야 했거든요. 여기서 바로 퇴장 비용이 실제로 늘어나기 시작했는데 퇴장 비용이 없는 솔루션은 아주 큰 차이가 있었죠. 두 번째이지만 추론 측면이 Cloudflare에게 아주 큰 기회가 엿보이는 곳이에요. AI를 실행하는 것이 합리적인 영역이 세 가지가 있습니다. 두 가지 분명한 것은 먼저, 훈련에 대해 언급한 하이퍼스케일러겠죠. 하지만 문제는 AI가 점점 더 보편화됨에 따라 이러한 워크로드가 성능 면에서 점점 요구가 많아질 거라는 점입니다. 웹에서도 동일한 일이 있어났죠. 하루에 몇 번씩 AI와 상호작용한다면 실시간 피드백을 원하고 모든 것을 즉시 얻는 것 같은 느낌을 받기 원합니다. 따라서 아직 거기까지는 멀기 때문에 이상적이지 않아요. 다음에는 AI의 하위 집합을 실행하는 기기가 있죠. 기기에 많은 것들을 통합하는 Apple의 발표를 보셨겠지만 궁극적으로 기기들은 그 하드웨어 성능에 의해 한계에 부딪힐 것입니다. 따라서 저희는 Cloudflare가 기기 자체에 실행하지 않으면서도 사용자 가까이에서 실행할 수 있는 완벽한 공간이라고 봅니다. 모델 훈련이 마무리 단계에 접어들고 추론이 주요 워크로드가 되면서 우리는 좋은 위치에 있고 [we are] 이것들을 추진하는 데 유리한 위치에 있다고 생각합니다.

Allyson: 이 이야기를 하실 때 제 생각에는 굉장히 다양한 국가들에 걸쳐 운영하고 계시는데, AI에 있어서라면 많은 고객 데이터를 사용하고 계시잖아요. 데이터 보안, 개인정보보호 및 데이터 주권과 같은 것들은 어떻게 고려되어야 할까요? 그리고 Cloudflare는 고객들과 이것을 어떻게 대응하고 있나요?

Rita: 아주 중요한 질문입니다. 추론의 관점에서 보면, 사실 그게 우리의 가장 큰 차별점이라고 보고 있는데 우리는 모델 훈련을 시키는 데 고객 데이터를 사용하지 않고 있습니다. Cloudflare는 그런 방식을 사용하지 않습니다. 저희는 OpenAI가 아니거든요. 저희는 기초 모델을 훈련하는 것이 아닙니다. 따라서 모든 단일 추론은 완전히 무상태입니다. 저희 벡터 데이터베이스와 같은 제품을 사용하기로 선택하지 않는다면요. 여기에서는 인덱스와 거기에 저장된 데이터를 완벽하게 제어할 수 있습니다. 그 이외에는 데이터가 저장되지 않습니다. 이런 측면에서 Cloudflare는 개인정보보호를 우선으로 하는 공급업체입니다. 데이터 주권에 대한 구체적인 질문에 관해서도, 여기서 우리 네트워크가 강력한 주요 업체라고 생각합니다. 왜냐하면 AI가 실행되는 특정한 곳의 범위를 좁힐 수 있기 때문입니다. 특정 법에 근거해 지역에 따라 제한이 있다거나 추론을 지역 내에서 하고 싶다면 말이죠.

Jeniece: 네, Rita. Cloudflare는 단지 개인정보보호를 우선으로 하는 제공업체일뿐 아니라, 저희는 또한 지속가능한 컴퓨팅 분야를 선도하는 것으로 널리 알려져 있습니다. 이것이 작동하는 방식에 대한 의견을 들어보고 싶습니다.

Rita: 몇 가지가 있습니다. 그 하나는, 사용자와 가까이에서 실행할 수 있다는 점을 큰 장점으로 봅니다. 왜냐하면 세계 전체에서 데이터를 주고받는 데이터를 모두 실행할 필요가 없기 때문에 정말 많은 절약이 되죠. 두 번째는 리소스를 프로비저닝하는 것에 대해 어떻게 생각하는지에 관한 것입니다. 시장에서 보는 많은 AI의 타사 솔루션들은 AI 리소스를 사전 프로비저닝해야 하는 VM[virtual machines]으로 취급합니다. 개발자로서 필요한 인스턴스 수가 얼마나 될지 미리 고려해 봐야 합니다. 이것은 유연하지 않은 방식입니다. 왜냐하면 피크 트래픽이 어느 정도 될지 미리 생각해 봐야 한다는 건데, 이것은 리소스를 활용하기에 비효율적인 방식입니다. 트래픽이 많지 않을 때는 아무 것도 하지 않는 많은 리소스를 얻게 되고 다음에 트래픽이 갑자기 많아지는 일이 발생합니다. 아직도 프로비저닝을 하고 있다면 프로비저닝을 더 많이 해야 합니다. 이에 반해, Workers AI와 우리 전체 개발자 플랫폼을 바라보는 방식은 사실 서버리스입니다. 필요에 따라 확장하거나 축소할 수 있죠. 다양한 모든 테넌트를 모두 관리할 수 있습니다. 이것은 장기적으로는 훨씬 지속가능한 방식으로 확장하는 방법입니다.

Allyson: Rita, 오늘 이 자리에 나와 주셔서 정말 감사합니다. Cloudflare에 관해서 많은 걸 알게 되었고, 즉시 고객에게 서비스를 전달하려는 노력이 어떤 것인지 잘 알았습니다. 정말 혼란스러운 시기인데, Cloudflare는 훌륭하게 앞서 나가고 있는 것으로 보입니다. 사람들이 Rita와 더욱 많은 이야기를 나누고 싶어할 것입니다. 오늘 언급하신 서비스를 어디에서 찾을 수 있고 Cloudflare 팀과 어떻게 연락할 수 있나요?

Rita: 사람들과 대화를 환영합니다. 우리 엔지니어들과 우리 팀과 대화하고 싶다면 우리 개발자 Discord 계정인 discord.gg/cloudflaredev를 추천합니다. 또 저희 AI 서비스는 ai.cloudflare.com로 가시면 목록을 볼 수 있고 상세한 세부 사항에 대해 알아볼 수 있습니다. 이 두 가지 정보로 저희를 찾을 수 있습니다.

Allyson: 오늘 나와 주셔서 대단히 감사합니다. Jeniece, 또 한 회의 멋진 TechArena Data Insights의 에피소드였죠? 함께해 주시고 업계의 리더들과의 훌륭한 대화를 공유해 주셔서 감사합니다.

Jeniece: 감사합니다, Allyson. Rita 부사장님께도 다시 한 번 감사드립니다. 정말 좋은 시간이었습니다.

Rita: 초대해 주셔서 다시 한 번 감사합니다.

내레이터: TechArena를 들어 주셔서 감사합니다. 구독하고 저희 웹사이트, thetecharena.net에서 대화를 나누세요. 모든 콘텐츠의 저작권은 TechArena에 있습니다.

허가를 받고 사용했습니다.