델테크놀로지 The Six Five Summit: AI Unleashed 2026

네, 데이브, 아주 좋은 질문이고요. 정말 흥미로운 주제입니다. 지난 몇 년간 저희는 트레이닝에 대해 이야기해 왔습니다. 솔직히 말해서 트레이닝용 인프라와 프로덕션에서의 에이전틱을 놓고 보면, 에이전틱은 분명 인퍼런스 문제이고, 그 모습은 트레이닝과는 전혀 다릅니다. 혹은 심지어 1~2년 전만 해도 우리가 인퍼런스를 생각하거나 그에 맞춰 규모를 산정했던 방식과도 전혀 다릅니다. 생각해 볼 것이 몇 가지 있습니다. 첫째로, 많은 측면에서 메모리가 병목 자원이 됩니다. 트레이닝에서는 컴퓨트와 인터커넥트가 핵심입니다. 에이전틱 인퍼런스에서는 메모리가 핵심입니다. 에이전트는 많은 호출이 오가는 장시간 워크플로 전반에 걸쳐 상태를 유지하고, 다른 에이전트를 호출하기도 합니다. 이런 것들이 KV 캐시 안에 존재합니다.

큰 컨텍스트 윈도우에 20~30턴만 줘도 메모리 용량이 꽤 빨리 바닥나고, 컴퓨트 성능이 다 떨어지기 훨씬 전에 메모리 대역폭이 먼저 한계에 닿습니다. 그러면 실제로 무엇을 구매해야 하는지가 바뀌고, 액셀러레이터당 용량이 피크 처리량보다 조금 더 중요해지기 시작합니다. 절대적인 속도를 최우선으로 하는 게 아닙니다. 동시에 더 많이 처리할 수 있는 쪽을 보게 됩니다. 메모리는 정말 중요한 이슈이고, 그건 또 다른 무언가로 이어집니다. 지난 4년 동안 저희가 GPU에 대해 이야기해 왔고, 모두 GPU를 좋아하고 또 각별한 애정을 갖고 있지만, CPU가 다시 논의의 중심으로 돌아왔고, 이는 전체 방정식에서 매우 핵심적인 요소입니다. 아직 이것이 완전히 가격에 반영되었다고는 보지 않습니다. CPU는, 제가 말씀드렸듯이, 오케스트레이터 역할을 하게 됩니다. 결정을 내리고, 모든 분기 로직을 처리하며, 제가 언급했듯이 도구를 호출하고, 리트리벌과 샌드박스 코드 실행 같은 것들, 그리고 에이전트 간 조율까지 전부 수행합니다.

이 모든 것은 CPU에서 일어나고, CPU에서 시작됩니다. 흥미로운 점은, 엔비디아가 대만에서 열린 GTC에서 에이전틱이 CPU에 미치는 영향을 이야기하면서, 전통적인 AI에서의 GPU 대 CPU 비율을 대략 8대 1 또는 16대 1 정도로 언급했는데, 정확한 수치는 기억나지 않습니다. 에이전틱이 선택되는 워크로드로 들어오면서 그 비율이 2대 1로 내려갔고, 그들의 모델링에서는 1대 1까지 내려갔습니다. CPU는 정말 큰 이슈입니다. 세 번째는, 흥미로운 주제로 넘어가고 싶어 하실 걸 알아서 짧게 말씀드리겠습니다만, 지연시간, 즉 레이턴시에 관한 이야기입니다.

데모를 하거나 파일럿, 그러니까 에이전틱 파일럿을 할 때는 에이전트가 몇 번 호출을 하고, 그럴듯해 보입니다. 그러면 활용률이 조금씩, 점점 더 올라가기 시작하는 게 보입니다. 그걸 팀 내 수백 명, 회사 전체 수천 명, 수만 명 규모의 프로덕션에 적용하고, 수만·수십만 개의 에이전트가 협업해서 동작하게 되면, 레이턴시가 실제로 큰 문제가 됩니다. 용량 문제는 아닙니다. 꼬리 구간의 문제입니다. 노드를 추가하는 것만으로는 해결할 수 없습니다. 여기서 멈추겠습니다. 알리스테어가 지금이라도 바로 의견을 보태고 싶어 하는 것 같네요.

좋습니다. 그럼 AI 인프라 트랙을 시작해보죠. AI 어시스턴스에서 진정한 자율형 엔터프라이즈로 넘어갈 때 에이전틱 AI를 현실로 만들려면 무엇이 필요한지라는 질문을 두고, 델의 글로벌 CTO 겸 최고 AI 책임자(Chief AI Officer)인 존 로이스와 이야기를 나눌 기회가 있었습니다. 존의 말씀을 들어보시죠. 안녕하세요, 여러분. 더 식스 파이브 서밋, ‘AI 언리시드 2026’에 오신 것을 환영합니다. 이번 AI 인프라 트랙 오프닝에서는 기업들이 AI 실험 단계에서 운영 혁신으로 어떻게 전환하는지를 살펴보겠습니다. 함께해 주실 분은 델 테크놀로지스의 글로벌 최고기술책임자(CTO) 겸 최고 AI 책임자(Chief AI Officer)인 존 로이스입니다. 존, 식스 파이브에 오신 것을 환영합니다.

함께하게 되어 기쁩니다. AI를 둘러싼 기대감은 식을 줄 모르고, 많은 조직들이 파일럿과 PoC를 넘어 무엇을 할지 이야기하고 있습니다.

에이전틱 AI가 정말 프로덕션에 투입할 준비가 됐다고 확신하게 만드는 것은 무엇인가요?

좋습니다. 그렇게 하셔야 합니다.

그건 정말 중요합니다. 저희는 독점 데이터를 ‘열어주는’ 것만으로도 델에 엄청난 영향을 미쳤습니다. 비용 구조와 매출 성장의 연동을 완전히 끊어냈고, 훌륭합니다. 할 가치가 있습니다. 두 번째 단계, 즉 저희가 에이전틱으로 넘어가는 단계는 다릅니다. 단순히 데이터를 열어주는 게 아닙니다. 여러분이 하는 일은 업무를 디지털화하는 것입니다. 말 그대로 사람의 일을 기계로 옮기는 것입니다. 그 업무는 아주 단순할 수도 있습니다. 그저 자율적인 작업일 수도 있죠. 예를 들어 제 출장 예약을 잡아준다든지, 이 내용을 요약해준다든지 하는 것인데, 어떤 인간의 가이드나 감독 없이 수행됩니다. 또는 훨씬 더 중요한 작업일 수도 있습니다. 예를 들어 제 CRM 데이터를 정리해준다든지, 저를 위해 이 소프트웨어를 만들어준다든지요. 이건 완전히 다른 세계이고, 제 생각에 한 가지 과제는 그 전환점이 꽤 갑작스럽게 찾아왔다는 사실을 사람들이 아직 충분히 이해하지 못했다는 점입니다. 인프라도 다릅니다. 기술 스택도 다릅니다.