델 테크놀로지스 The Six Five Summit: AI Unleashed 2026

5656565656565. 저희는 지금 로드쇼 현장에 나와 있습니다.

식스 파이브가 지금 부스에 나와 있습니다.

여기 있는 건 5세대 SSD입니다.

정말로 그동안 저희가 해온 모든 작업의 결과라고 할 수 있습니다.

저희는 지금 GTC에 와 있습니다.

모바일 월드 콩그레스. IBM이라고 생각합니다.

다보스에 오신 것을 환영합니다. 이것은 AI의 다음 단계입니다.

오늘날 여러분의 기업에서 만들어낼 수 있는 혁신의 규모는 엄청납니다.

연례 6-5 서밋이 진행 중입니다.

지금까지 기업용 AI 변곡점에 대해 말씀해 주신 분은 스노우플레이크의 스리다르 라마스와미였습니다. 그리고 왜 데이터가 경쟁 우위의 해자인지에 대한 이야기입니다. 이제 AI 인프라로 넘어가겠습니다. 델은 이제 생성형 AI가 더 이상 인프라 이야기만은 아니라는 점을 강조하고 있습니다. 이는 운영 계층에 관한 이야기입니다. 무엇이 사실이어야 합니까? 그 아래에서 그것이 실제로 프로덕션 환경에서 작동하려면 무엇이 사실이어야 하는지, 이 세션에서 하나씩 풀어보겠습니다. 그렇다면 매트, 생성형 AI가 지금 단계에서 다음 단계로 넘어가려면 인프라에 대한 논의가 실제로 어디로 옮겨가야 합니까? 데모에서 프로덕션으로요? 네, 아주 좋은 질문입니다.

데이브. 그리고 이건 정말 흥미로운 주제죠, 그렇죠? 지난 몇 년 동안 저희는 트레이닝에 대해서 이야기해 왔습니다. 트레이닝, 트레이닝, 그리고 솔직히 말씀드리면 트레이닝을 위한 인프라와 에이전틱, 그리고 프로덕션을 위한 인프라를 들여다보면, 에이전틱은 분명히 추론(inference) 문제입니다. 그리고 그건 트레이닝과는 전혀 다르게 보입니다. 그렇죠? 아니면 추론처럼도 보이지 않습니다. 불과 몇 년 전만 해도 저희가 추론 워크로드를 기준으로 산정했던 규모조차도요. 그리고 생각해봐야 할 것들이 몇 가지가 있습니다, 그렇죠? 첫 번째는, 여러 측면에서 메모리가 일종의 병목 자원이 된다는 점입니다. 그리고 학습은 컴퓨트와 인터커넥트의 문제이고, 에이전틱 추론은 메모리와 에이징의 문제입니다. 여러 번 호출이 발생하고 다른 에이전트도 호출하는 이런 장시간 실행 워크플로우 전반에 걸쳐 상태를 유지하는 것이죠, 그렇죠? 이런 것들은 KB 캐시 안에 상주하는데, 큰 컨텍스트 윈도우에 20~30턴 정도만 돌려도 메모리 대역폭 측면에서 메모리 용량이 금방 한계에 도달합니다. 컴퓨트 성능이 한계에 도달하기 훨씬 전이죠. 그래서 실제로 무엇을 구매해야 하는지가 달라집니다. 그리고 용량 측면에서 이점이 있는 가속기가 피크 처리량보다 조금 더 중요해지기 시작하죠, 그렇죠?

절대적인 속도를 추구하는 게 아닙니다. 여러분은 절대적인 속도가 아니라, 점점 더 많은 것을 동시에 처리할 수 있는 능력을 찾고 계신 겁니다. 그래서 메모리는 정말 중요한 이슈입니다. 그리고 그건 다른 한 가지와도 연결됩니다. 지난 4년간 GPU에 대해 계속 이야기해 왔고 우리 모두 GPU를 좋아하며 정말 애정도 크지만, CPU가 다시 흐름 속으로 돌아왔고 이는 전체 방정식에서 핵심적인 부분입니다. 그리고 이 부분이 아직 시장에서 완전히 가격에 반영된 것 같지는 않습니다. 제가 말씀드린 대로 CPU는, 말하자면, 오케스트레이터 역할을 하게 됩니다. CPU는 의사결정을 내리고, 모든 분기 로직을 처리하며, 제가 말씀드린 것처럼 툴을 호출하고, 리트리벌을 수행하고, 샌드박스 환경에서 코드 실행까지 하는 등, 그런 모든 것과 에이전트 간 조율을 담당합니다. 이 모든 것은 CPU에서 비롯됩니다. 그리고 흥미로운 점은, 아시다시피 엔비디아가 대만에서 열린 GTC에서 에이전틱이 CPU에 미치는 영향에 대해 언급했다는 것입니다. 그리고 그들은 GPU 대비 CPU 비율이 어느 정도 수준인지에 대해서도 언급했습니다. 제 기억으로는 8대 1 또는 16대 1 정도였던 것 같습니다. 전통적인 AI에서는 정확한 수치가 기억나지 않습니다. 그리고 에이전틱으로 넘어가면서, 선호되는 워크로드가 되자 그 비율이 그들의 모델링에서는 2대 1로 내려갔다가 이후 1대 1까지 내려갔습니다.

그래서 CPU는 정말, 정말 큰 이슈입니다. 그리고 세 번째는, 흥미로운 내용으로 빨리 넘어가고 싶으실 테니 짧게 말씀드리겠습니다만, 결국 지연시간에 관한 이야기입니다, 그렇죠? 데모를 하시거나 파일럿을 진행하실 때는, 그러니까 파일럿을, 아시다시피, 그… 그러니까 에이전틱 콜에서는, 아시다시피, 에이전트가 몇 번 통화를 하면 그럴듯해 보입니다. 그러면 활용률이 조금씩 더, 그리고 더 올라가기 시작하는 걸 확인하실 수 있습니다. 그걸 실제 운영 환경에 투입하십니다. 팀 내 수백 명, 회사 전체로는 수천 명, 나아가 수만 명 규모에서 수십만 명의 에이전트들이 협업해 움직이게 되면, 지연 시간은 정말, 정말 큰 문제가 됩니다. 이는 용량의 문제가 아닙니다. 오히려 일종의 꼬리 구간 문제에 가깝습니다. 노드를 추가하는 것만으로는 해결할 수 없습니다. 앨리스테어가 의견을 보태고 싶어서 안달이 난 것 같으니, 저는 여기서 마치겠습니다.

따라서 전환 과정에서 중요한 사항들을 여러 가지로 겪어 오셨는데, 에이전틱 추론은 학습과는 매우 다르다는 점입니다. 그리고 또 다른 차이점 중 하나는, 에이전틱 추론이 필요로 하는 데이터의 유형이 다르다는 점입니다. 그리고 그 데이터가 변화하는 속도도 다릅니다. 학습에서는 비교적 정적인 매우 큰 데이터 세트를 다루지만, 추론에서는 매우 최신의 데이터이면서도 매우 구체적인 데이터를 다루기를 원합니다. 따라서 매우 타깃팅된 데이터의 폭발적인 공급을 제공할 수 있는 역량이 정말로 중요합니다. 또 다른 점은, 말씀하신 것처럼, 유용한 일을 하는 에이전트 1~2개를 데모로 보여줄 수 있는 수준에서 실제로 수백 개의 에이전트를 운영할 수 있는 수준으로 넘어가는 것입니다. 이를 위해서는 에이전트를 제공하는 방식이 과학 프로젝트식 접근이 아니라 플랫폼 접근 방식이어야 합니다. 그리고 이것은 매우 중요한 전환인데요, 학습을 위해서는 단일 워크로드가 장기간 실행되기 때문에 특정 목적에 맞춰 고도로 튜닝된 환경을 구축할 수 있는 반면, 에이전트를 운영하는 데 플랫폼 접근 방식을 취할 때는 시간이 지나면서 우리가 활용할 수 있는 다양한 에이전트 전반에 걸쳐 적용될 수 있는, 훨씬 더 범용적이고 재사용 가능하며 신뢰할 수 있는 기술이 필요합니다.