인텔 The Six Five Summit: AI Unleashed 2026

여러분, 안녕하세요. The Six Five Summit 2026, ‘AI Unleashed’에 오신 것을 환영합니다. 오늘은 또 다른 ‘AI 인프라 스포트라이트’ 세션으로 대화를 이어가겠습니다. 저는 라이언 슈라우트이고, 동료인 맷 킴볼과 함께하고 있습니다. 오늘은 거의 모든 기업이 지금 씨름하고 있는 과제에 대해 이야기해 보겠습니다. AI 인프라를 어떻게 구축해야 할까요? 그리고 충분히 빠르게 어떻게 구축할 수 있을까요? 또 파일럿을 넘어 실제 프로덕션으로 확장할 수 있도록, 충분히 유연하면서도 비용 효율적으로 어떻게 구축하느냐 하는 문제인데요. 요즘 저희가 꽤 자주 다루는 주제이기도 합니다. 오늘 이 대화에는 제 좋은 친구인 인텔 데이터센터 부문 AI 제품 및 Go-To-Market 담당 부사장, 아닐 난두리가 함께해 주십니다. The Six Five에 다시 오신 것을 환영합니다, 아닐.

안녕하세요, 라이언. 잘 지내셨나요? 오랜만이네요. 잘 지내고 있습니다.

이 대화가 기대됩니다. 여러분 쪽에서 흥미로운 일이 많이 진행 중인 걸로 알고 있습니다.

아니요, 초대해 주셔서 감사합니다. 방송에 불러주셔서 정말 기쁘고, 이 대화가 정말 기대됩니다.

좋은 질문입니다, 맷. 제 생각에 핵심은 많은 고객들이 우선 하드웨어부터 고민하기 시작한다는 점입니다. 그런데 저는 대화의 초점을 ROI로 확실히 바꿔야 한다고 봅니다. 왜냐하면 결국은 AI가 어떤 문제를 어떻게 해결할 수 있는지에 모든 것이 달려 있기 때문입니다. 그 관점에서 보면, 비즈니스의 어떤 영역에 AI를 어떻게 적용할지, 그리고 어디에서 가치를 창출할지를 정말로 세분화해 분해해 봐야 합니다. 그렇게 하면 어떤 규모의 예산을 다루게 되는지, 어떤 비용 구조(경제성)를 상대하게 되는지, 그리고 어느 정도의 생산성 개선을 목표로 해야 하는지가 자연스럽게 잡힙니다. 운영 측면에서 이를 풀어나가는 방식에 대한 가장 기본적인 ‘퍼스트 프린서플(기본 원칙)’입니다.

또 흥미로운 점은 AI의 발전 속도가 워낙 빠르기 때문에 혁신 엔진을 계속 돌려야 하고, 그러려면 파일럿을 많이 해봐야 하는데, 그건 괜찮습니다. 샌드박스 환경에서 테스트하면서 파일럿을 만들어 보시는 거죠. 다만 프로덕션으로 들어가려는 단계에서는, 어떤 방식으로 배포할지에 대해 훨씬 더 명확해야 합니다. 말씀하신 것처럼 정말 많은 일들이 벌어지고 있습니다. 이제는 토큰을 최대치로 끌어올리는 문제가 아닙니다. 즉, 토큰 수가 가장 많다고 해서 최고의 ROI가 나오는 게 아닙니다. 실제로는 토큰을 가장 효율적으로 사용하는 것이 ROI를 만들어 냅니다. 그리고 청중분들께서 염두에 두셨으면 하는 프레이밍이 하나 있는데, 모든 토큰이 동일한 것은 아니라는 점입니다. 그리고 그게 정확히 무슨 의미인지 앞으로 30분 동안 더 자세히 설명드리겠습니다.

다시 말씀드리지만 모든 토큰이 같지 않다는 뜻이고, 이는 초저지연에 매우 빠르고 인터랙티브한 용도에 아주 적합한 ‘울트라 프리미엄’ 토큰도 있다는 의미입니다. 예를 들어 신용카드 부정거래 방지를 하려면 거의 실시간에 가까운 AI가 필요합니다. 그만큼 빠른 게 필요하죠. 반면에 청각 관련 작업을 하고 있고 20일 뒤에 감사 보고서를 제출해야 한다면, 그렇게 초고속 AI가 필요한 건 아닙니다. 배치 모드로는 전혀 다른 방식으로 처리할 수도 있고요. 그래서 그런 ROI 논의가 AI를 실제 운영 환경에 적용할 때 어떻게 생각해야 하는지에 영향을 미치기 시작합니다.

저희가 듣는 이야기 중 하나이자, 이번 ‘더 식스 파이브 서밋’ 내내 계속 다루고 있는 주제가 바로 에이전틱 AI입니다. 초기 LLM에서 추론형 LLM을 거쳐 이제 에이전틱 AI로 넘어오는 전 과정을 거쳐왔고, 이게 지금 저희가 가장 많이 하는 대화 주제입니다. 그리고 이는 ‘모든 토큰이 동일하지 않다’는 말씀과도 맞닿아 있습니다. 인프라 관점에서 궁금한데요, 이런 AI 시스템이 단순히 응답을 생성하는 것을 넘어 계획을 세우고 조율하며 행동을 수행하기 시작하면 근본적으로 무엇이 달라지나요?

라이언, 또 좋은 질문입니다. 에이전트는 무엇을 하나요? 우리가 하려던 일을 자동화합니다. 에이전트가 더 많이 들어올수록, 에이전트가 어떻게 동작하는지 제어하기 위한 에이전트 루프가 정말로 필요해집니다. 한 걸음 물러서서 이런 AI 시스템이 어떻게 작동하는지 보면, 우리는 AI를 어디에서 실행할지 파악하는 데 많은 시간을 씁니다. 그 AI가 토큰을 생성하고, 우리는 그 방식으로 AI를 소비하게 됩니다. 앞서 말씀드렸듯이 토큰 생성은 ‘원사이즈핏올’이 아닙니다. 작은 모델로도 토큰을 생성할 수 있고 느리게 돌릴 수도 있지만, 매우 효율적으로는 CPU에서도 일정 수준의 토큰을 처리할 수 있습니다. 아시다시피 GPU는 점점 스택 상단으로 올라가고요. GPU는 제공하는 유연성이 뛰어나고, 어느 정도 토큰 밀도를 가져갈 수 있다는 점이 강점입니다.

하지만 정말로 높은 처리량을 원하고 대규모로 스케일링하려고 하면 GPU도 결국 파레토 한계에 부딪힙니다. 그래서 RDU 같은 데이터플로 아키텍처, 혹은 LPU를 쓰는 Groq 같은 솔루션이 있는 겁니다. 이런 것들이 본격적으로 역할을 하기 시작하면서, 생성해야 하는 저지연·고인터랙티브·대량 토큰을 맡아가고 있습니다. 토큰 생성 자체는 최적화할 여지가 매우 많고, 그다음에는 그것을 비즈니스 경제성에 어떻게 연결할지에 대해서도 이야기할 수 있습니다. 두 번째는, 그럼 이 토큰을 가지고 무엇을 하느냐입니다. 이 토큰들은 사실, 특히 에이전틱(Agentic) 환경에서는 결과물을 만들어내는 것입니다. 예를 들어 제가 어떤 애플리케이션을 만들고 있다거나, 혹은 애플리케이션을 개선하고 리팩터링하려고 한다고 해보겠습니다. 그렇게 생각하는 과정에서 에이전트가 코드 작성을 도와줍니다.

그리고 그 코드를 테스트하게 됩니다. 그 코드를 검증하고, 테스트하고, 실행해야 합니다. 바로 그 지점에서 CPU가 큰 역할을 하기 시작하는데, CPU는 실행 엔진이자 검증 엔진이고, 샌드박싱 엔진이기 때문입니다. 최근 CPU가 왜 부족하냐고 보면, 시스템 내에서 이런 왕복 ‘핑퐁’이 많이 일어나고 있기 때문입니다. 여기서 한 단계 더 나아가, 에이전트가 들어오기 시작하면 이제 누가 이를 오케스트레이션(조율)하는지, 누가 쿼터백 역할을 하는지 파악해야 합니다. 이 쿼터백 기능이 점점 더 중요해지고 있습니다. 이는 우리가 ‘하네스(harness)’라고 부르는 개념과도 관련이 있는데, 쉽게 말해 어떤 워크로드를 어떻게 돌릴 것인가 하는 문제입니다. 어디에서 돌릴 것인지, 그리고 누가 돌릴 것인지도 포함됩니다. 여기서는 어떤 종류의 에이전트가 필요한지 보게 됩니다.

어떤 종류의 에이전트 루프를 오케스트레이션(조율)해야 하는지도요. 어떤 보안이 필요한지도 따져봐야 합니다. 데이터가 있는 온프레미스에 놓인 모델을 돌려야 하는지, 아니면 클라우드에서 돌리면서 데이터를 그쪽으로 옮길지 결정해야 합니다. 이 모든 것이 매우 중요한 CIO의 의사결정이 될 것이고, 엔터프라이즈는 내가 데이터를 AI로 가져갈 것인지, 아니면 AI를 데이터로 가져올 것인지 진지하게 봐야 합니다. 이렇게 생각해볼 수 있습니다. 하지만 이를 실제로 실행해 나가다 보면 데이터센터 시스템에서 다른 문제들이 보이기 시작합니다. 병목 지점이 바뀌고 있습니다.

병목 지점이, 참고로 핵심 기능이라 비용을 많이 쓰고 있기도 한 ‘토큰 생성’에서, 이제는 실제 시간(wall clock time)이 중요한 전체 엔드투엔드 워크플로우를 돌리는 쪽으로 이동했습니다. 이 토큰들은 여러분이 돌리고 있는 시스템에 따라, 컨텍스트 길이에 의해 부하가 걸리고 메모리에 압박이 가해지며, 스토리지에 의존하게 되고, 데이터베이스를 두드리게 됩니다. 그리고 이제는 어떤 함수들의 응답을 기다리게 되는데, 예를 들어 기업이 공급망 조달부터 고객 수요, 그리고 재무 도구까지를 함께 들여다보면서 언제, 이를테면, 투자할 수 있는지 확인하려고 할 때가 그렇습니다. 예를 들어 수요가 엄청나게 많고, 이를 관리하는 데 AI의 도움을 받고 싶다고 해보겠습니다.