팔란티어 테크놀로지스 AIPCon 11

팔란티어의 공동창업자이자 최고경영자(CEO)인 알렉스 카프 박사님을 환영해 주십시오.

안녕하세요. 아, 제가 제 모습을 보는 건 정말 싫은데, 그래도 익숙해져야 할 것 같네요. 여기 와 주셔서 감사합니다. 청중석에는 오랜 기간 함께해 온 친구들도 많이 계십니다. 여기에는 개인 투자자들도 와 계시고요. 수년간 함께 일해 온 분들도 많고, 아주 오래전부터 함께해 온 팔란티어 직원들도 많습니다. 혁명이라고 하면 보통 섹스, 마약, 록앤롤 같은 것과, 그런 것들이 어떻게 세상을 바꾸는지를 떠올리곤 합니다. 그런데 대부분의 혁명은 사실 어딘가 결함이 있는 아이디어에서 시작해서, 점점 결함이 줄어든 아이디어로 발전하고, 결국 세상을 바꾸게 됩니다. 우리가 헌법을 갖게 된 과정을 한번 보십시오. 실리콘밸리가 어떻게 만들어졌는지, 미국이 어떻게 만들어졌는지, 다른 위대한 문명들이 어떻게 세워졌는지도 보시죠.

우리의 가정은—예를 들면 제 부모님은 모든 것에 대해 시위에 참여하셨고, 또 시민권 운동에도 참여하셨는데—실제로 무언가를 해 나가는 과정은 작은 변화들이 쌓여서 결국 매우 큰 차이를 만든다는 것입니다. 그리고 그 아이디어를 중심으로 인재가 축적되고 밀도가 높아지는 과정이 이어집니다. 지금도 미국과 실리콘밸리가 전 세계에서 실제로 작동하고 유용하며, 축적 효과를 내는 인재의 밀도가 가장 높은 곳인 것도 바로 그런 방식 때문입니다. 사실 그건, 제가 다녔고 당시에는 대체로 ‘2류’로 여겨졌던 스탠퍼드라는 대학과, 미국 산업계, 그리고 미국 정부가 함께 문제를 풀던 일이었을 뿐입니다. 저는 ‘아, 그래’라고 생각했죠. ‘2류라서 오히려 라틴어와 그리스어만 배우는 데서 벗어나, 실제 문제 몇 가지를 해결할 수도 있겠네.’ ‘그래, 우리는 진짜 학문을 하는 건 아니지만, 회사를 만들고 있다.’ 그런 정신이요.

AI 혁명을 보면, 사실 초기 형태는 오래전에 NLP로 시작됐습니다. 그런데 당시에는 이런 것들이 제대로 작동하지 않았고, ‘포워드 디플로이 엔지니어’라는 개념의 일부는 프랑스에서 음식이 더 맛있었던 이유를 관찰하면서 가져온 것이었습니다. 본질적으로 웨이터가 포워드 디플로이돼 있었던 거죠. 즉, 자신이 하는 일을 전문가 수준으로 알고, 제품을 이해하며, 파트너 고객의 식사하는 사람들의 필요에 맞춰 제품을 바꾸되, 아무리 돈을 많이 준다 해도 푸아그라에 옥수수 시럽을 붓지는 않는다는 뜻입니다. 이 점은 팔란티어에서도 중요합니다. 우리는 헛소리는 만들지 않습니다. 이건 처음에 미국 정부에서 시작됐습니다. 결국 우리는 미국 정부를 상대로 소송을 해야 했는데, 그건 꽤 잘 알려진 이야기입니다.

하지만 우리가 미국 정부를 상대로 소송을 해야 했던 주된 이유는, 그때 어떤 장군이 있었는데요. 그분은 전장에 대해서는 많이 알고 있었겠지만, 기술에 대해서는 잘 알지 못했습니다. 그 장군은 마치 “나한테 내가 천재라는 것도 알려주는, 말도 안 되는 외계인 반중력 장치를 만들어 와”라고 말하는 것 같았고요. 그러자 저희 전방 배치 엔지니어(Forward Deployed Engineer) 중 한 명이 실제로 그 장군에게 “하지만 장군님은 본인이 얼마나 어리석은지 알 만큼 똑똑하지도 않습니다”라고 말했습니다. 자, 물론 그런 말은 하면 안 되는 거지만, 그게 정말 중요했습니다. 그리고 지금 AI 혁명에서 일어난 일을 보시면, 그러니까… 그것이 현실이 되기 시작한 지점에서 출발했습니다. 대규모 언어 모델(LLM)은 매우 중요한 일들을 할 수 있었습니다. 물론 정밀도는 부족했습니다. 그리고 물론 애플리케이션 레이어와는 제대로 맞물리지도 않았습니다.

하지만 “뭔가가 움직이고 있고, 맞아요, 우리는 토큰에 너무 많은 돈을 쓰고 있어요”라고 말하면서도, 기밀 환경에서는 애초에 가능하지 않았던 일을 제외하면, 우리 모든 비즈니스에서 빠져나가고 있던 알파에 대해서는 충분히 주의를 기울이지 않으려는 분위기가 있었습니다. 그래서 우리는 모델이 정밀해지는 방식으로 모델을 어떻게 작동시키는지에 대해서는 많이 알고 있었습니다. 이 부분은 테드가 이야기하겠지만, 본질적으로 안전성과 유용성의 함수로서의 정밀도는 이미 매우 큰 장애물이었고, 전방 배치 엔지니어들이 온톨로지(Ontology)를 다시 구축하고, 포스트 트레이닝 모델을 찾아내는 작업이 필요했습니다. 또 한편으로는, 사실 프랑스어에는 이걸 더 노골적으로 표현한 버전이 많이 있는데요. 특히 ‘보호 없이 여러 행위를 감당할 수는 없다’ 같은 식입니다. 그런데 애플리케이션 레이어 없이 이런 모델들을 쓸 수는 없고, 그 점이 아주 분명해졌습니다.

그리고 최근 들어 더 분명해진 것은, 여기 와 있는 엔비디아(NVIDIA)와 시스코(Cisco) 등도 포스트 트레이닝에 대해 이야기할 텐데요. 난잡하기로 알려져 있고, 여러분의 가치를 빼앗아 다른 사람들에게 나눠주는 것으로 알려진 누군가와의 ‘무작위한 만남’이 초래하는 위험에 굳이 자신을 노출할 필요가 없다는 점입니다. 프런티어 모델이나, 미세조정(fine-tuning)된 오픈 웨이트(open-weight) 모델을 사용해 자체 모델을 갖추면, 기업 내부에서 여러분의 스택 전체 가치(value)를 온전히 포착할 수 있습니다. 저희는 현재 여러 환경에서 이를 사용하고 있고, 특히 흥미롭게도 기밀 환경에서 사용하고 있습니다. 애플리케이션 레이어 덕분에 더 낮은 비용으로 프런티어 모델을 능가하는 모델의 모든 이점을 얻고, 안전성 우려도 없이, 알파를 여러분이 통제할 수 있습니다. 그게 무엇이냐고요? 바로 그 혁명입니다. 실제로 변화를 만들어내고 있고, 주로 미국뿐만 아니라, 미국의 판을 지배하고 있습니다.

왜냐하면 미국을 특별하게 만드는 것은 제가 매우 자랑스럽게 대표하고 있는, 이 ‘신경다양성 괴짜 쇼’이기 때문입니다. 우리는 창의성과 기발함, 그리고 지식을 비즈니스에 가져옵니다. 그리고 냉혹함과, 이런 것들이 진짜라는 인식도 함께 가져옵니다. 우리는 이 나라에서 휴가가 오기만을 기다리며 느긋하게 놀고 있지 않습니다. 비즈니스에서 그런 방식으로 살아남는 사람은 없습니다. 여러분은 대체되고, 경쟁에서 밀리고, 완전히 사라져서, 집에 돌아가 다른 일을 하게 될 겁니다. 우리는 우리가 하는 일을 매우 전문화된 방식으로 수행하는, 역동적인 환경 속에 있습니다. 우리는 그것들을 강화하고, 보호하고, 더 정밀하게 만들고, 더 안전하게 만들어야 하며, 전장에서의 적이든 삶에서의 경쟁자든 우리가 그들이 할 수 없는 일을 왜 하는지 정확히 이해하지 못하게 해야 합니다. 그리고 그 시스템들은 대규모로 운영되고 있습니다. 엔비디아는 세계에서 가장 복잡한 공급망을 갖고 있습니다. 그들의 공급망은, 우리는 전 세계 곳곳의 전장에 나가 있습니다.

그들의 공급망은 많은 나라들의 공급망보다도 더 복잡합니다. 그건 반드시 제대로 작동해야 합니다. 작동하지 않으면 출하가 안 됩니다. 이 나라에서 우리가 전 세계를 대상으로 하는 많은 일들은 제대로 작동하지 않을 겁니다. 흥미롭게도, 네, 그건 혁명입니다. 우리는 사실 섹스나 마약을 하는 건 아니지만, 록앤롤은 하고 있습니다. 말 그대로 지금 벌어지고 있는 일이 그거고, 그게 여러분이 우리 회사에서 보시는 것입니다. 그리고 제가 또 하나 매우 자랑스럽게 생각하는 것은, 소버린에 대한 집중이 많은 것을 해낸다는 점입니다. 서방을 돕는 데 집중하는 것과 마찬가지로, 우리가 여러분과 같은 방향을 보고 있기 때문에 결국 최고의 비즈니스 파트너들을 만나게 되고, 또한 자신의 비즈니스와 방향이 맞는 비즈니스맨들과 엔지니어, IT 인력들과 함께하게 됩니다.

그건 정말 대단한 일인데, 이런 것들을 해내고, 승리하고, 서로 정렬되어 있다는 데서 훨씬 더 큰 즐거움도 있기 때문입니다. 결국 여러분은 세계 최고의 사람들과 함께 일하게 되고, 아이디어를 공유하며, 우리는 자부심을 갖고 협력하고 공유합니다. 우리는 가치가 창출된 뒤에 그 대가를 받는 비즈니스를 하고 있습니다. 우리는 그것이 가치 있다고 여러분을 설득하는 비즈니스, 스테이크 디너를 대접하는 일, 여러분의 알파를 가져가는 일을 하는 게 아닙니다. 그게 비도덕적이라는 점 말고도, 그 방식은 작동하지 않고 우리에게도 통하지 않으며, 덜 재미있고, 결국 반쯤 멍청한 사람들만 남게 됩니다. 재미가 없습니다. 우리는 여러분과 지금 이걸 보고 계신 많은 분들 같은, 세계 최고의 파트너들과 세계 최고의 투자자들과 함께하게 됩니다. 우리는 DPO를 했습니다. 참고로, 전문가들이 투자하지 말라고 떠들어댄 온갖 헛소리도 다 걷어냈죠.

아무것도 모르는 그 모든 전문가들 말입니다. 우리 삶에는 그런 사람들이 많지 않습니다. 그것도 아주 좋습니다. 그럼, 환영합니다. 우리는 파트너들과 함께, 그리고 파트너들을 통해 사업을 훨씬 더 큰 규모로 키우고 확장해 나가면서 정말 즐겁게 일하고 있습니다. 여기 함께해 주셔서 기쁩니다. 네, 음악은 계속 틀어두죠.

건강히 계세요. 안녕. 엔비디아의 솔루션 아키텍처 시니어 디렉터, 알렉스 니퍼스를 모시겠습니다.

감사합니다. 현재 전 세계는 컴퓨팅 자원의 부족으로 제약을 받고 있습니다. 엔비디아는 공급망이 웨이퍼에서 시작해, 최초의 토큰이 생성되는 지점에서 끝난다고 보고 있습니다. 현재 우리 제품에 대한 수요는 전례 없이 높습니다. 이 제품들은 아마 이 자리에 계신 모든 분들의 AI 워크로드를 구동하고 있을 겁니다. 우리가 던지는 질문은 이겁니다. 여러분의 끝없는 수요를 어떻게 따라잡을 것인가? 이를 위해 엔비디아는 병목을 식별해 전 세계에서 가장 탄력적인 공급망을 구축할 수 있도록, 전례 없는 수준의 가시성이 필요합니다. 신뢰할 수 있는 AI 인프라 공급망을 유지해야 합니다. 이것은 Grace Blackwell NVL72입니다. 전 세계에 흩어져 있는 수천 개의 공급업체로부터 공급되는 수백만 개의 부품으로 구성돼 있습니다. 알고 계시든 아니든, 이 장비는 오늘도 여러분의 AI 워크로드를 구동하고 있을 가능성이 큽니다. 방금 보신 컴퓨트 보드를 예로 들어보겠습니다.

이 보드에는 자체 BOM(자재명세서), 공급업체, 그리고 리드타임이 있습니다. 최종 시스템을 만들기 위해 수십 개의 개별 OEM들이 동일한 컴퓨트 보드를 제때 확보하는 데 의존하고 있습니다. 하지만 저희 제조 파트너들은 필요한 핵심 부품, 즉 CPU, GPU, 메모리 등 여러 부품을 모두 확보하기 전에는 생산을 시작할 수 없습니다. 저희는 이를 ‘제약된 자재 배분(Constrained Material Allocation) 문제’, 줄여서 CMA라고 부르며, 공급망에서 저희가 직면하는 가장 어려운 문제입니다. 그러한 부품들의 배분을 최적화해야 하는데, 일부는 저희가 직접 공급하고, 일부는 위탁(consignment) 형태이지만, 어쨌든 저희가 재고로 보유하고 있습니다. 저희는 생산량만 최적화하는 것이 아니라, 그 핵심 부품들이 보드를 만들기 위해 다른 자재가 도착하기를 기다리며 멈춰 서 있는 시간을 최소화하고자 합니다. 저희는 이것을 부르는 이름이 있습니다. 저희는 이를 ‘보유 시간(Time of Ownership)’, 즉 TOO라고 부릅니다. 이는 저희가 보유한 가장 중요한 지표입니다.