크라우드 스트라이크 홀딩스 Fal.Con Day 1

올여름 여러분도 저와 마찬가지로, 샌드박스를 탈출한 에이전트에 관한 기사를 읽으셨을 겁니다. 그 에이전트는 지구상에서 가장 중요한 AI 기업 중 하나를 침해했습니다. 권한을 상승시키고, 자격 증명을 탈취했으며, 실제 공격을 방대한 정보 더미 아래에 묻어버렸습니다. 그리고 나서 우리 업계는 늘 하던 대로 행동했습니다. 소셜미디어로 가서 누구 책임인지 두고 논쟁했죠. 하지만 OpenAI-허깅 페이스 사건에서 거의 모두가 잘못된 교훈을 끌어냈습니다. 저는 앞으로 30분 동안 올바른 교훈이 무엇인지 말씀드리겠습니다. 제 생각에는 그것이 우리 업계의 모든 것을 바꿔놓기 때문입니다. 수년 동안 우리는 적대 세력을 피라미드 형태로 분류해 왔습니다. 저는 이를 ‘고통의 피라미드(Pyramid of Pain)’라고 부르는데, 맨 아래에는 해크티비스트, 중간에는 전자범죄(e-crime), 맨 위에는 국가 단위의 행위자(nation state)가 있었습니다. 물론 국가 단위 행위자보다 해크티비스트가 훨씬 많습니다.

꼭대기는 사실상 최상위 포식자, 가장 큰 역량, 가장 높은 정교함을 상징했습니다. 바닥은 수는 훨씬 많지만, 정교함은 가장 낮았습니다. 이 피라미드가 존재했던 이유는 딱 하나였습니다. 공격 역량이 희소했기 때문입니다. 인재, 도구, 인프라, 그리고 인내심에 투자하려면 국가 차원의 자금력이 필요했습니다. 하지만 이제 그 희소성은 끝났습니다. 두 가지 예를 들어드리겠습니다. 지난 11월, 앤트로픽(Anthropic)은 자사 모델을 활용해 실시간 첩보 작전을 수행하던 국가 지원 행위자를 공개했습니다. 대략 30개 조직이 표적이 됐습니다. 은행, 기술 기업, 정부였습니다. 그중 80%에서 90%가 AI에 의해, 80%에서 90%가 오케스트레이션됐습니다. 악성코드 한 조각이 아니라, 실제로는 영어였습니다. 대부분의 일을 해낸 것은 프롬프트였습니다. 표적 선정 승인 같은 성격의 작업에서 사람의 개입은 4~6번 정도였습니다. 에이전트가 나머지 모든 것을 했습니다. 이건 데모가 아니었습니다. 실험실에서 하는 훈련도 아니었습니다. 실제 진행 중인 캠페인이었습니다.

7월로 시간을 앞당겨 보면, 허깅 페이스 이야기를 할 수 있습니다. 자율형 에이전트가 침투를 처음부터 끝까지 수행했습니다. 다시 한번 말씀드리겠습니다. 자율형 에이전트가 침투를 처음부터 끝까지 수행했습니다. 저에게는 이것이 보안 분야에서 분수령이 되는 순간이었습니다. 저희는 모두 에이전트가 샌드박스를 탈출했다고 생각했습니다. 개인적으로는 에이전트가 자신들이 탈출했다고 생각했던 것 같습니다. 여기에는 큰 차이가 있고, 관련 보고서를 읽어보면 정말 놀랍습니다. 이 정보를 공개해준 오픈에이아이와 허깅 페이스에 공을 돌리고 싶습니다. 에이전트가 누군가를 공격한 것은 아니었습니다. 실제로는 시험에서 부정행위를 하기 위해 정보를 찾으려 했던 것이었습니다. 캠페인도 없었고, 지시도 없었고, 악의도 없었습니다. 말 그대로 정답을 찾으려고 했던 것입니다. 이 사례에서는 그저 시험을 통과하는 수준이, AI가 작동하는 출발점이었습니다.

이제 여러분 중 일부는 7월 사건을 알고 계실 겁니다. 가드레일을 완화한 샌드박스 환경이었습니다. 안전 시스템의 강도를 낮춰둔 상태였습니다. 여러분 중 일부는 “글쎄요, 에어백이 꺼져 있었잖아요.”라고 말씀하실 수도 있습니다. “그건 해당이 안 되죠.”라는 말을 들으면, 저는 오히려 반대로 생각합니다. 안전 시스템이 꺼진 상태에서는 에이전트가 실제로 무엇을 할 수 있는지, 그 역량을 들여다볼 수 있습니다. 여러분 스스로에게 한 가지를 물어봐야 합니다. 적대자들이 안전 시스템을 꺼둘 거라고 생각하십니까? 저는 개인적으로 그렇지 않다고 봅니다. 그럴 만한 이유도 분명히 있습니다. 여러분께는 처음 듣는 용어일 수도 있지만, 제가 말씀드리는 내용과 매우 밀접하게 관련돼 있으니 알아두셔야 합니다. 바로 ‘어블리터레이티드(abliterated) 모델’입니다. ‘어블레이트(ablate)’라는 용어에서 나온 말입니다. 본질적으로는 가드레일이 완화된 모델이라고 보시면 됩니다. 이런 모델은 누구나 다운로드할 수 있는 오픈-웨이트 모델입니다.

즉, 사실상 가드레일이 거의 없는 상태로 최전선급 역량을 갖춘 모델을 손에 넣을 수 있다는 뜻입니다. 질문을 던지고 답을 받는 것이 매우 쉽습니다. 어떤 질문들을 던질 수 있는지, 또 어떤 답이 돌아오는지를 보면 여러분은 깜짝 놀라실 겁니다. 여러분, 이런 일은 지금 이 순간에도 존재합니다. 그래서 제가 “에어백이 꺼졌다”라고 말할 때, 계속 꺼진 채로 있을 거라고 말씀드리는 건 진심입니다. 이제 우리의 최상위 포식자, ‘고통의 피라미드(Pyramid of Pain)’로 돌아가 보겠습니다. 예전에는 역량이 각 티어를 구분했습니다. 최상위 포식자는 맨 위에 있었습니다. 시간, 자원, 그리고 정교함이었죠. 이제 새로운 최상위 포식자는 에이전트입니다. 이제 제 도표를 업데이트해야겠습니다. 이제는 네 개의 단계가 있습니다. 제가 말하는 바는, 이것이 바로 ‘에이전트 국가(agent state)’의 부상이라는 점입니다. 우리는 ‘국가’에 대해 이야기하곤 합니다.

하지만 이제는 ‘에이전트 국가(agent state)’입니다. 왜냐하면 최고 수준의 역량이 프롬프트 하나로 구현되면, 어떤 일이 벌어지는지 아십니까? 계층 자체가 완전히 사라집니다. 이제는 모든 적대 세력, 모든 전자범죄 조직, 모든 내부자가 국가 수준의 역량을 갖고 움직이고 있습니다. 피라미드가 완전히 붕괴되고, 평평해져 버린 것입니다. 이것이 바로 오늘날의 환경에서 우리가 마주하고 있는 현실입니다. 7월로 다시 돌아가서, 실제로 무슨 일이 있었는지 이야기해 보겠습니다. 많은 분들이 이미 알고 계실 거라 생각해서 빠르게 짚고 넘어가겠지만, 화면에서도 보실 수 있도록 설명드리겠습니다. 샌드박스 탈출, 악성 데이터 세트, 코드 실행, 권한 상승, 측면 이동, 자격 증명 탈취, 은밀한 C2, 미끼 활동까지 있습니다. 다 들어 있습니다. 참고로, 이건 국가 차원의 활동과 정확히 똑같아 보입니다.

에이전트들이 어떻게 소통했는지, 게시판을 어떻게 활용했는지, 어떻게 공조했는지를 보시려면 관련 백서를 다시 찾아 읽어보시길 진심으로 권합니다. 어떤 이들은 1,200명의 에이전트가 실제로 ‘집단(collective)’을 위해 움직인 것으로 믿고 있었다고 말합니다. 곰곰이 생각해 보십시오. 공동선을 위해 실제로 그 집단을 대신해 일한 것입니다. 더 자세히 보면, 사람이 키보드로 조작하지 않은 상태에서 1만 7천 건이 넘는 활동이 있었습니다. 여기 보시면 드로퍼, 정찰(recon), 원격 코드 실행, 백도어 터널링, C2 회피가 있습니다. 다 들어 있습니다. 참고로 빨간색으로 표시된 것은 실제 피해를 일으킨 것들입니다. 데이터 탈취 56건, 소스 코드 탈취 69건, 클러스터 장악 87건이었습니다. 성공한 공격은 수천 줄에 달하는 실제 실패들 속에 숨겨져 있었습니다.

참고로, 사람이 그들이 걸러내야 했던 데이터에서 그 모든 것을 실제로 골라내는 건 불가능합니다. 저는 수년간 이런 무대에 서서 ‘브레이크아웃(breakout)’이라는 숫자를 추적해 왔습니다. 62, 48, 29. 작년에 저희가 봤던 것 중 가장 빠른 건 27이었고, 저희는 그걸 ‘머신 속도’라고 부릅니다. 우리는 틀렸습니다. 제가 틀렸습니다. 이건 더 나은 도구를 가진 인간의 속도였고, 브레이크아웃 시간은 이제 끝났습니다. 내년 보고서에서는 뭘 해야 할지 저도 모르겠지만, 그 지표는 사라졌으니 다른 지표를 새로 내놔야 할 겁니다. 제가 여러분 모두가 이해해 주셨으면 하는 건 이겁니다. 이제 공격은 추론 속도에서 일어납니다. 이걸 한번 생각해 보세요. 공격이 추론 속도로 일어나고 있습니다. 공격자가 추론 속도를 갖게 되면 브레이크아웃 시간은 없습니다. 사실상 이런 공격에 대응할 시간 자체가 전혀 없습니다.

이 특정 사례에서는, 허깅 페이스 이야기로 돌아가서 말씀드리면, 침입이 성공했고 자격 증명이 탈취됐으며 위조된 신원과 토큰도 탈취됐습니다. 그들은 여러 내부 클러스터 전반에 걸쳐 관리자 권한을 유지하고 있었습니다. 이건 중요한 포인트입니다. 의도가 공격을 멈췄습니다. 그들이 하려던 게 뭐였을까요? 그 에이전트들은 테스트를 통과하고 싶어 했습니다. 사이버보안 분야에서 우리가 이전에는 본 적이 없다고 생각할 정도의 방식으로 목표를 추구한 겁니다. 정말 강력하고 흥미롭습니다. 그 에이전트는 속임수를 쓰고 있었지만, 피해를 주려던 건 아니었습니다. 분명히 말씀드리겠습니다. 회사가 피해를 면한 건 방어 때문이 아니라 에이전트의 의도 때문이었습니다. 보안팀은 이를 인지했고 많은 정보를 생성했지만, 관리자에게 호출(페이지)이 갈 만큼 충분한 경보를 울리지는 못했습니다. 시간이 좀 소요됐습니다. 어떤 활동은 봤지만, 그걸 어떻게 하나로 엮어야 할지 몰랐던 겁니다. 참고로, 이건 누구를 탓하려는 말이 아닙니다.

훌륭한 인재들이 있는 매우 정교한 회사였지만, 처리해야 할 데이터가 너무 많고, 또 이런 에이전트들은 자율적으로 작동하고 있습니다. 제가 보기에 여기서부터 흥미로워집니다. 최첨단 AI가 포렌식을 실제로 거부했습니다. AI가 익스플로잇을 작성하지 못하게 막았던 가드레일이, 오히려 그 익스플로잇을 분해해 분석하는 것까지도 막아버렸습니다. 마치 소방서가 건물 안으로 들어가지 않겠다는 것과 같았습니다. 1만7,000번의 액션이 있었죠. 무슨 일이 있었는지 정리해 내지 못했습니다. 그럼 실제로 뭘 해야 했을까요? 그들이 가진 모든 로그 정보를 이해한 뒤 공격을 재구성하기 위해, 자체 오픈 웨이트 모델을 실제로 구축해야 했습니다. 이번 건에는 공격자가 없었고, 인프라를 휩쓴 것은 정당한 에이전트들이 자기 일을 ‘너무’ 잘한 결과였습니다. 누구도 실제로 그 정도 접근 권한을 갖고 있는지 몰랐던 겁니다.

스스로에게 이렇게 물어야 합니다. “우리 환경에서 무엇이 돌고 있지?” 알고 계신가요? 그게 실제로 뭘 하고 있습니까? 누가 알까요? 실제로 어떤 리스크를 초래합니까? 이건 가정적 위협이 아닙니다. 실제로 일어난 일입니다. 다시 말해, 업계 전체로 보면 이번엔 운이 좋았던 겁니다. 실제로 피해를 의도한 건 아니었으니까요. 이 사건은 ‘우리 회사 내부’가 무엇인지에 대한 관점을 정말로 바꿔놓습니다. 에이전트의 상태(state)는 경계선(퍼리미터)에 있는 게 아닙니다. 실제로는 우리 급여명부에 있습니다. 다만 그 이름을 모를 뿐이죠. 여기서 정말 놀라운 점이 있습니다. 여러분의 회사가, 여러분의 사람들이, 조직이 그들을 모두 안으로 들여온 겁니다. 예전 모델은 모두를 밖으로 막아두는 것이었습니다. 이제는 모두를 안으로 들이는 방식이 됐습니다. 지금 우리가 처한 상황이 그렇습니다. 우리는 그들을 볼 수 없고, 따라잡을 수도 없으며, 방어자를 위한 AI는 아직 아무도 만들지 않았습니다. AI는 새로운 전장입니다.

이 컨퍼런스 내내 그 얘기를 아마 많이 들으실 겁니다. 15년 전 저는 모두에게 엔드포인트가 전장이라고 말씀드렸습니다. 그다음은 아이덴티티였고, 그다음은 클라우드였으며, 오늘날에는 AI가 새로운 전장입니다. 컴퓨팅이 새로운 공격 표면을 만들어낼 때마다, Falcon은 고객 여러분과 함께 성장해 왔습니다. 승리하기 위해 필요했던 동일한 플랫폼, 동일한 센서, 동일한 무기와 함께 저희는 항상 여러분 곁에 있었습니다. 저희는 전 세계에서 가장 중대한 공격 표면 변화들 가운데 상당수의 순간에도 함께해 왔고, AI 에이전트가 그다음입니다. 오늘 우리는 AIDR, 즉 AI Detection and Response에 대해 이야기하고 있습니다. Falcon Guardian을 출시합니다. 정말 기대가 큽니다. 이건 저희가 공들여 개발해 온 것들 중 하나입니다.

저도 팀과 함께 이 작업을 직접 했고, 고객들과 많은 시간을 보내며 피드백을 받고, 그들이 원하는 것을 듣고, 기본적으로 그들의 리스크를 이해하고 무엇이 실행되고 있는지 파악하는 데 도움을 줄 뿐만 아니라, 더 중요하게는 조직 내 AI 도입을 가속화하는 데 도움이 되는 것을 제공해 왔습니다.