GSI 테크놀러지 CG 46th Annual Growth Conference

네. 저희는 회사를 확실히 많이 전진시켰습니다. 18개월 전에는 AI 시장을 위한 사실상 첫 상용화 제품인 Gemini-II를 막 출시하던 시점이었습니다. 지금으로 넘어오면, 그 이후 Gemini-II는 하드웨어 기준으로 현재 양산 단계에 들어갔습니다. 또 코넬 같은 곳으로부터 제3자 검증도 받았습니다. 실제로 코넬대학교가 저희 보드로 RAG를 NVIDIA GPU와 비교했는데, 유사한 성능에서 전력 소모가 98% 더 낮다는 결과가 나왔고, 이는 시장에서 상당히 큰 진전이었다고 생각합니다. 그 이후로는 몇 건의 POC도 진행했습니다. 미 국방부(DoD) 자금 지원을 받는 드론 감시 POC가 하나 있습니다.

또 최근에는 대만의 한 지방자치단체로부터 스마트시티 관련 1단계 POC를 수주했는데, 드론 POC에서 하고 있는 많은 부분을 활용할 수 있어서 완전히 새로운 작업을 다시 하는 것은 아닙니다. 그 이후로는 AI SDK, 정확히는 AI 지원형 SDK 개발도 상당히 진척시켰습니다. 이는 생태계를 활성화하는 데 도움이 될 것이기 때문에 중요합니다. 현재 저희 모델을 보면, 이 모든 POC를 위해 저희가 자체 애플리케이션을 직접 작성하고 있는데, 기술을 보여주는 데는 좋지만, 본격적으로 확장하려면 고객이 사용할 수 있는 도구가 필요합니다. 그 SDK도 상당히 진척되어 있습니다. 올가을에 알파 버전을 출시할 예정입니다. 그 외에 또 어떤 일을 했는지 한번 보겠습니다.

저희가 SBIR을 몇 건 수주했는데요, 그중 하나는 미 육군과 함께한 것입니다. 내구성 강화형(러기다이즈드) 엣지 노드용입니다. 이 제품은 저희에게도, 육군에도 꽤 괜찮은 제품이 될 수 있습니다. 본질적으로는 객체 탐지나 SAR 영상 처리를 할 수 있는 서버가 될 것이고, 다시 말씀드리면 엣지에서 처리할 수 있습니다. 그러니까 험비 같은 차량 뒤쪽에 실을 수 있는 내구성 강화형 서버인 거죠. 음, 18개월 정도요. 또한 저희 차세대 디바이스인 플라토(Plato)도 개발을 시작했습니다. 플라토는... 물론 제미니-II의 일부 기술을 활용하지만, 타깃으로 하는 시장은 다른 쪽으로 가져갈 예정입니다.

제미니-II의 방식은... 저희는 메모리에서 칩으로 들어오는 대역폭이 작습니다. 왜냐하면 이 칩의 의도는 모델이나 데이터베이스를 한 번만 내려받아 올려두고, 칩 안에 들어오면 아주, 아주 빠르게 실행하는 것이기 때문입니다. 그래서 내부 대역폭은 극도로 높고, 검색 애플리케이션이나 HPC 같은 용도에 아주 적합합니다. 반면 플라토는 엣지에서 LLM을 더 염두에 두고 개발될 예정입니다. 데이터를 더 빠르게 파트(칩)로 넣을 수 있도록 파이프를 열고, 그에 맞춰 내부 대역폭은 낮춰서 균형을 맞출 겁니다. 이건 엣지에서 비전-언어 모델, 대규모 언어 모델에 실제로 쓰이게 될 겁니다.

전력 예산이 2~10와트인 조건에서 거의 데이터센터급 성능을 내게 될 거라서, 매우 강력해질 겁니다. 그래서 엣지 애플리케이션에서 상당한 고성능 솔루션이 될 겁니다.

네. 몇 가지 다른 방식으로 답변드리겠습니다. 우선, 지금으로서는 우리 회사에 매우 중요한데, 현재 이 사업이 캐시카우이기 때문입니다. AI 스토리는 이제 막 시작하는 단계라 비용을 상쇄해 줄 무언가가 필요하고, 저희는 SRAM을 30년 동안 해오면서 1억 4천만 개가 넘는 디바이스를 출하했습니다. 따라서 이 시장에서는 저희가 확실히 선도업체입니다. 이것이 비용, 즉 부담되는 비용을 상쇄하는 데 큰 도움이 됐습니다. 시장 자체를 보면, SRAM이 AI에 직접 들어가는 것은 아니고 데이터센터에 들어가는 것도 아니지만, 인프라를 뒷받침하는 데 큰 역할을 합니다. 제가 말씀드리는 바는, 저희가 언급해 왔던 가장 큰 고객 중 하나가 케이던스(Cadence)라는 점입니다. 그들은 에뮬레이션 시스템을 만듭니다. 이런 시스템은 IC 제조사나 설계자라고 해야겠죠, 설계를 한 다음 예전에는 단순히 시뮬레이션만 돌렸습니다.

그리고 나서 ‘이 칩이 제대로 동작하나?’ ‘큰 버그가 있나?’를 확인했죠. 그러다 처음 실리콘(First Silicon) 단계로 가서 실제 칩을 받아 들여다보고 나서야 “와, 받자마자 불량이네. 부품이 안 돌아가네.”라고 말하게 되는 경우가 있었는데, 요즘에는 그게 정말 큰 문제입니다. 그 칩을 얻으려면 마스크 세트를 만들어야 하기 때문입니다. 마스크 세트는 한 세트당 3,000만 달러를 훌쩍 넘게 들기 때문에, 3,000만 달러짜리 마스크 세트를 많이 낭비하고 싶지는 않겠죠. 그래서 케이던스 같은 회사가 설계를 소프트웨어로 실제로 에뮬레이션하는 이런 에뮬레이션 시스템을 만드는데, 규모가 크고 가격도 비싼 시스템이며, 저희의 최고급 제품이 그 시스템에 들어갑니다.

저희가 프런트엔드 설계를 실질적으로 돕고 있는 것입니다. 또 다른 큰 고객으로는 KYEC가 있습니다. 이들은 실제로 제조 공정의 일부를 담당합니다. 이 경우에는 번인(burn-in)을 합니다. 번인은 기본적으로 전기적으로 부품에 강한 스트레스를 주어, 이른바 초기 고장률(infant mortality rate)이 없도록 하는 방법입니다. 즉, 부품이 시스템에 탑재되어 현장에 나간 뒤, 칩이 약해서 고장 나는 일은 원치 않는다는 뜻입니다. 그래서 그런 것들을 걸러내기 위해 번인을 하는 것입니다. KYEC는 현재 출시된 최신 GPU들의 백엔드 공정을 모두 담당하고 있고, 그 과정에서 저희의 고급형 부품 중 하나를 사용하고 있습니다. 그래서 저희는 SRAM 사업부를 통해 간접적으로 AI를 지원하고 있습니다.

폰 노이만(von Neumann) 모델이라는 것이 있습니다. 여기까지 너무 자세히 들어가고 싶지는 않습니다만, 본질적으로 GPU와 CPU가 동작하는 방식을 보면, 각각 처리 요소(프로세싱 엘리먼트)를 갖고 있습니다. 어떤 작업을 하라고 요청받아 계산이나 특정 처리를 수행할 때, 메모리에서 데이터를 가져오기 위해 칩 밖으로 나갔다가 다시 가져와 사용하고, 사용한 뒤에는 다시 메모리에 기록해야 합니다. 이런 데이터 전송, 즉 데이터가 왔다 갔다 하는 흐름이 계속 발생합니다. 이 과정에는 막대한 전력이 소모되는데, 여러분도 다 들어보셨겠지만 데이터센터의 가장 큰 문제는 무엇일까요? 전력입니다. APU에서는 저희가 훨씬 다른 접근을 했고, 저희가 독보적인 무언가를 가지고 있다는 것을 알고 있기 때문에 이 부분은 모두 특허로 보호되어 있습니다. 제가 말씀드린 Gemini-II 패밀리에서는 칩으로 들어가는 작은 파이프라인이 있습니다.

데이터는 한 번만 가져오고, 일단 들어오면 매우 빠르게 실행합니다. 그 방법은, 우선 내부에 대용량 메모리가 있고, 공정이나 계산이 실제로는 메모리 비트라인, 즉 메모리 자체에서 수행된다는 것입니다. 저희의 비트 프로세서는 실제로 메모리와 결합되어 있습니다. 저희는 데이터를 가져오러 밖으로 나가지도 않고, 다시 가져오지도 않습니다. 이런 지속적인 전송이 없기 때문에 성능은 높고, 전력은 극히 낮습니다. 앞서 말씀드린 코넬 논문에서 전력이 98% 더 적다고 했는데, 그것이 바로 그 CIM 아키텍처 때문입니다.