젠슨 황: NVIDIA의 기술적 우위와 가속 컴퓨팅 비전

드와르케시 팟캐스트 : 2026.4.15

챕터 1: 전자에서 토큰으로: 소프트웨어 상품화 시대의 엔비디아

Dwarkesh Patel (이하 파텔): 사람들은 인공지능(AI)이 소프트웨어를 범용 상품화(commoditize)[^1]할 것이라고 예상하고 있기 때문에, 우리는 수많은 소프트웨어 기업들의 시가총액이 폭락하는 모습을 목격해 왔습니다. 그리고 이 상황을 다소 순진하게 바라보는 관점도 존재합니다. “엔비디아(NVIDIA)는 그저 GDSII 파일[^2]을 TSMC[^3]에 보내기만 하면 된다”는 식이죠. TSMC가 로직 다이(logic die)와 스위치를 제작하고, 이를 SK하이닉스, 마이크론, 삼성전자가 만든 HBM[^4]과 함께 패키징합니다. 그런 다음 대만의 ODM[^5] 업체로 보내 서버 랙(rack)을 조립하게 하죠. 요컨대 엔비디아는 근본적으로 다른 사람들이 제조하는 하드웨어에 들어가는 소프트웨어를 만들고 있다는 겁니다. 그렇다면 만약 소프트웨어가 상품화된다면, 엔비디아 역시 상품화되는 것 아닐까요?

Jensen Huang (이하 황): 글쎄요, 결국 무언가는 전자(electrons)를 토큰(tokens)으로 변환해야만 합니다. 전자에서 토큰으로 변환하는 과정, 그리고 시간이 지날수록 그 토큰들을 더욱 가치 있게 만드는 과정은 완전히 상품화되기 어렵다고 생각합니다. 전자를 토큰으로 변환하는 것은 그야말로 믿을 수 없을 만큼 놀라운 여정입니다. 토큰 하나를 만드는 것은 마치 한 분자를 다른 분자보다 더 가치 있게 만드는 것과 같습니다. 하나의 토큰을 다른 토큰보다 더 가치 있게 만드는 작업이죠.

황: 그 토큰에 가치를 부여하기 위해 들어가는 예술적 감각, 엔지니어링, 과학, 발명의 양을 보십시오. 분명 우리는 이 과정이 실시간으로 일어나는 것을 목격하고 있습니다. 그 변환 과정과 제조 말입니다. 여기에 적용되는 모든 과학적 원리들은 여전히 깊이 있게 이해되지 못했으며, 이 여정은 아직 끝나려면 멀었습니다. 그래서 저는 그런 상품화가 일어날 것이라 생각하지 않습니다. 물론 우리는 그 과정을 더 효율적으로 만들 것입니다.

황: 엔비디아의 본질이 바로 그것입니다. 사실 질문자님이 틀을 잡으신 방식 자체가 우리 회사에 대한 저의 개념적 모델(mental model)과 정확히 일치합니다. 입력값은 전자이고, 출력값은 토큰입니다. 그리고 그 중간에 엔비디아가 있습니다. 우리의 임무는 그 변환 과정이 엄청난 역량으로 이루어질 수 있도록, ‘필요한 일은 다 하되 개입은 가능한 한 최소한으로 하는 것(do as much as necessary, as little as possible)’입니다.

황: ‘최소한으로 개입한다’는 의미는, 제가 직접 할 필요가 없는 일이라면 누구와든 파트너십을 맺어 그들이 우리 생태계의 일부로서 일하게 만든다는 뜻입니다. 오늘날 엔비디아를 보시면, 상류(upstream) 및 하류(downstream) 공급망, 모든 컴퓨터 관련 기업들, 그리고 우리가 지원하는 모든 애플리케이션을 아우르는 전 세계에서 가장 거대한 파트너 생태계를 보유하고 있을 것입니다.

황: 기업들, 도구(tool) 제조사들을 살펴보죠. 오늘날 대부분의 소프트웨어 기업은 사실 도구 제조사입니다. 일부는 아니지만, 일부는 워크플로(workflow)를 코드화하는 시스템이죠. 하지만 많은 기업들에게 소프트웨어는 도구입니다. 예를 들어 엑셀이나 파워포인트도 도구이고, 케이던스(Cadence)[^6]나 시놉시스(Synopsys)[^7]도 도구를 만듭니다. 저는 현재 사람들이 보는 것과 정반대의 미래를 봅니다. 저는 AI 에이전트의 수가 기하급수적으로 늘어날 것이고, 도구 사용자의 수 역시 기하급수적으로 늘어날 것이라고 생각합니다.

황: 따라서 이러한 모든 도구들의 인스턴스(instance) 수가 하늘을 찌를 듯이 폭증할 가능성이 매우 높습니다. 시놉시스의 디자인 컴파일러(Design Compiler) 인스턴스 수가 폭등할 가능성이 매우 높으며, 플로어 플래너(floor planner)나 모든 레이아웃 도구, 설계 규칙 검사기(DRC)를 다룰 에이전트의 수 역시 급증할 것입니다. 오늘날 우리는 엔지니어의 수에 의해 제약을 받고 있습니다. 하지만 내일이면 그 엔지니어들은 수많은 에이전트 무리의 지원을 받게 될 것입니다. 그리고 우리는 기존에 사용하는 도구들을 활용해 이전에는 결코 탐색하지 못했던 방식으로 설계 공간(design space)을 개척해 나갈 것입니다.

황: 따라서 도구 사용량의 증가는 이러한 소프트웨어 기업들의 가치를 치솟게 만들 것이라 생각합니다. 이 일이 아직 일어나지 않은 유일한 이유는, 에이전트들이 도구를 다루는 능력이 아직 충분하지 않기 때문입니다. 그래서 이 기업들이 직접 에이전트를 구축하거나, 아니면 에이전트 자체가 도구들을 능숙하게 사용할 수 있을 만큼 발전하게 될 것입니다. 저는 이 두 가지가 결합된 형태가 될 것이라고 봅니다.

챕터 2: 1,000억 달러 규모의 구매 확약과 거대한 파트너 생태계 구축

파텔: 최근 공시 자료를 보면, 귀사는 파운드리, 메모리, 패키징 파트너들과 거의 1,000억 달러에 달하는 구매 확약(purchase commitments)을 맺은 것으로 나옵니다. 또한 세미애널리시스(SemiAnalysis)[^8]의 보도에 따르면, 이러한 구매 확약 규모가 2,500억 달러에 이를 것이라고 합니다. 이에 대한 한 가지 해석은 엔비디아의 진정한 해자(moat)가 향후 수년간 공급이 부족할 이 핵심 부품들을 선점하여 잠가 두었다(locked up)는 점에 있다는 것입니다. 누군가 다른 가속기를 만들었다고 해도 그것을 제작할 메모리를 구할 수 있을까요? 로직 다이를 실제로 확보할 수 있을까요? 이것이 향후 몇 년간 엔비디아의 가장 큰 경쟁 우위라는 것입니다.

황: 음, 그것은 다른 누군가가 쉽게 따라 하기 힘들지만 우리가 할 수 있는 일 중 하나이긴 합니다. 우리가 상류 공급망에 그토록 거대한 약정을 맺을 수 있었던 이유는, 방금 말씀하신 그런 명시적인 약정도 있지만 암묵적인 부분도 존재하기 때문입니다. 예를 들어, 상류 산업계가 진행할 대다수의 투자는 우리 공급망 파트너들이 집행합니다. 왜냐하면 제가 각 파트너사 CEO들에게 “이 산업이 얼마나 거대해질지 말씀드리겠습니다. 왜 그렇게 될지 설명해 드리고, 그 이유를 함께 따져봅시다. 제가 보는 비전을 보여드리겠습니다.”라고 말했기 때문입니다.

황: 다양한 상류 산업계의 CEO들에게 정보를 제공하고, 영감을 주며, 비전을 조율하는 과정을 거쳤기 때문에 그들은 기꺼이 투자를 단행하게 됩니다. 그렇다면 그들이 왜 기꺼이 투자를 할까요? 그들은 다른 누군가가 아닌 저를 위해 기꺼이 투자합니다. 그 이유는 제가 그들의 공급 물량을 사들여 하류 공급망(downstream)을 통해 판매할 능력이 있다는 것을 그들이 알기 때문입니다. 엔비디아의 하류 공급망과 하류 수요 규모가 워낙 막대하기 때문에 상류 파트너들은 안심하고 투자를 진행하는 것입니다.

황: 그래서 GTC(GPU Technology Conference)[^9]를 보시면, 사람들은 그 엄청난 규모와 참석자들에 경이로움을 느낍니다. GTC는 정말 큰 행사입니다. 전방위적인 360도 행사죠. AI 세계 전체가 한자리에 모이는 것입니다. 모두가 한자리에 모이는 이유는 서로를 직접 만나야 하기 때문입니다. 하류 생태계가 상류 공급망을 보고, 상류가 하류를 보며, 모두가 AI의 모든 진전을 눈으로 확인할 수 있도록 제가 그들을 한데 모으는 것입니다.

황: 그리고 매우 중요하게도, 그들은 새롭게 구축되고 있는 AI 네이티브(AI native) 기업들과 AI 스타트업들을 직접 만나고, 일어나고 있는 놀라운 일들을 두 눈으로 확인할 수 있습니다. 이를 통해 제가 말했던 비전을 직접 체감하게 되죠. 저는 그 부분에 아주 많은 시간을 쏟습니다. 우리 앞에 놓인 기회에 대해 공급망, 파트너, 그리고 생태계에 직간접적으로 알리는 데 시간의 상당 부분을 할애합니다.

황: 많은 사람들이 제 기조연설(keynote)을 보며 “젠슨, 연설 내내 발표가 끊임없이 이어지네요”라고 말합니다. 하지만 저희 기조연설에는 듣는 입장에서는 다소 고통스럽게 느껴질 수 있는 ‘교육(education)’ 성격의 부분이 항상 포함되어 있습니다. 사실 그것이 정확히 제가 의도한 바입니다. 상류와 하류의 전체 공급망과 생태계가 우리에게 다가오는 변화가 무엇인지, 그 이유가 무엇인지, 언제 오는지, 규모는 얼마나 될지 명확히 이해하고, 체계적으로 논리적 추론을 할 수 있도록 만들어야 합니다. 제가 논리적으로 추론하는 방식 그대로 말입니다.

황: 따라서 말씀하신 형태의 해자는, 당연히 미래를 위해 구축할 수 있습니다. 향후 몇 년간 우리의 사업 규모가 1조 달러에 달한다 해도 우리는 이를 감당할 공급망을 이미 갖추고 있습니다. 우리의 시장 도달 범위(reach)와 비즈니스 속도가 없다면 불가능했을 겁니다. 현금 흐름이 있듯이 공급망의 흐름과 회전율(turns)이 존재합니다.

황: 특정 아키텍처의 비즈니스 회전율이 낮다면, 어느 누구도 그 아키텍처를 위해 공급망을 구축하려 하지 않을 것입니다. 따라서 우리가 지금의 막대한 규모를 유지할 수 있는 유일한 이유는 하류 수요가 너무나 거대하고, 파트너들이 그것을 직접 보고 들으며 다가올 미래를 내다보고 있기 때문입니다. 그래서 우리는 현재 우리가 해내고 있는 규모의 작업들을 수행할 수 있는 것입니다.

챕터 3: 공급망 병목 예측과 에너지 인프라의 중요성

파텔: 저는 상류 공급망이 향후 수년간 과연 이 성장 속도를 따라잡을 수 있을지 좀 더 구체적으로 이해하고 싶습니다. 귀사는 매년 매출을 놀라운 수준으로 늘려왔습니다. 세상에 제공하는 연산량(FLOPS)을 매년 3배 이상 늘려왔죠. 지금의 거대한 규모에서 계속 성장한다는 것은 정말 대단한 일입니다.

파텔: 그렇다면 로직 칩을 살펴보죠. 귀사가 TSMC N3 공정의 최대 고객이고 N2 공정에서도 최대 고객 중 하나라고 가정해 보겠습니다. 일부 분석에 따르면 올해 AI 전체 수요가 N3 공정의 60%를 차지할 것이고 내년에는 86%가 될 것이라고 합니다. 이미 과반을 차지하고 있는데 어떻게 여기서 2배로 늘릴 수 있습니까? 그리고 어떻게 그것을 매년 해낼 수 있죠? 그렇다면 우리는 지금 상류 공급망의 한계 때문에 AI 컴퓨팅 성장률이 둔화될 수밖에 없는 상황에 놓인 것입니까? 이런 제약을 우회할 방법이 있다고 보시나요? 궁극적으로 어떻게 매년 파운드리를 2배씩 더 지을 수 있을까요?

황: 네. 어느 수준에 이르면 세상의 상하류 전체 공급량보다 즉각적인 수요가 더 큰 상황이 벌어집니다. 그리고 어느 순간이든 우리는 배관공(plumbers)의 숫자에 의해 한계에 부딪힐 수도 있습니다. 이건 실제로 벌어지는 일입니다. 내년 GTC에 배관공들을 초대할 예정입니다.

파텔: 네. 참 좋은 아이디어네요.

황: 하지만 그건 좋은 상태입니다. 즉각적인 수요가 산업의 총공급량을 초과하는 산업 구조가 바람직하죠. 그 반대 상황은 당연히 덜 좋습니다. 만약 특정 부품 하나가 공급에서 너무 크게 뒤처지게 되면, 당연히 업계 전체가 그 문제를 해결하기 위해 모여듭니다(swarm).

황: 예를 들어, 사람들이 최근 CoWoS[^10]에 대해 예전만큼 많이 이야기하지 않는다는 걸 눈치채셨을 겁니다. 그 이유는 지난 2년 동안 우리가 그 부분에 죽어라 매달렸고, 생산 능력을 계속해서 두 배씩 늘려왔기 때문입니다. 이제는 꽤 안정적인 상태에 있다고 생각합니다. TSMC 역시 이제 CoWoS 공급이 나머지 로직 및 메모리 수요와 발맞춰야 한다는 것을 알기 때문에 CoWoS를 대대적으로 확장하고 있습니다. 로직 공정을 확장하는 것과 동일한 수준으로 미래의 패키징 기술을 확장하고 있는데, 이는 매우 훌륭한 일입니다. 오랫동안 CoWoS나 HBM은 다소 특수 목적(specialty)에 가까웠지만, 이제는 더 이상 특수 분야가 아닙니다. 사람들은 이제 이것들이 주류 컴퓨팅 기술이라는 것을 깨달았습니다.

황: 그리고 물론 우리는 과거보다 공급망의 더 넓은 범위에 훨씬 더 큰 영향을 미칠 수 있게 되었습니다. 과거 AI 혁명 초기 시절, 제가 지금 하는 모든 이야기들을 저는 5년 전에도 똑같이 했습니다. 어떤 사람들은 그것을 믿고 투자했죠. 마이크론(Micron)의 산제이 메로트라(Sanjay Mehrotra)[^11]와 그 팀이 대표적입니다. 앞으로 무슨 일이 일어날 것이고 왜 일어날 것인지 명확히 설명했던 그 회의를 아직도 생생히 기억합니다. 오늘날의 예측과 일치하는 전망을 들은 그들은 과감히 집중 투자를 단행했고, 우리는 그들과 굳건한 파트너십을 맺었습니다. LPDDR부터 HBM 메모리에 이르기까지 그들은 전폭적인 투자를 했고, 그것은 분명 회사에 엄청난 성과를 가져다주었습니다. 어떤 사람들은 조금 늦게 합류했지만, 지금은 모두가 여기 함께하고 있습니다.

황: 그래서 매 세대마다, 각각의 병목 지점마다 엄청난 관심이 쏠린다고 생각합니다. 이제 우리는 수년 전부터 이러한 병목 지점을 미리 파악(pre-fetching)하여 대비합니다. 루멘텀(Lumentum)[^12]과 코히어런트(Coherent)[^13], 그리고 전체 실리콘 포토닉스(Silicon Photonics)[^14] 생태계에 단행한 우리의 투자가 그 예입니다. 지난 수년간 우리는 실리콘 포토닉스 생태계와 공급망을 완전히 재편했습니다. TSMC를 중심으로 전체 공급망을 구축했고, CoWoS 관련 파트너십을 맺었으며, 수많은 기술을 새롭게 발명했습니다. 생태계를 개방적이고 건강하게 유지하기 위해 그 특허들을 공급망에 라이선스했습니다.

황: 우리는 새로운 기술, 새로운 워크플로우, 새로운 테스트 장비, 양면 프로빙(double-sided probing)[^15] 장비 등을 도입하여 공급망을 준비하고 있습니다. 공급망에 직접 투자하고 기업들이 생산 능력을 확장할 수 있도록 돕는 새로운 기술과 솔루션을 개발하여 적용하고 있습니다. 이처럼 우리는 수요 규모 확장을 감당할 수 있도록 생태계의 형태를 적극적으로 빚어가려 노력하고 있습니다.

파텔: 어떤 병목 현상은 다른 것보다 해결하기 쉬운 것 같습니다. CoWoS를 확장하는 것과...

황: 참고로 저는 앞서 가장 어려운 병목 지점을 꼽은 겁니다. 배관공 말이죠.

파텔: 네, 사실입니다.

황: 배관공과 전기 기술자를 가장 어려운 병목으로 꼽았습니다. 그 이유는 제가 일자리의 종말과 노동의 감소를 묘사하는 비관론자(doomers)들에 대해 가지는 우려 중 하나이기 때문입니다. 우리가 사람들에게 소프트웨어 엔지니어가 되는 것을 두려워하고 단념시킨다면, 우리는 결국 국가적으로 소프트웨어 엔지니어를 확보할 수 없게 됩니다.

황: 10년 전 일부 비관론자들도 똑같은 예측을 하며 사람들에게 ‘무슨 일을 하든 영상의학과 전문의(radiologist)는 되지 마라’고 말했습니다. 인터넷에 아직도 그런 영상이 남아있을 겁니다. ‘영상의학이 가장 먼저 사라질 직업이 될 것이다’, ‘세상은 더 이상 영상의학과 전문의를 필요로 하지 않을 것이다’라고 했죠. 그런데 지금 우리가 가장 끔찍하게 부족한 인력이 무엇인지 아십니까? 바로 영상의학과 전문의입니다.

파텔: 오, 하지만 알겠습니다. 그럼 다시 돌아가서, 어떤 것들은 쉽게 확장되지만 매년 2배에 달하는 로직 칩을 실제로 어떻게 생산할 수 있느냐는 점에 대해 여쭤보겠습니다. 궁극적으로 메모리와 로직 칩 확장은 EUV(극자외선) 노광 장비에 의해 병목이 발생합니다. 매년 2배에 달하는 EUV 장비를 어떻게 확보할 수 있죠? 그중 어느 것도 빠르게 확장하는 것이 불가능하지는 않나요?

황: 그 어떤 것도 빠르게 확장하는 것이 불가능하지 않습니다. 모든 과정은 2~3년 내에 비교적 쉽게 해결할 수 있습니다. 명확한 수요 신호(demand signal)만 있으면 됩니다. 1대를 만들 수 있다면 10대를 만들 수 있고, 10대를 만들 수 있다면 100만 대도 만들 수 있습니다. 따라서 이런 것들을 복제하고 확장하는 것은 어렵지 않습니다.

파텔: 공급망의 어느 깊이까지 관여하십니까? ASML[^16]에 직접 가서 “향후 3년 뒤 엔비디아가 연간 2조 달러의 매출을 내려면 훨씬 더 많은 EUV 장비가 필요합니다”라고 말씀하시나요?

황: 일부는 제가 직접, 일부는 간접적으로 관여합니다. 만약 제가 TSMC를 설득할 수 있다면, ASML도 당연히 설득될 것입니다. 따라서 우리는 핵심적인 병목 지점(pinch points)들을 치열하게 고민해야 합니다. TSMC가 확신을 가지면 몇 년 후에는 충분한 EUV 장비가 확보될 것입니다. 제 요지는 이러한 병목 현상 중 그 어떤 것도 2~3년 이상 지속되지 않는다는 것입니다. 단 하나도요.

황: 그리고 그동안 우리는 컴퓨팅 효율성을 지속적으로 개선하고 있습니다. 호퍼(Hopper)에서 블랙웰(Blackwell)로 넘어가면서 성능이 10배, 20배 향상되었고 일부는 30~50배까지 향상되었습니다. CUDA가 매우 유연하기 때문에 새로운 알고리즘을 고안해 내어 용량 증대뿐만 아니라 효율성을 극대화하기 위한 온갖 새로운 기술을 끊임없이 개발하고 있습니다. 따라서 부품과 공급망 부분들은 전혀 걱정하지 않습니다.

황: 정작 저를 깊이 걱정하게 만드는 것은 우리보다 하류(downstream)에 있는 요소들입니다. 에너지 공급을 가로막는 무분별한 에너지 정책들 말입니다. 에너지가 없으면 산업을 창출할 수 없습니다. 에너지가 없이는 완전히 새로운 제조업을 창출할 수도 없죠. 우리는 미국의 재산업화를 원합니다. 반도체 제조, 컴퓨터 조립, 패키징 공정을 미국 본토로 다시 가져오길 원합니다. 전기차와 로봇 같은 새로운 것을 만들고, 거대한 AI 데이터센터(AI Factory)를 구축하고 싶습니다. 하지만 이 모든 것들은 에너지 인프라 확충 없이는 불가능합니다. 그리고 에너지 인프라 확충은 훨씬 더 오랜 시간이 걸립니다. 반면 칩 생산 능력을 늘리는 것은 2~3년의 문제일 뿐입니다. CoWoS 용량 확장 역시 2~3년짜리 문제죠.

파텔: 흥미롭군요. 가끔 다른 게스트분들은 정반대의 이야기를 하시는데, 이 부분에 대해서는 제가 기술적으로 판단할 지식이 부족합니다.

황: 다행인 점은, 당신이 지금 이 분야의 최고 전문가와 이야기하고 있다는 것입니다.

파텔: 네, 사실이네요.

챕터 4: 가속 컴퓨팅과 TPU 경쟁: 엔비디아의 생태계 전략

파텔: 좋습니다, 경쟁사에 대해 질문해 보겠습니다. TPU[^17]를 보면, 논쟁의 여지는 있겠지만 세계 최고 모델 3개 중 두 개가 구글의 모델입니다. 향후 엔비디아에게 이것이 어떤 의미가 있을까요?

황: 음, 우리는 구글과 매우 다른 것을 구축합니다. 엔비디아가 만든 것은 단순한 텐서 처리 유닛(TPU)이 아니라 ‘가속 컴퓨팅(Accelerated Computing)’입니다. 가속 컴퓨팅은 온갖 분야에 폭넓게 사용됩니다. 분자 동역학(molecular dynamics), 양자 색역학(quantum chromodynamics), 구조화 및 비구조화 데이터 처리에 사용됩니다. 유체 역학, 입자 물리학 등에도 쓰입니다. 물론 AI에도 사용되죠.

황: 따라서 가속 컴퓨팅의 적용 범위는 훨씬 더 다양합니다. 오늘날 AI가 중요한 대화의 화두이고 영향력이 엄청난 건 맞지만, 컴퓨팅 자체는 그보다 훨씬 광범위한 영역입니다. 엔비디아가 해낸 일은 일반 목적 컴퓨팅에서 가속 컴퓨팅으로 컴퓨팅 연산의 패러다임을 완전히 재창조한 것입니다.

황: 우리의 시장 도달 범위는 어떤 TPU나 ASIC[^18]이 가질 수 있는 범위를 아득히 초월합니다. 우리의 입지를 보면, 우리는 모든 종류의 애플리케이션을 가속하는 전 세계 유일한 기업입니다. 우리는 거대한 생태계를 보유하고 있어 모든 프레임워크와 알고리즘이 엔비디아 위에서 완벽히 구동됩니다.

황: 또한 우리 컴퓨터는 다른 사람들이 직접 운영할 수 있도록 설계되었기 때문에, 운영자라면 누구든 우리 시스템을 구매할 수 있습니다. 대다수의 자체 구축(home-built) 시스템들은 타인이 운영할 수 있을 만큼 유연하게 설계되지 않아 오직 자신들이 직접 운영해야만 합니다. 그러나 누구나 운영할 수 있다는 장점 덕분에 우리는 구글, 아마존, 애저(Azure), OCI 등 모든 클라우드에 입점해 있습니다.

황: 시스템을 임대 목적으로 운영하든, 직접 운영하든 상관없이 자유롭게 활용할 수 있습니다. 클라우드 대여 서비스로 운영하려면 여러 산업 전반에 걸쳐 자원을 구매할 거대한 고객 생태계(offtakers)를 확보해야 합니다. 반면 직접 시스템을 운영하고 싶다면, 예를 들어 일론 머스크의 xAI처럼 저희가 자체 인프라 구축을 전폭적으로 도울 수 있습니다.

황: 우리는 어떤 기업, 어떤 산업의 운영자든 지원할 수 있기 때문에 일라이 릴리(Eli Lilly) 제약회사가 과학 연구 및 신약 개발을 위한 자체 슈퍼컴퓨터를 구축하는 데도 사용할 수 있습니다. 우리는 그들이 자체 슈퍼컴퓨터를 가동하여 우리가 가속하는 신약 발견과 생명과학의 전 범위에 이를 활용하도록 도울 수 있습니다.

황: 이처럼 TPU로는 불가능한, 우리가 처리할 수 있는 수많은 애플리케이션 영역이 존재합니다. 엔비디아는 CUDA를 환상적인 텐서 처리 유닛으로도 기능하게 구축했지만, 이는 데이터 처리와 컴퓨팅, AI의 모든 라이프사이클을 아우르기 때문입니다. 그래서 우리의 시장 기회는 훨씬 더 크고 도달 범위도 넓습니다. 우리는 방대한 지원 기반을 바탕으로 사실상 전 세계의 모든 애플리케이션을 지원합니다. 따라서 엔비디아 시스템을 어디에 구축하든 반드시 고객이 존재한다는 것을 확신합니다. 이는 완전히 다른 차원의 이야기입니다.

파텔: 조금 긴 질문이 될 것 같습니다만, 귀사는 눈부신 수익을 올리고 있습니다. 그리고 그 분기당 600억 달러의 수익이 제약이나 양자 역학에서 나오는 것은 아닙니다. 전례 없는 속도로 성장하는 전례 없는 기술인 AI 덕분에 엄청난 수익이 발생하죠. 그렇다면 질문은, ‘구체적으로 AI에 가장 적합한 하드웨어는 무엇인가?’가 됩니다.

파텔: 제가 세부적인 기술 전문가는 아니지만, AI 연구자 친구들과 이야기해 보면 그들은 이렇게 말합니다. “TPU를 사용할 때는 행렬 곱셈을 수행하는 데 완벽하게 최적화된 거대한 시스톨릭 어레이(systolic array)[^19] 구조의 이점을 누릴 수 있다.” 반면 GPU는 매우 유연해서 분기(branching)가 많거나 불규칙한 메모리 접근이 있을 때 훌륭합니다.

파텔: 하지만 AI의 본질은 무엇일까요? 예측 가능한 행렬 곱셈을 끊임없이 반복하는 것입니다. 따라서 워프 스케줄러(warp schedulers)나 스레드 및 메모리 뱅크 간의 전환으로 인한 오버헤드를 감수하면서 다이 면적(die area)을 낭비할 필요가 없습니다. 결국 TPU는 현재의 매출 성장과 연산 수요의 대부분을 차지하는 영역에 정밀하게 최적화되어 있습니다. 우리가 지금 주목하고 있고 당장 실전에 도입되고 있는 기술이 바로 그것입니다. 이 주장에 대해 어떻게 생각하시는지 궁금합니다.

황: 행렬 곱셈은 AI의 중요한 부분이지만, AI의 전부는 아닙니다. 만약 새로운 어텐션 메커니즘(attention mechanism)을 고안하고 싶거나, 다른 방식으로 모델을 분할(disaggregate)하고 싶거나, 하이브리드 SSM(State Space Model)[^20]처럼 완전히 새로운 아키텍처를 시도하고 싶다면 어떨까요? 디퓨전(diffusion) 모델과 자기회귀(autoregressive) 모델을 융합하고 싶다면요? 이럴 때 필요한 것은 범용적으로 프로그래밍이 가능한(generally programmable) 아키텍처입니다. 우리는 당신이 상상하는 모든 것을 실행합니다.

황: 그것이 바로 엔비디아의 이점입니다. 새로운 알고리즘 발명을 훨씬 쉽게 만들어줍니다. 프로그래밍이 가능한 시스템이기 때문이죠. 새로운 알고리즘을 마음껏 발명할 수 있는 이 능력이 바로 AI를 이토록 빠르게 발전시키는 원동력입니다. TPU를 포함한 어떤 하드웨어든 무어의 법칙의 지배를 받습니다. 무어의 법칙은 매년 25%씩 성능을 향상시킬 뿐입니다. 따라서 10배, 100배의 도약을 이루려면 매년 알고리즘과 컴퓨팅 방식을 근본적으로 바꿔야 합니다. 그것이 엔비디아의 근본적 경쟁 우위입니다.

황: 우리가 호퍼(Hopper) 대비 블랙웰(Blackwell)의 성능을 50배 향상시킬 수 있었던 유일한 이유가 바로 그것입니다. 처음에 제가 블랙웰이 호퍼보다 35배 더 에너지 효율적일 것이라고 발표했을 때 아무도 믿지 않았습니다. 그 후 딜런(Dylan Patel)[^21]이 기사를 쓰면서 “사실 젠슨이 보수적으로 말한 것이고(sandbagged), 실제로는 50배다”라고 증명했죠. 단순히 무어의 법칙만으로는 결코 달성할 수 없는 수치입니다.

황: 우리가 이 문제를 해결한 방식은 완전히 새로운 모델 아키텍처를 통해서입니다. 혼합 전문가(MoE, Mixture of Experts)[^22] 모델을 병렬화하고 분산시켜 컴퓨팅 시스템 전반에 적용했습니다. 가장 밑단까지 내려가 CUDA를 통해 완전히 새로운 커널을 만들어 낼 능력이 없었다면 결코 불가능했을 일입니다.

황: 따라서 우리 아키텍처의 프로그래밍 가능성과, 엔비디아가 네트워크 패브릭 자체로 연산의 일부를 오프로드(offload)할 수 있는 극단적인 공동 설계(co-design) 기업이라는 사실이 결합된 결과입니다. 우리는 스펙트럼-X(Spectrum-X)[^23] 같은 네트워크를 포함하여 프로세서, 시스템, 패브릭, 라이브러리, 그리고 알고리즘 모두를 동시에 혁신했습니다. 이 모든 작업은 동시에 진행되었으며, CUDA 없이는 어디서부터 시작해야 할지 감도 잡지 못했을 것입니다.

챕터 5: 방대한 CUDA 생태계와 TCO 최적화의 위력

파텔: 이는 엔비디아의 고객층에 대한 매우 흥미로운 질문으로 이어집니다. 만약 전체 매출의 60%가 상위 5개 하이퍼스케일러(Hyperscaler)[^28]에서 나온다면 말이죠. 과거의 환경에서 대학 교수님들이 실험실에서 연구할 때라면 CUDA가 절대적으로 필요했을 것입니다. 다른 가속기는 사용할 수 없고 PyTorch에 CUDA를 연결해 모든 것을 최적화해야만 했으니까요.

파텔: 하지만 이 거대한 하이퍼스케일러들은 스스로 커널을 작성할 막대한 자본과 인력이 충분합니다. 사실 특정 아키텍처에서 마지막 5%의 성능을 쥐어짜기 위해 그들은 실제로 자체 커널을 작성해야만 합니다. 예를 들어 구글을 보면, 그들은 주로 자체 가속기나 TPU를 훈련에 주로 사용합니다.

파텔: GPU를 사용하는 OpenAI조차도 트라이튼(Triton)[^29]을 만들어 “우리만의 커널이 필요하다”며 cuBLAS나 NCCL[^30]을 사용하는 대신 직접 C++ CUDA 레벨로 스택을 구축하여 다른 가속기로도 컴파일할 수 있게 만들었습니다. 만약 주요 고객의 대부분이 CUDA를 우회하는 대안을 만들 수 있고 또 그렇게 하고 있다면, CUDA라는 전략이 여전히 훌륭한 아이디어일까요? 과연 프론티어 AI(Frontier AI) 분야에서 CUDA가 여전히 엔비디아의 성공을 이끄는 절대적인 핵심 열쇠라고 볼 수 있을까요?

황: CUDA는 믿을 수 없을 만큼 풍부한 생태계입니다. 어떤 컴퓨터를 기반으로 개발하든 먼저 CUDA 위에서 구축하는 것이 압도적으로 현명한 선택입니다. 생태계가 워낙 방대해 모든 프레임워크를 완벽하게 지원하니까요. 사용자가 맞춤형 커널을 만들고 싶다면 그것도 지원합니다. 예를 들어 저희는 트라이튼(Triton) 프로젝트에도 엄청난 기여를 하고 있습니다. 트라이튼의 백엔드에는 막대한 양의 엔비디아 기술이 들어가 있습니다. 우리는 모든 프레임워크가 최고의 성능을 발휘하도록 돕는 것을 진심으로 기쁘게 생각합니다.

황: 프레임워크는 정말 다양합니다. 트라이튼, VLM, SGLang[^31], 그리고 새로운 강화학습(RL) 프레임워크인 VeRL[^32], NeMo RL[^33] 등 수많은 훌륭한 도구들이 쏟아져 나오고 있습니다. 사후 학습(post-training)과 강화학습 분야가 폭발적으로 성장하면서 전체 생태계가 팽창하고 있죠. 따라서 아키텍처 위에 무언가를 구축하려면 생태계가 뛰어나다는 것을 알고 있는 CUDA 기반으로 시작하는 것이 가장 합리적입니다.

황: 무언가 작동하지 않을 때 그 원인이 당신의 코드에 있는지 그 아래의 수많은 인프라 코드에 있는지 명확히 알 수 있기 때문입니다. 이런 거대한 시스템을 구축할 때 다뤄야 하는 코드의 양을 잊지 마세요. 무언가 작동하지 않을 때, 그게 당신의 실수인지 컴퓨터의 실수인지 알아야 합니다. 당신은 항상 그것이 자신의 실수이기를 바랄 것이며 컴퓨터 하드웨어만큼은 온전히 신뢰하고 싶을 것입니다.

황: 물론 저희 시스템에도 여전히 버그가 많습니다. 하지만 저희 시스템은 워낙 철저하게 검증(wrung out)되었기 때문에 최소한 이 견고한 기반 위에서 안심하고 개발을 시작할 수 있습니다. 첫 번째는 생태계의 풍부함, 프로그래밍 가능성, 기능의 우수함입니다.

황: 두 번째로, 개발자로서 무언가를 만들 때 가장 간절히 원하는 단 한 가지는 바로 ‘설치 기반(install base)’입니다. 당신이 만든 소프트웨어가 세상 수많은 컴퓨터에서 자유롭게 돌아가기를 원할 겁니다. 혼자만을 위해 소프트웨어를 만들지는 않죠. 프레임워크 개발자는 자신만의 클러스터뿐만 아니라 다른 모든 사람들의 플릿(fleet)에서 작동하는 소프트웨어를 만듭니다.

황: 엔비디아의 CUDA 생태계는 결국 우리의 가장 큰 자산입니다. 현재 수억 대의 GPU를 보유하고 있습니다. 모든 주요 클라우드에 A10, A100부터 H100, H200, L 시리즈, P 시리즈 등 모든 크기와 형태로 배치되어 있습니다. 로봇 기업이라면 로봇 내부에서도 동일한 CUDA 스택이 실행되기를 원하죠. 우리는 말 그대로 모든 곳에 존재합니다.

황: 이 막대한 설치 기반 덕분에 한 번 소프트웨어나 모델을 개발하면 어디서든 유용하게 쓸 수 있습니다. 설치 기반의 가치는 엄청납니다. 마지막으로, 우리가 모든 클라우드 서비스 제공자(CSP)에 입점해 있다는 사실은 우리를 진정 독보적인 존재로 만듭니다. AI 기업이나 개발자는 향후 어떤 클라우드와 파트너십을 맺을지, 어디서 워크로드를 실행할지 확신할 수 없지만, 엔비디아를 선택하면 온프레미스(on-prem) 환경을 포함해 어디서든 실행할 수 있습니다. 생태계의 풍부함, 설치 기반의 광범위함, 사용 환경의 유연성이 결합되어 CUDA를 대체 불가능하게 귀중한(invaluable) 자산으로 만듭니다.

파텔: 매우 타당한 설명입니다. 하지만 궁금한 건 그러한 장점들이 귀사 매출의 대부분을 차지하는 ‘직접 소프트웨어 스택을 구축할 역량이 있는 주요 고객들’에게도 과연 그렇게 치명적으로 중요하냐는 점입니다. 특히 AI가 강화학습처럼 정밀하고 촘촘한 검증 루프(verification loop)를 가진 분야로 발전함에 따라, 스케일업(scale-up) 환경에서 어텐션이나 MLP 연산을 가장 효율적으로 수행하는 커널을 작성하는 것은 매우 객관적으로 검증 가능한 피드백 루프를 갖게 됩니다.

파텔: 그렇다면 모든 하이퍼스케일러들이 자체적으로 맞춤형 커널을 직접 작성할 수 있지 않겠습니까? 그럼에도 엔비디아가 뛰어난 가성비를 제공하기 때문에 여전히 선호할 수도 있겠지만, 결국 “같은 비용으로 누가 가장 높은 연산량(FLOPS)과 메모리 대역폭을 제공하는가?”의 하드웨어 스펙 경쟁으로 수렴하지 않을까요?

파텔: 역사적으로 엔비디아는 강력한 CUDA 해자 덕분에 하드웨어와 소프트웨어 전 분야에서 70% 이상의 높은 마진을 굳건히 유지해 왔습니다. 하지만 대다수의 주요 고객들이 CUDA 외부에서 자체 스택을 구축할 자원과 능력이 생기더라도 과연 그 높은 마진을 계속 방어할 수 있을까요?

황: 현재 저희가 AI 연구소 고객사들에 파견해 스택 최적화를 돕는 엔지니어의 수는 미쳤다고 할 만큼 상상을 초월합니다. 그 이유는 누구도 우리만큼 우리 아키텍처를 잘 알지 못하기 때문입니다. 우리 아키텍처는 범용 CPU와는 다릅니다. CPU가 널리 쓰이는 이유는 비유하자면 캐딜락(Cadillac)과 같기 때문입니다. 부드러운 순항(cruising)에 적합한 편안한 차죠. 속도를 무리하게 낼 필요도 없고 누구나 무난하게 운전할 수 있습니다. 크루즈 컨트롤 같은 기능이 있어 조작이 쉽습니다.

황: 하지만 여러 면에서 엔비디아의 가속기들은 F1 레이싱카와 같습니다. 누구나 시속 100마일로는 무난하게 운전할 수 있겠지만, 한계치까지 성능을 폭발적으로 끌어올리려면 엄청난 전문성이 필요합니다. 우리는 커널을 정밀하게 개발할 때 막대한 양의 AI를 활용합니다. 그렇기 때문에 앞으로도 상당 기간 우리의 전문성이 필수적일 것이라 굳게 확신합니다.

황: 우리의 전문성은 파트너인 AI 연구소들이 자신들의 소프트웨어 스택에서 최소 2배 이상의 추가 성능을 쉽게 끌어내도록 돕습니다. 우리가 특정 커널이나 스택 최적화를 마칠 때쯤이면 모델 구동 속도가 2배, 3배, 혹은 50% 향상되는 것은 전혀 드문 일이 아닙니다. 이는 엄청난 수치입니다. 특히 Hopper와 Blackwell 클러스터를 대규모로 운영하는 기업들에게 성능 2배 향상이란 곧 매출이 2배로 늘어나는 것을 의미합니다. 우리는 최적의 결과를 얻을 때까지 멈추지 않고 끊임없이 시도하고 도전할 것입니다.

황: 경쟁사들의 주장이 현실화되지는 않을 것입니다. 저는 그들이 인퍼런스 맥스(Inference Max)[^34] 같은 공개 벤치마크 환경에 직접 나와 그들이 늘 주장하는 놀라운 추론 비용 효율성을 실제로 입증해 주기를 권합니다. 사실 그건 정말 어려운 일이라 아무도 선뜻 나서지 않으려 합니다. MLPerf[^35] 벤치마크 환경에서 그들이 항상 주장하는 40% 성능 우위와 TPU의 비용 우위를 제발 객관적으로 증명해 주길 진심으로 환영합니다. 제 생각엔 그들의 주장은 전혀 말이 되지 않습니다. 제1원리에 비추어 봐도 전혀 앞뒤가 맞지 않아요.

황: 우리가 이토록 성공할 수 있었던 이유는 단순하게도 우리의 총소유비용(TCO)[^36]이 압도적으로 훌륭하기 때문입니다. 두 번째로, 상위 5대 고객사가 전체 매출의 60%를 차지한다고 하셨지만, AWS, Azure, OCI 등 클라우드에 납품되는 칩의 대부분은 내부 사용(internal use)이 아니라 외부 고객(external customers)을 위한 것입니다. 클라우드 제공업체들이 우리를 선호하는 이유는 우리의 도달 범위가 워낙 넓어 전 세계의 훌륭한 잠재 고객들을 그들에게 데려다주기 때문입니다. 모든 AI 기업들이 엔비디아 기반으로 구축되어 있습니다. 이들이 엔비디아를 선택한 이유는 우리의 시장 지배력과 다재다능함이 압도적이기 때문입니다.

황: 따라서 진정한 플라이휠(flywheel)은 막대한 설치 기반, 우리 아키텍처의 프로그래밍 유연성, 그리고 생태계의 풍부함으로 작동합니다. 현재 전 세계에 수만 개의 AI 스타트업이 존재합니다. 당신이 AI 스타트업 창업자라면 어떤 아키텍처를 선택하겠습니까? 가장 널리 보급되고 풍부한 생태계를 갖춘 아키텍처를 선택할 것입니다. 우리는 세계에서 가장 널리 퍼져 있고, 가장 거대한 설치 기반과 가장 풍부한 생태계를 갖추고 있습니다. 이것이 바로 이 플라이휠이 완벽하게 작동하는 원리입니다.

황: 이러한 요소들의 결합 덕분에 첫째, 달러당 성능(Perf per dollar)이 탁월하여 가장 저렴한 비용으로 토큰을 생성할 수 있습니다. 둘째, 와트당 성능(Perf per watt)이 전 세계에서 가장 높습니다. 우리 파트너가 1기가와트 규모의 데이터센터를 짓는다면 당연히 전력 한도 내에서 최대한 많은 토큰을 생성해 매출을 극대화해야 합니다. 우리는 세계에서 전력당 가장 많은 토큰을 생성하는 아키텍처입니다. 마지막으로, 인프라를 대여하는 것이 목적이라면 전 세계에서 가장 많은 고객을 보유한 쪽을 선택할 것입니다. 이것이 바로 플라이휠이 작동하는 이유입니다.

파텔: 흥미롭습니다. 결국 질문은 실제 시장 구조가 어떻게 형성되어 있느냐로 귀결되는 것 같습니다. 수만 개의 AI 스타트업이 컴퓨팅을 고르게 나눠 쓰는 세상이라면 엔비디아가 절대적으로 유리하겠지만, 실제로는 대부분의 연산이 Amazon 같은 5대 하이퍼스케일러와 자체적으로 가속기를 혼합해 구축하고 운영할 막대한 자본력을 갖춘 거대 파운데이션 모델 연구소들에 집중되어 있지 않습니까?

황: 아니요. 당신의 전제 자체가 완전히 틀렸다고 생각합니다.

파텔: 그럴 수도 있겠죠. 그럼 약간 다른 질문을 드려보겠습니다.

황: 나중에 꼭 돌아와서 그 전제를 바로잡도록 해주세요. AI의 미래와 과학 및 산업의 미래에 너무나 중요한 주제니까요. 전제를 다시 말씀해 보시죠.

파텔: 알겠습니다. 제가 질문을 끝마치면 함께 다루어 보죠. 만약 가격 대비 성능이나 와트당 성능 등에서 엔비디아가 압도적이라는 말씀이 모두 사실이라면, 어째서 앤트로픽(Anthropic)[^37]이 불과 며칠 전 브로드컴, 구글과 기가와트 규모의 TPU 다년 공급 계약을 맺었다고 발표했을까요? 구글의 경우, 그들 컴퓨팅의 대부분을 TPU가 차지하고 있는 것이 명백합니다. 이 거대한 AI 기업들을 보면, 과거 어느 시점에는 모든 것이 엔비디아 중심이었지만 지금은 그렇지 않은 것 같습니다. 서류상의 수치들이 사실이라면, 왜 그들이 엔비디아가 아닌 다른 가속기를 선택하고 있는지 어떻게 설명할 수 있을지 궁금합니다.

황: 네. 앤트로픽의 사례는 그들만의 독특한 예외일 뿐, 일반적인 추세가 결코 아닙니다. 앤트로픽이 없었다면 과연 TPU의 성장이 있었을까요? TPU 성장의 100%는 앤트로픽 한 곳 덕분입니다. AWS의 트레이니엄(Trainium)[^38] 성장 역시 100% 앤트로픽 덕분이죠. 이는 업계에 상당히 잘 알려진 사실입니다. 경쟁 ASIC(맞춤형 반도체)을 위한 기회가 시장에 풍부하게 널려 있는 게 아닙니다. 오직 앤트로픽이라는 단 하나의 예외뿐이죠.

파텔: 하지만 오픈AI도 AMD와 거래를 하고 있고, 자체적인 Titan 가속기를 만들고 있지 않습니까?

황: 네, 하지만 그들 역시 전체 인프라의 압도적인 다수를 여전히 엔비디아에 의존하고 있다는 점을 우리 모두가 객관적으로 인정할 수밖에 없을 겁니다. 그리고 앞으로도 우리는 함께 많은 작업을 해나갈 것입니다. 저는 파트너들이 다른 기술을 사용해 보고 시험해 보는 것에 대해 전혀 불쾌하게 생각하지 않습니다. 다른 대안을 시도해 보지 않으면 우리 제품이 얼마나 훌륭한지 어떻게 알 수 있겠습니까? 때로는 그 사실을 뼈저리게 다시금 상기시켜 줄 필요도 있죠. 우리는 우리가 차지한 이 자리에 부합할 자격이 있음을 끊임없이 증명해야 합니다.

황: 항상 업계에는 과장된 거창한 주장들이 넘쳐납니다. 하지만 지금까지 취소된 수많은 커스텀 ASIC 프로젝트들을 보세요. 단순히 커스텀 ASIC을 만든다고 무조건 성공하는 게 아닙니다. 결국 엔비디아보다 더 나은 것을 만들어야 하는데, 그건 결코 쉬운 일이 아닙니다. 사실 이치에 맞지도 않죠. 엔비디아가 무언가를 심각하게 놓치고 있어야만 가능한 일입니다. 매년 엄청난 성능의 도약을 이루어내며 혁신적인 제품을 쏟아내는 회사는 전 세계에 엔비디아뿐입니다.

파텔: 그들의 논리는 이럴 겁니다. “무조건 엔비디아보다 더 좋을 필요는 없어. 우리는 현재 엔비디아에 70%의 마진을 얹어 지불하고 있으니, 우리가 자체 개발한 칩이 그들보다 성능이 70% 이상 뒤처지지만 않으면 비용 면에서 이득이야.”라는 식이죠.

황: 아닙니다, 전혀 다릅니다. 잊지 마세요. ASIC의 마진 역시 상당히 높습니다. 엔비디아의 마진이 70%라면, 자체 ASIC들의 마진도 65%는 될 겁니다. 그러니 실제로 그들이 절약하는 비용이 얼마나 되겠습니까? 칩 설계 파트너인 브로드컴 같은 업체에게도 당연히 높은 대가를 지불해야 합니다. 브로드컴 등은 자신들의 높은 ASIC 마진을 상당히 자랑스럽게 여깁니다.

황: 그렇다면 “왜 앤트로픽은 과거에 그런 선택을 했는가?”라는 질문으로 돌아가 보죠. 아주 오래전 일입니다만, 당시 우리는 그럴 능력이 없었습니다. 당시 저는 오픈AI나 앤트로픽 같은 파운데이션 AI 연구소를 설립하는 것이 얼마나 극도로 엄청난 자본을 필요로 하는지 깊이 내재화하지 못했습니다. 그들은 하드웨어 공급업체로부터 수십억 달러 단위의 막대한 투자를 받아야만 했지만, 당시 엔비디아는 그들이 우리 컴퓨팅을 전적으로 사용할 수 있도록 앤트로픽에 수십억 달러를 투자할 만한 재무적 입장에 있지 않았습니다.

황: 반면 구글과 AWS는 그런 거대한 자금력이 있었고, 초기에 거액을 투자하는 대가로 앤트로픽이 자신들의 컴퓨팅 플랫폼을 우선적으로 사용하게 만든 것입니다. 당시에 우리는 그럴 위치가 아니었고, 돌이켜보면 제가 저지른 가장 큰 실수는 그들에게 벤처 캐피탈(VC) 외에는 다른 선택지가 사실상 없었다는 점을 깊이 깨닫지 못한 것입니다.

황: 어떤 VC가 특정 AI 랩이 미래에 앤트로픽처럼 거대하게 성장할 거라는 막연한 기대감만으로 50억~100억 달러를 선뜻 투자하겠습니까? 그것이 저의 뼈아픈 판단 착오였습니다. 하지만 제가 그 사실을 일찍 이해했다 하더라도 당시로서는 우리가 그런 천문학적인 투자를 집행할 상황이 아니었을 겁니다. 그래도 저는 다시는 같은 실수를 반복하지 않을 것입니다. 지금 오픈AI에 선제적으로 투자하게 되어 기쁘며 그들이 규모를 확장하도록 돕는 것이 생태계를 위해 필수적이라고 믿습니다.

황: 이후 시간이 흘러 앤트로픽이 마침내 우리를 찾아왔을 때, 저는 기쁜 마음으로 투자자가 되었고 그들이 규모를 확장하도록 돕게 되어 무척 기뻤습니다. 단지 그 옛날 시절에는 우리가 그럴 재정적 능력이 안 되었을 뿐입니다. 만약 시간을 되돌려 엔비디아가 그때도 지금만큼 거대한 회사였다면, 저는 망설임 없이 기꺼이 투자했을 것입니다.

챕터 6: 파운데이션 모델 투자와 “최소 개입” 철학: 클라우드가 되지 않는 이유

파텔: 이 상황이 꽤 흥미로운 게, 수년간 엔비디아는 AI 분야에서 독보적으로 막대한 돈을 벌어들이는 사실상 유일한 회사였습니다. 그리고 지금은 그 자금을 대규모로 투자하고 있죠. 보도에 따르면 오픈AI에 최대 300억 달러, 앤트로픽에 100억 달러 규모의 투자를 단행했다고 합니다. 하지만 현재 그들의 기업 가치는 천문학적으로 올랐고, 앞으로도 계속 오를 것이 분명합니다.

파텔: 지난 수년간 그들에게 컴퓨팅을 공급하며 AI의 방향을 누구보다 먼저 꿰뚫어 보셨을 텐데요. 불과 몇 년 전, 혹은 어떤 경우에는 1년 전만 해도 그들의 가치는 지금의 10분의 1 수준에 불과했습니다. 그리고 귀사에게는 그럴 만한 막대한 현금도 모두 있었죠.

파텔: 엔비디아 자체가 직접 파운데이션 모델 연구소가 되거나, 이를 위해 거액의 투자를 단행하거나, 현재의 밸류에이션으로 맺은 거래를 훨씬 더 낮은 가격일 때 일찌감치 선제적으로 성사시켰을 수도 있는 세계가 분명히 존재합니다. 게다가 자금력도 있었고요. 그래서 사실 궁금합니다. 왜 더 일찍 그렇게 하지 않으셨나요?

황: 우리는 우리가 할 수 있는 가장 빠른 시점에 그렇게 한 것입니다. 할 수만 있었다면 당연히 훨씬 더 일찍 했을 것입니다. 앤트로픽이 초창기에 우리의 투자를 절실히 필요로 했던 당시, 우리는 단지 그럴 위치에 있지 못했습니다. 당시 우리 회사의 정서나 단계상 그것은 이치에 맞는 일이 아니었기 때문입니다.

파텔: 어떤 의미인가요? 단순히 현금이 부족해서였나요?

황: 투자 규모의 문제였습니다. 당시 우리는 회사 외부로 투자를 적극적으로 진행해 본 적이 없었고, 그렇게 큰 규모를 집행해 본 적은 더더욱 없었습니다. 그리고 그럴 필요성조차 온전히 깨닫지 못했죠. 저는 항상 다른 모든 기업들이 그러하듯, 그들도 당연히 벤처캐피탈(VC)을 통해 자금을 조달할 수 있을 것이라 생각했습니다. 하지만 그들이 시도하려 했던 일들은 벤처캐피탈의 자금 규모로는 도저히 감당할 수 없는 스케일이었습니다. 오픈AI가 원했던 일도 VC 자금으로는 불가능했죠.

황: 저는 이제서야 그것을 깨달았습니다. 당시에는 몰랐지만, 그것이 바로 그들의 천재성입니다. 그들이 똑똑한 이유죠. 그들은 자신들이 그런 방식의 천문학적인 대규모 투자를 유치해야만 한다는 사실을 그때 이미 깨달았던 것입니다. 저는 그들이 그렇게 해낸 것이 무척 기쁩니다. 비록 우리가 제때 나서지 못해 앤트로픽이 다른 투자자를 찾아 나서도록 원인을 제공하긴 했지만, 그런 결과가 나온 것에 온전히 만족합니다. 앤트로픽이라는 기업이 존재하는 것 자체가 세상에 엄청난 혜택이기 때문이며, 저는 그 사실이 진심으로 기쁩니다.

파텔: 여전히 막대한 돈을 벌어들이고 계시고, 매 분기마다 그 규모가 훨씬 더 커지고 있으니 과거에 아쉬움이 조금 남아있는 것도 괜찮을 것 같습니다. 그럼 계속해서 이런 질문이 떠오릅니다. 이제 이 거대한 자리에 도달했고 계속해서 천문학적인 자금을 벌어들이고 있는데, 엔비디아는 이 자금으로 무엇을 해야 할까요?

파텔: 한 가지 합리적인 답변이 떠오릅니다. 칩 구매 비용이 너무 비싸기 때문에, AI 연구소들이 컴퓨터를 대여할 수 있도록 초기 자본 지출(CapEx)[^39]을 운영 지출(OpEx)[^40]로 변환해 주는 네오 클라우드 중개자 생태계가 통째로 생겨났다는 점입니다. 모델 성능이 발전함에 따라 토큰이 창출하는 가치가 증가하면서 칩은 생애 주기 동안 막대한 수익을 냅니다. 하지만 초기 인프라 구축 비용이 너무 비싸죠.

파텔: 엔비디아는 이 거대한 CapEx를 직접 감당할 자본력이 충분합니다. 사실, 귀사가 코어위브(CoreWeave)[^41]를 위해 63억 달러까지 지급 보증을 서고 직접 투자까지 단행했다는 보도도 있었습니다. 그런데 왜 엔비디아는 직접 클라우드 사업자가 되지 않는 것인가요? 왜 스스로 거대한 하이퍼스케일러가 되어서 이 컴퓨팅 자원을 직접 임대하지 않습니까? 그럴 만한 현금이 충분히 있는데 말이죠.

황: 그것은 우리 회사의 핵심 철학과 어긋납니다. 저는 ‘필요한 일은 다 하되, 불필요한 개입은 최소한으로 하라(do as much as needed, as little as possible)’는 우리의 철학이 매우 현명하다고 생각합니다. 그것이 의미하는 바는, 세상을 바꾸는 컴퓨팅 플랫폼을 구축하는 우리의 본업에만 온전히 집중해야 한다는 것입니다. 만약 우리가 그 일을 하지 않는다면, 이 세상 그 누구도 해내지 못할 것이라고 저는 진심으로 믿습니다.

황: 우리가 감수한 그 막대한 위험을 택하지 않았다면, 우리가 만든 방식으로 NVLink를 개발하지 않았다면, 전체 소프트웨어 스택을 만들고 지금과 같은 방식으로 생태계를 조성하지 않았다면 어땠을까요? 20년이라는 긴 세월 동안 엄청난 적자를 감수하면서까지 묵묵히 CUDA에 헌신하지 않았다면, 우리 외에 그 어떤 누구도 이 일을 해내지 않았을 것입니다.

황: 우리가 도메인 특화된 모든 CUDA-X 라이브러리를 개발하지 않았다면 어땠을까요? 십수 년 전, 우리는 이 도메인 특화 라이브러리를 우리가 직접 만들지 않으면 레이 트레이싱, 이미지 생성, 나아가 초기 AI 작업까지 이 모든 분야가 발전하지 못할 것이라는 사실을 깨달았습니다. 데이터 처리 구조, 데이터 분석, 벡터 데이터 프로세싱 등을 위한 모델들을 우리가 선제적으로 구축하지 않았다면, 그 누구도 만들지 않았을 것입니다. 저는 이 점을 전적으로 확신합니다.

황: 우리는 전산 리소그래피(Computational Lithography)[^42]를 위한 cuLitho라는 고도의 라이브러리도 개발했습니다. 우리가 하지 않았다면 세상에 나오지 않았을 것입니다. 우리가 걸어온 이 가시밭길 덕분에 가속 컴퓨팅이 지금처럼 발전할 수 있었습니다. 그러므로 우리는 당연히 그 일에만 100% 전력을 다해야 합니다. 회사 전체의 온 힘과 진심을 다 바쳐 이 본업에 헌신해야 합니다. 하지만 클라우드는 다릅니다. 세상에는 이미 수많은 훌륭한 클라우드 사업자가 존재합니다. 제가 그 사업에 직접 뛰어들지 않아도 누군가가 나타나 그 자리를 훌륭히 채웁니다.

황: 그래서 ‘필요한 만큼만 개입하되, 그 개입을 최소화하라’는 철학과 원칙이 오늘날 우리 회사의 굳건한 근간을 이루고 있습니다. 제가 내리는 모든 결정은 바로 그 렌즈를 통해 필터링됩니다. 클라우드의 경우, 만약 우리가 코어위브가 존재할 수 있도록 재정적·기술적으로 지원하지 않았다면 이러한 신생 클라우드, 즉 ‘네오 클라우드’나 AI 전문 클라우드들은 세상에 존재하지 못했을 것입니다.

황: 코어위브를 돕지 않았다면 그들은 없었을 겁니다. 엔스케일(Nscale)이나 네비우스(Nebius)를 초기부터 지원하지 않았다면 오늘날의 위치에 오르지 못했을 것입니다. 그리고 지금 그들은 환상적인 성과를 내며 시장을 개척하고 있습니다.

파텔: 그것이 귀사의 직접적인 비즈니스 모델인가요?

황: 아닙니다. 우리는 필요한 만큼 생태계를 지원하되 불필요한 사업 확장은 지양해야 합니다. 우리가 생태계 파트너들에게 투자하는 이유는 그 파트너 생태계가 우리와 함께 번창하기를 진심으로 바라기 때문입니다. 우리는 우리의 가속 컴퓨팅 아키텍처가 세상의 중심이 되기를 원합니다. AI가 가능한 한 많은 산업, 가능한 한 많은 국가와 폭넓게 연결되어, 지구 전체가 AI를 기반으로 새롭게 재건되고, 궁극적으로 미국의 기술 스택을 바탕으로 구축되기를 바랍니다. 이것이 바로 제가 추구하는 거대한 비전입니다.

파텔: 그리고 당신이 언급하신 것처럼, 세상에는 정말 훌륭하고 놀라운 파운데이션 모델 기업들이 많으며 귀사는 이들 모두에 투자하려 노력합니다. 이것이 귀사가 취하는 또 다른 접근 방식인 것 같습니다. 귀사는 의도적으로 ‘승자를 선택하지 않는다(We don’t pick winners)’고 말씀하셨죠.

황: 우리는 모든 사람을 골고루 지원해야 하며, 그것이 우리의 기쁨이자 비즈니스의 필수 요건입니다. 우리는 의도적으로 승자를 가려내지 않기 위해 많은 노력을 기울입니다. 그래서 한 기업에 투자를 결정하면 나머지 기업들 모두에게도 동등하게 투자합니다.

파텔: 왜 그렇게까지 수고를 들여가며 승자를 가려내지 않으려 하시는 건가요?

황: 첫째, 누가 시장의 최종 승자가 될지 가려내는 것은 우리의 임무가 아니기 때문입니다. 둘째, 엔비디아가 처음 사업을 시작했을 당시 세상에는 60개의 3D 그래픽 회사가 치열하게 경쟁하고 있었습니다. 그리고 그들 중 오늘날까지 살아남은 것은 오직 우리뿐입니다. 만약 당시의 그 60개 기업들을 늘어놓고 과연 어떤 회사가 살아남을지 사람들에게 묻는다면, 엔비디아는 ‘가장 먼저 실패할 회사 목록’의 최상단에 있었을 것입니다.

황: 당신이 태어나기도 전인 아주 오래전 일이지만, 초창기 엔비디아의 그래픽 아키텍처는 그 방향성이 완벽하게 틀렸었습니다. 조금 틀린 정도가 아니라 ‘정확하게 잘못된(precisely wrong)’ 아키텍처를 만들었죠. 개발자들이 도저히 지원하기 불가능한 구조였고, 절대 성공할 수 없는 이단적인 구조였습니다. 우리는 나름대로 훌륭한 제1원칙에 입각하여 논리적 추론을 거쳤음에도 결국 완전히 잘못된 해답을 도출했던 것입니다.

황: 당시 모두가 우리를 경쟁에서 배제시키고 실패할 것이라 단언했지만, 결국 온갖 난관을 극복하고 지금 우리는 여기에 서 있습니다. 그래서 저는 함부로 미래의 승자를 예측하려 들지 말자고 스스로 다짐할 만큼 충분한 겸손함을 뼛속 깊이 가지고 있습니다. 임의로 승자를 가르기보다는 그들 스스로 시장에서 생존하게 두거나, 아니면 모두에게 동등하게 기회를 주고 보살피는 편이 훨씬 낫습니다.

파텔: 한 가지 이해가 되지 않는 부분이 있습니다. 방금 전 ‘단순히 새로운 신생 클라우드라는 이유만으로 그들을 우선순위에 두거나 밀어주지 않는다’고 하셨습니다. 그런데 동시에 수많은 신생 클라우드 이름을 나열하시면서 ‘엔비디아의 전폭적인 지원이 아니었다면 그들은 존재하지 못했을 것’이라고 말씀하셨죠. 이 두 가지 발언이 어떻게 서로 양립할 수 있습니까?

황: 첫째, 그들은 누구의 강요가 아니라 스스로 시장에 존재하길 원해야 하며, 확고한 의지를 가지고 우리에게 직접 찾아와 도움을 요청해야 합니다. 그들이 확고한 사업 계획, 해당 분야의 전문성, 그리고 깊은 열정을 지니고 존재하기를 원할 때, 당연히 그들 스스로의 자본과 역량을 어느 정도 갖추고 있어야 합니다. 우리는 무에서 유를 창조해주지 않습니다.

황: 하지만 결국 그들이 초기 기반을 다지고 이륙하기 위해 약간의 입력이나 투자가 절실히 필요한 결정적 순간이라면, 우리는 그들의 곁에서 기꺼이 자금을 대고 도움을 줄 것입니다. 그들의 비즈니스 플라이휠이 빨리 돌기 시작할수록 생태계 전체에 이롭기 때문입니다. 질문으로 돌아가서, 우리가 직접 금융업에 뛰어들어 자본가 역할을 주도하기를 원할까요? 대답은 ‘아니요‘입니다.

파텔: 네.

황: 금융업을 하고 싶지 않습니다. 왜냐하면 이미 시장에는 금융을 전문으로 하는 훌륭한 금융업 종사자들이 존재하며, 우리가 직접 자본가가 되기보다는 그들 모두와 생태계 차원에서 협력하는 편이 훨씬 낫기 때문입니다. 그래서 우리의 최종 목표는 우리가 가장 잘하는 기술 본업에만 집중하고, 비즈니스 모델을 최대한 직관적이고 단순하게 유지하는 것입니다.

황: 우리는 수많은 파트너 생태계가 존재하기를 원합니다. 그 파트너들은 이미 성장할 수 있는 모든 훌륭한 조건을 갖췄습니다. 강력한 시대의 순풍을 등지고 있죠. 그들이 규모를 키우고 더 큰 기업으로 확장할 수 있도록 우리가 뒤에서 지원하는 것입니다. 그들이 우리의 도움을 절실히 필요로 하기 때문에 조력자로서 투자를 단행하는 것이지, 무리해서 불필요하게 많은 영역까지 문어발식으로 사업을 확장하려는 것이 아닙니다. 우리는 직접적인 개입을 최소화하려고 늘 노력할 뿐입니다.

챕터 7: GPU 할당의 공정성과 TSMC와의 깊은 신뢰 관계

파텔: 다소 뻔한 질문일 수 있겠습니다만, 우리는 수년 동안 GPU 부족 현상이 일상화된 환경에 살고 있습니다. 모델 성능이 지속적으로 향상됨에 따라 이러한 GPU 부족 현상은 더욱 심화되었습니다.

황: 그렇습니다.

파텔: 그리고 엔비디아는 이 극도로 희소한 공급 물량을 배분하는 독특한 방식으로 유명합니다. 단순히 가장 높은 가격을 제시한 최고가 입찰자(highest bidder)에게 물량을 몰아주는 것이 아니라, ‘우리는 네오 클라우드 생태계가 시장에 다양하게 존재하도록 만들고 싶다. 그러니 코어위브에 약간의 물량을 의도적으로 할당하고, 크루소에도 주고, 람다(Lambda)에도 주자’는 식이죠. 이런 식으로 시장을 인위적으로 분할(fracturing)하는 것이 엔비디아에게 어떻게 이익이 됩니까? 그전에, 이런 식의 시장 분할이라는 제 해석에 동의하십니까?

황: 아니요. 아니요. 전혀 동의하지 않습니다.

파텔: 네.

황: 질문자님의 전제 자체가 완전히 틀렸습니다.

파텔: 네.

황: 네. 우리는 이러한 문제들에 대해 매우 신중하게 접근하고 있습니다. 진심으로 심혈을 기울입니다. 첫째, 고객이 공식적인 구매 주문서(PO)를 발행하지 않으면 밖에서 어떤 엄청난 이야기를 나누어도 아무 소용이 없습니다. PO를 받기 전까지 우리가 도대체 무엇을 할 수 있겠습니까?

황: 따라서 우리의 첫 번째 과제는 모든 파트너와 함께 수요 예측(forecast)을 최대한 정확히 도출하는 것입니다. 왜냐하면 이런 복잡한 칩을 만들고 거대한 데이터센터를 구축하는 데에는 엄청난 시간이 걸리기 때문입니다. 그래서 우리는 철저한 예측을 통해 수요와 공급 사이의 균형을 맞추기 위해 뼈를 깎는 노력을 합니다. 이것이 가장 중요한 첫 번째 임무입니다.

황: 두 번째로, 구매 주문서를 발행할 파트너들에 대해 이야기해 보죠. 우리가 가능한 한 많은 고객과 함께 철저히 수요 예측을 하려 노력했다 하더라도, 최종 분석 단계에서는 결국 고객 스스로가 주문을 접수해야만 상황이 종결됩니다. 만약 고객 측에서 어떤 이유로든 주문을 접수하지 않았다면, 제가 어떻게 할 수 있겠습니까? 따라서 특정 시점부터는 무조건 선입선출(First In, First Out) 원칙이 엄격하게 적용됩니다.

황: 그러나 그 원칙 외에도 예외적인 상황이 있습니다. 만약 고객의 데이터센터가 아직 완공되지 않았거나, 데이터센터를 가동하는 데 필수적인 특정 부품이 준비되지 않아서 고객이 당장 칩을 인도받을 준비가 안 되어 있다면 어떨까요? 이럴 경우 우리는 시스템 전체의 효율을 위해 설치 준비가 완료된 다음 순번 고객에게 물량을 먼저 공급하기로 결정할 수도 있습니다. 이는 단순히 우리 자체 공장의 처리량(throughput)을 극대화하기 위한 합리적인 조치입니다. 그래서 그런 부분에서 약간의 유동적인 일정 조정이 발생할 수 있습니다. 그것을 제외하면 모든 우선순위는 오로지 선입선출 원칙에 따라 투명하게 결정됩니다.

파텔: 네. 발주서(PO)를 내야만 하는군요. 발주서가 없으면 아무것도 못 받는 거죠.

황: 물론, 그 물량 배분과 관련해 온갖 소문과 이야기들이 떠돌고 있긴 합니다. 예를 들어, 이 모든 오해와 논란의 시작은 제가 래리 페이지, 일론 머스크와 저녁 식사를 함께했는데 그들이 저에게 제발 GPU를 달라고 간청(beg)했다는 자극적인 기사에서 비롯된 것 같습니다. 그런 일은 결코 일어나지 않았습니다. 우리가 함께 식사를 한 것은 분명한 사실입니다. 네, 분명 저녁 식사를 했습니다. 그리고 정말 즐겁고 훌륭한 자리였죠.

황: 하지만 그들이 저에게 GPU를 구걸했냐고요? 전혀 아닙니다. 그들은 그저 정상적인 절차에 따라 주문을 접수하기만 하면 되었습니다. 그리고 일단 주문이 접수되면, 우리는 고객이 요구하는 용량을 최대한 빨리 공급하기 위해 전력을 다할 뿐입니다. 네. 저희 회사의 운영 방식은 결코 복잡하거나 비밀스럽지 않습니다.

파텔: 알겠습니다. 말씀하신 내용을 들어보면 분명한 대기열(queue)이 존재하고, 데이터센터가 준비되었는지, 그리고 구매 주문서를 언제 접수했는지에 따라 일정 기간 후에 제품을 받게 되는 공정한 구조인 것 같습니다. 하지만 여전히 가장 높은 가격을 제시한 최고가 입찰자가 무조건 물량을 독차지하는 방식은 아닌 듯합니다. 그렇게 최고가 입찰 방식을 채택하지 않는 특별한 이유가 있습니까?

황: 우리는 절대 그런 방식을 쓰지 않습니다.

파텔: 알겠습니다. 우리는 절대 그렇게 하지 않죠. 왜 최고가 입찰 방식을 채택하지 않으시죠?

황: 그것은 아주 나쁜 비즈니스 관행이기 때문입니다. 회사가 정찰 가격을 제시하면, 고객이 그 가격에 구매할지 여부를 스스로 결정하도록 해야 합니다. 반도체 업계의 일부 다른 기업들은 시장의 수요가 치솟을 때 가격을 유동적으로 올린다는 사실을 저도 잘 알고 있습니다. 하지만 우리는 그렇게 하지 않습니다. 그것은 우리 회사의 관행이었던 적이 단 한 번도 없습니다.

황: 여러분은 우리를 온전히 신뢰하셔도 됩니다. 저는 눈앞의 이익을 좇아 변동성이 큰 정책을 쓰기보다는, 고객들이 마음 편히 의지할 수 있는 존재, 산업의 확고한 기반이 되는 쪽을 100배 더 선호합니다. 당신은 결코 우리의 가격 정책을 두고 이중으로 고민하거나 의심할 필요가 없습니다. 만약 제가 당신에게 일정한 가격을 제시했다면, 그것으로 끝입니다. 수요가 천장을 뚫고 폭등하더라도 제시한 가격은 그대로 굳건히 유지됩니다.

파텔: 반대 측면에서 보면, 바로 그런 일관된 신뢰성 때문에 TSMC와 매우 생산적인 장기 파트너십을 유지할 수 있는 거군요, 맞습니까?

황: 네. 네. 정확합니다. 엔비디아는 창사 이래로 TSMC와 비즈니스를 해왔고, 벌써 30년이 다 되어갑니다. 놀랍게도 엔비디아와 TSMC 사이에는 법적 구속력을 지닌 까다로운 장기 계약서가 없습니다. 그저 오랜 세월 다져진 암묵적인 관습적 공정함(rough justice)만이 존재할 뿐이죠. 때로는 제가 옳을 때도 있고, 때로는 제가 틀릴 때도 있습니다. 가끔은 제가 유리한 조건을 얻어내기도 하고, 가끔은 다소 불리한 조건을 묵묵히 감수해야 할 때도 있습니다.

황: 하지만 전체적으로 볼 때 이 관계는 정말 놀랍고 환상적입니다. 저는 그들을 완벽히 신뢰할 수 있으며, 그들에게 전적으로 의지할 수 있습니다. 그리고 우리 엔비디아와 관련하여 여러분이 확실히 믿을 수 있는 또 다른 사실은, 올해 선보일 Vera Rubin이 정말 놀라운 성능을 발휘할 것이며, 내년에는 Vera Rubin Ultra가 출시될 것이라는 점입니다. 그 이듬해에는 파인만(Feynman)[^43]이 출시될 것이고, 그 다음 해에 나올 아키텍처는 아직 이름을 공개하지 않았을 뿐입니다.

황: 이처럼 여러분은 매년 한 치의 오차 없이 엔비디아의 로드맵을 굳건히 신뢰하셔도 됩니다. 세상 어디를 가더라도 이런 확신을 주는 ASIC 개발팀은 찾기 어려울 것입니다. 아무 팀이나 한번 골라보십시오. ‘내가 모든 재산과 내 사업 전체를 걸어도, 이 팀은 매년 나를 위해 흔들림 없이 곁에 있을 것이다. 나의 토큰 비용을 매년 한 자릿수(order of magnitude) 수준으로 크게 낮춰줄 것이다. 시계처럼 정확하게 의지할 수 있다’라고 확신할 수 있는 ASIC 팀을 찾아보십시오.

황: 방금 제가 TSMC에 대해 이와 비슷한 절대적 신뢰를 이야기했지만, 역사상 그 어떤 파운드리 회사에 대해서도 이런 말을 단언할 수 있는 곳은 없었습니다. 오늘날의 엔비디아에 대해서만큼은 이렇게 단언하셔도 좋습니다. 여러분은 매년 한결같이 우리를 믿고 의지하셔도 됩니다. 10억 달러 규모의 AI 데이터센터 컴퓨팅을 구매하고 싶으십니까? 문제없습니다. 1억 달러어치를 원하시나요? 문제없습니다. 1,000만 달러어치, 아니면 그저 서버 랙 1개만 원하십니까? 아무 문제 없습니다.

파텔: 그래픽 카드 단 한 장이라도요.

황: 그렇죠, 아무 문제 없습니다. 반대로 1,000억 달러 규모의 초대형 AI 팩토리 주문을 넣고 싶으시다고요? 그것도 전혀 문제없습니다. 오늘날 전 세계에서 이런 말을 그토록 자신 있게 할 수 있는 회사는 오직 엔비디아뿐입니다. 저 역시 TSMC에 대해서 이와 같이 굳은 신뢰를 바탕으로 말할 수 있습니다. 1개를 주문하든 10억 달러어치를 주문하든 문제없습니다. 성숙한 기업들이 마땅히 하는 것처럼, 철저한 계획과 프로세스를 밟기만 하면 됩니다.

파텔: 네.

황: 그래서 엔비디아가 전 세계 AI 산업의 굳건한 기반이 될 수 있는 이 역량과 위치는 하루아침에 이루어진 것이 아닙니다. 수십 년에 걸친 엄청난 헌신과 끝없는 집착의 산물입니다. 회사의 안정성과 일관성은 시장에서 그 무엇보다 중요합니다.

챕터 8: 글로벌 기술 패권과 지정학: 중국에 AI 칩을 팔아야 하는가?

파텔: 알겠습니다. 이제 중국 문제에 대해 질문하고 싶습니다.

황: 네.

파텔: 저는 항상 이 문제에 대해 확고한 입장을 정해두지 않았습니다. 중국에 칩을 파는 것이 과연 좋은 일인지 나쁜 일인지 솔직히 잘 모르겠지만, 저는 게스트의 의견에 반론을 제기하는 악마의 변호인 역할을 즐겨 해왔습니다. 다리오가 출연했을 때, 그는 엄격한 수출 통제를 지지하는 입장이었습니다. 그래서 저는 그에게 ‘왜 미국과 중국 모두 데이터센터 내에서 수많은 천재들을 시뮬레이션하여 인류의 이익을 함께 누리는 세상이 될 수 없습니까?’라고 반문했었죠.

파텔: 하지만 당신은 다리오와 반대 입장이니 이번에는 정반대 시각에서 압박 질문을 던져보겠습니다. 이런 식으로 생각해 보죠. 과거에 특정 운영체제는 제로데이 취약점이 발생하지 않도록 철저히 설계되었고, 무려 27년 동안 단 하나의 취약점만 발견되었습니다.

파텔: 그렇다면 중국 기업이나 중국 연구소, 나아가 중국 정부가 막강한 사이버 공격 능력을 갖춘 ‘Claude Mythos[^44]’와 같은 최첨단 모델을 학습시키고, 미국보다 더 많은 컴퓨팅 자원을 동원해 이를 수백만 개의 인스턴스로 무단 구동할 수 있는 AI 칩에 접근 권한을 지속적으로 제공받는다면, 이것이 미국 기업이나 국가 안보에 치명적인 위협이 되지 않을까요?

황: 우선, Mythos는 지극히 뛰어난 기업에 의해 만들어졌지만, 사실상 매우 평범한(mundane) 컴퓨팅 용량과 평범한 규모의 자원으로 훈련되었습니다. 따라서 그 모델을 훈련하는 데 사용된 컴퓨팅의 유형과 용량은 중국 본토에도 이미 넘쳐날 정도로 풍부하게 존재합니다.

황: 따라서 우리는 중국에 이미 엄청난 칩이 존재한다는 사실부터 직시해야 합니다. 그들은 전 세계 주류 반도체의 60%, 어쩌면 그 이상을 제조합니다. 중국 내에서 반도체 제조는 매우 거대한 산업입니다. 또한 그들은 세계 최고 수준의 컴퓨터 과학자들을 다수 보유하고 있습니다. 아시다시피, 미국의 주요 AI 연구소들조차 연구원의 대다수가 중국 출신입니다. 전 세계 AI 연구자의 무려 50%를 그들이 차지하고 있습니다.

황: 그렇다면 그들이 우려된다면 질문은 이렇게 바뀌어야 합니다. 그들이 이미 보유한 막대한 자산들, 즉 풍부한 에너지, 넘쳐나는 반도체, 그리고 전 세계 절반의 최고급 AI 연구자들을 고려했을 때, 만약 그들이 진정으로 걱정된다면 안전한 세계를 만들기 위한 최선의 방법은 무엇일까요?

황: 그들을 철저히 피해자로 만들거나 적대적인 적으로 돌려세우는 것이 아마 최선의 답은 아닐 것입니다. 그들은 분명히 우리의 적대적 경쟁자입니다. 우리는 미국이 승리하기를 원합니다. 하지만 단절보다는 대화, 특히 학술적이고 연구적인 대화를 지속하는 것이 가장 안전한 방법이라고 생각합니다.

황: 현재 중국을 철저한 적으로 간주하는 우리의 강경한 태도 때문에 이러한 필수적인 대화 영역이 심각할 정도로 공백 상태에 빠져 있습니다. 우리의 AI 연구자들과 그들의 AI 연구자들이 실제로 활발하게 소통하는 것이 필수적입니다. 양국이 AI를 어떤 위험한 목적으로 절대 사용하지 말아야 할지 합의를 도출하려 노력하는 것이 매우 중요합니다. 저는 이것이 가장 핵심적인 부분이라고 봅니다.

황: AI 기술은 이제 우리를 엄청나게 생산적으로 만들어 줄 수 있는 수준에 도달했습니다. 이 과정에서 사람들이 흔히 과소평가하는 부분 중 하나는 사이버 보안, 특히 AI 사이버 보안, AI 안전, 그리고 AI 프라이버시를 둘러싼 방어 생태계의 풍부함입니다.

황: 우리에게 그러한 안전한 미래를 만들어주기 위해 노력하는 모든 AI 보안 스타트업의 생태계를 생각해 보십시오. 강력하고 놀라운 단 하나의 AI 에이전트를 수천 개의 방어용 AI 에이전트가 둘러싸서 철저하게 보호하고 감시하는 구조입니다. 이러한 미래는 반드시 도래할 것입니다. 감시자도 없이 통제 불능 상태로 뛰어다니는 위험한 AI 에이전트가 방치되는 미래를 상상하는 것은 사실 터무니없는 일입니다.

황: 따라서 우리는 이 방어 생태계가 반드시 번영해야 한다는 것을 잘 알고 있습니다. 그리고 결국 이 생태계가 번영하려면 오픈소스가 필수적입니다. 개방적인 모니터링 시스템이 필요하고, 개방형 스택이 있어야 수많은 AI 연구자들과 뛰어난 컴퓨터 과학자들이 이토록 막강한 AI 시스템을 구축하고 그 AI를 안전하게 통제할 수 있습니다.

황: 그래서 우리가 확실히 해야 할 중요한 일 중 하나는 오픈소스 생태계를 활기차게 유지하는 것입니다. 이는 절대 무시할 수 없는 요소입니다. 결코 간과해서는 안 됩니다. 그리고 이 오픈소스 기술 흐름의 상당 부분이 바로 중국에서 나오고 있습니다. 우리는 결코 그 흐름의 숨통을 조여서는 안 됩니다.

황: 중국 문제에 대해 말씀드리자면, 당연히 우리는 미국이 가능한 한 가장 많은 컴퓨팅 자원을 확보하여 선두를 유지하기를 원합니다. 우리는 현재 에너지 부족으로 한계에 직면해 있습니다. 하지만 아시다시피, 많은 전문가가 이 문제를 해결하기 위해 노력 중이며, 에너지가 우리 국가 성장의 병목이 되지 않도록 해야 합니다. 그러나 동시에 우리가 진정 원하는 것은 전 세계의 모든 AI 개발자들이 최적의 환경에서 AI를 개발하고 발전시키도록 만드는 것입니다.

파텔: 논의할 주제가 많으니 제 주장을 체계적으로 3단계로 나누어 정리해 보겠습니다. 해킹과 관련하여 연산량(FLOPS) 격차에 대한 우려로 다시 돌아가면, 맞습니다. 중국도 분명 컴퓨팅 자원을 보유하고 있습니다. 그러나 그들은 여전히 7나노미터 공정에 머물러 있고 칩 제조 수출 통제 때문에 EUV 장비를 활용하지 못합니다. 따라서 일부 추정에 따르면 그들이 실제로 산출할 수 있는 전체 연산량은 미국의 10분의 1 수준에 불과합니다.

파텔: 그렇다면 이 정도의 제한된 자원으로 그들도 언젠가는 Mythos 수준의 모델을 훈련할 수 있을까요? 물론 가능합니다. 하지만 핵심은 미국이 훨씬 더 많은 연산량을 보유하고 있기 때문에 미국의 연구소들이 그 수준의 엄청난 능력에 ‘먼저’ 도달할 수 있다는 사실입니다. 앤트로픽이 이 모델을 가장 먼저 확보했기 때문에 그들은 ‘자, 우리는 이 모델을 전 세계에 공개하기 전에 한 달 동안 내부적으로 보류할 것이다. 그동안 우리는 모든 미국 기업들에 이 모델에 대한 접근 권한을 제공할 것이고, 그들은 발견된 모든 보안 취약점을 미리 패치할 수 있을 것이다. 그런 뒤에야 비로소 우리는 이것을 세상에 배포하겠다’라고 선언할 수 있습니다.

파텔: 더 나아가, 설령 그들이 이런 막강한 모델을 훈련시키는 데 성공했다 하더라도 그것을 대규모로 배포할 능력이 있는지는 별개의 문제입니다. 만약 사이버 해커가 있다면, 그 모델의 인스턴스가 1,000개일 때보다 100만 개일 때 훨씬 더 파괴적이고 위험합니다. 따라서 대규모 추론 컴퓨팅 능력이...

황: 네.

파텔: ...정말 엄청나게 중요합니다. 사실, 그들이 그토록 뛰어난 수많은 AI 연구자를 보유하고 있다는 사실 자체가 이 상황을 더욱 두렵게 만드는 이유입니다. 그 엔지니어와 연구자들의 생산성을 획기적으로 끌어올리는 결정적인 요소가 바로 컴퓨팅이기 때문입니다. 미국의 어느 AI 연구소에 가서 물어보더라도, 그들은 항상 자신들의 연구를 가로막는 병목이 ‘컴퓨팅’이라고 답할 것입니다.

파텔: 딥시크(DeepSeek)[^45]의 창업자나 주요 AI 기업 경영진의 발언에서도 ‘우리가 가장 큰 병목을 겪는 부분은 바로 컴퓨팅이다’라는 말을 쉽게 찾을 수 있습니다. 그렇다면 질문은 이것입니다. 미국 기업들이 더 많은 컴퓨팅을 보유하고 있기 때문에 우리가 먼저 ‘스퍼드(Spud)’이나 ‘Mythos’ 수준의 역량에 도달하여, 중국이 더 적은 컴퓨팅으로 그 수준에 도달하기 전에 우리 사회가 이에 철저히 대비할 시간을 벌어주는 것이 훨씬 더 나은 선택이 아니겠습니까?

황: 미국이 항상 선두에 서야 하고 항상 더 많은 자원을 가져야 한다는 점에는 이견이 없습니다. 하지만 방금 당신이 묘사한 그런 유리한 시나리오가 현실이 되려면, 당신은 상황을 극단으로 몰고 가야만 합니다. 즉, 중국에 컴퓨팅 자원이 ‘전혀’ 없어야 한다는 극단적인 가정이 필요하죠. 만약 그들이 어느 정도의 컴퓨팅 자원을 보유하고 있다면, 진짜 문제는 ‘얼마나 많은 자원이 필요한가’입니다. 현재 중국이 보유한 컴퓨팅의 규모는 그야말로 엄청납니다.

파텔: 네.

황: 생각해 보십시오. 우리는 지금 하나의 거대한 국가에 대해 이야기하고 있습니다. 중국은 전 세계에서 두 번째로 큰 컴퓨팅 시장입니다. 만약 그들이 작정하고 컴퓨팅 자원을 배포하고 긁어모으려 한다면, 모아들일 수 있는 컴퓨팅 자원은 차고 넘칩니다.

파텔: 하지만 그게 정말 사실일까요? 전문가들이 분석한 추정치를 보면 ‘SMIC는 공정 노드에서 확연히 뒤처져 있다’고 지적하곤 하는데요.

황: 제가 지금부터 정확히 말씀드리겠습니다. 그들이 보유한 ‘에너지’의 양은 상상을 초월할 정도로 엄청납니다.

파텔: 당신도 아시다시피, AI 연산은 결국 병렬 컴퓨팅 문제입니다. 그렇지 않습니까? 그들이 왜 단순히 구형 칩을 4배, 10배씩 더 많이 연결해서 사용하지 못하겠습니까?

황: 그들에게 에너지는 사실상 무료에 가깝기 때문입니다. 그들은 엄청나게 많은 에너지를 보유하고 있습니다. 전력 공급은 완벽하게 이루어지고 있지만 텅 비어 있는 데이터센터들이 수두룩합니다. 거대한 유령 도시가 있고 유령 데이터센터가 존재하죠. 그들이 가진 인프라 용량은 엄청납니다. 비록 7나노미터 구형 칩이라 할지라도 그들이 원하기만 한다면 그저 더 많은 칩을 하나로 무한정 묶어버리면 그만입니다.

황: 그리고 중국의 칩 제조 능력은 전 세계에서 가장 큰 규모 중 하나입니다. 반도체 업계 사람들은 그들이 이미 주류 반도체 시장을 독점하고 있다는 사실을 잘 알고 있습니다. 그들은 생산 능력이 오히려 남아도는 과잉 상태입니다. 따라서 ‘중국이 미래에 AI 칩을 충분히 확보하지 못할 것’이라는 생각은 완전히 터무니없는 헛소리입니다.

황: 물론 ‘만약 전 세계의 다른 어떤 국가도 컴퓨팅 자원을 전혀 갖지 못한다면 미국이 훨씬 더 압도적으로 앞서 나갈 수 있지 않겠느냐’고 묻는다면 그건 사실이겠죠. 하지만 그런 결과는 결코 일어나지 않습니다. 그것은 현실성이 전혀 없는 시나리오입니다. 그들은 이미 넘치는 컴퓨팅 자원을 보유하고 있습니다. 당신이 그토록 우려하는 파괴적인 사이버 공격 모델을 만들어 내기 위해 필요한 임계치가 있다면, 그들은 이미 그 임계치를 가뿐히 뛰어넘은 지 오래입니다.

황: 따라서 저는 당신이 ‘AI가 5단 케이크’와 같다는 사실을 단단히 오해하고 있다고 생각합니다. 그 케이크의 가장 밑바닥 기반에는 ‘에너지’가 있습니다. 에너지가 무한정 풍부하면 그것이 부족한 칩의 성능을 완벽하게 상쇄합니다. 반대로 최첨단 칩이 풍부하면 그것이 부족한 에너지 용량을 상쇄해 주죠.

황: 예를 들어, 미국은 현재 에너지 부족에 시달리고 있습니다. 이것이 바로 엔비디아가 아키텍처를 끊임없이 발전시키고 극한의 공동 설계를 수행해야만 하는 이유입니다. 미국은 전력량이 극도로 제한되어 있기 때문에, 우리가 출하하는 소수의 한정된 칩만으로도 와트당 처리량이 기록적으로 높아야만 합니다.

황: 하지만 만약 당신이 쓸 수 있는 전력량이 무한하고 공짜라면 어떨까요? 와트당 성능 따위가 도대체 무슨 상관이겠습니까? 그냥 전력을 낭비하는 구형 칩들을 무더기로 쌓아놓고 쓰면 그만입니다.

파텔: 그렇다면 7나노미터 칩은 본질적으로 Hopper 세대와 비슷하다는 말씀이시군요.

황: 네. Hopper의 성능에 대해 분명히 말씀드리자면, 오늘날 세상의 위대한 모델들 대부분은 여전히 Hopper로 훈련되고 있습니다. 모두 Hopper 세대의 산물이죠. 따라서 그들이 가진 7나노미터 칩은 AI 훈련에 차고 넘칠 만큼 훌륭합니다. 압도적인 에너지의 풍요로움이 바로 그들의 강점입니다.

파텔: 하지만 그렇다 하더라도, 그들의 기술적 한계를 고려했을 때 실제로 의미 있는 수량의 칩을 제조할 수 있느냐의 문제가 여전히 남지 않습니까? 그들의 제조 역량...

황: 하지만 그들은 이미 해내고 있습니다.

파텔: 그 증거가 무엇인가요?

황: 화웨이가 방금 기업 역사상 단일 연도 기준으로 최대 실적을 달성했습니다. 그들이 도대체 몇 개의 칩을 출하했을까요? 엄청나게 많습니다. 수천만 개 단위입니다. 수천만 개라면 앤트로픽이 보유한 칩의 수보다 훨씬, 압도적으로 많은 양입니다.

파텔: 그렇다면 SMIC가 얼마나 많은 로직 반도체를 출하할 수 있느냐의 문제가 있고, 그 다음엔 얼마나 많은 메모리를 조달할 수 있느냐의 문제로 이어집니다.

황: 제가 지금 있는 그대로의 사실을 말씀드리는 겁니다. 그들은 막대한 로직 칩을 보유하고 있고, HBM2 메모리도 충분히 넘치게 가지고 있습니다.

파텔: 맞습니다. 하지만 아시다시피 이런 거대 모델을 훈련하고 추론하는 과정에서 가장 흔히 발생하는 병목은 ‘메모리 대역폭’입니다. HBM2의 대역폭은 제가 수치를 당장 정확히 기억하진 못하지만, 귀하가 가진 최신 메모리 제품과 비교하면 대역폭에서 거의 한 자릿수(약 10배)의 차이가 납니다. 이것은 엄청난 격차입니다.

황: 화웨이는 본질적으로 네트워킹 전문 기업입니다.

파텔: 그렇죠. 하지만 가장 진보된 최신 HBM을 생산하려면 반드시 EUV 장비가 필요하다는 사실은 변하지 않지 않습니까?

황: 사실이 아닙니다. 전혀 사실이 아니에요. 우리가 NVLink 72로 칩들을 하나로 묶어버리듯이, 그들도 수많은 구형 칩을 강력한 네트워크로 묶어버리면 됩니다. 그들은 이미 실리콘 포토닉스 기술을 활용해 이 모든 컴퓨팅 유닛을 하나의 거대한 슈퍼컴퓨터로 매끄럽게 연결하는 기술을 증명해 냈습니다.

황: 당신의 전제 자체가 완전히 틀렸습니다. 진실은 중국의 AI 개발이 아무 문제 없이 아주 순조롭게 잘 진행되고 있다는 것입니다. 게다가 그곳의 세계 최고 수준의 AI 연구자들은 컴퓨팅 자원의 한계에 직면했을 때, 오히려 그 한계를 극복하기 위해 극도로 영리하고 지능적인 알고리즘을 고안해 냅니다.

황: 제가 아까 했던 말을 기억해 보십시오. 무어의 법칙은 매년 약 25%씩 하드웨어 성능을 향상시킨다고 했습니다. 그러나 위대한 컴퓨터 과학을 통하면 우리는 알고리즘 혁신만으로 성능을 무려 10배나 끌어올릴 수 있습니다. 제가 강조하는 것은 바로 이 ‘위대한 컴퓨터 과학’의 힘입니다.

파텔: 방금 성능 향상이 알고리즘, 컴퓨터 과학, 그리고 프로그래밍 능력에서 나온다고 하셨습니다. 그렇다면 결국 그들이 보유한 거대한 AI 연구 인력 군단 자체가 중국의 근본적인 비교 우위라는 사실을 부정하실 수 없을 겁니다. 우리는 지금 그 증거를 목격하고 있습니다. 딥시크(DeepSeek)의 기술적 진보는 결코 무시할 만한 수준이 아닙니다.

파텔: 만약 차세대 딥시크 모델이 화웨이 하드웨어에서 가장 먼저 출시되는 날이 온다면, 그것은 우리 국가에 끔찍한 결과를 초래할 것입니다. 왜 그럴까요? 현재 딥시크 같은 오픈소스 모델은 세상의 어떤 가속기에서도 구동될 수 있습니다. 미래라고 해서 그 사실이 왜 바뀌겠습니까? 만약 바뀌지 않는다고 가정해 봅시다.

파텔: 혹은 아예 화웨이 하드웨어에 정밀하게 최적화되어 출시된다고 상상해 보십시오. 그들의 독자적인 아키텍처에 완벽히 최적화된다면, 그것은 미국의 기술 스택을 심각한 불리함에 빠뜨릴 것입니다.

황: 당신은 어떤 기업이 훌륭한 소프트웨어나 AI 모델을 개발했는데, 그것이 미국의 기술 스택 위에서 가장 완벽하게 잘 돌아가는 상황을 설명했습니다. 저는 그것을 미국에게 굉장한 ‘희소식’으로 받아들였습니다. 그런데 당신은 어떻게든 그것이 미국에 악재라는 전제를 깔고 이야기하더군요.

황: 제가 진짜 미국의 ‘악재’가 무엇인지 알려드리겠습니다. 전 세계의 혁신적인 AI 모델들이 개발되었는데, 그 모델들이 미국 하드웨어가 아닌 ‘다른 나라의 하드웨어’에서 가장 최적화되어 실행된다면 어떻게 될까요? 그것이야말로 미국에 가장 큰 위협이자 진짜 나쁜 소식입니다.

파텔: 저는 가속기를 자유롭게 전환하는 것을 가로막을 만큼 거대한 기술적 격차가 존재한다는 증거를 아직 보지 못했습니다. 미국의 AI 연구소들만 봐도 자신들의 모델을 모든 클라우드와 다양한 가속기 환경에 걸쳐 자유롭게 실행하고 있지 않습니까.

황: 제가 바로 그 살아있는 증거입니다. 엔비디아 환경에 극도로 최적화된 모델을 가져와 다른 경쟁 하드웨어에서 한 번 실행해 보십시오.

파텔: 하지만 미국 연구소들은 실제로 그렇게 이식해서 실행하고 있지 않습니까.

황: 실행은 되겠죠. 하지만 결코 더 나은 성능을 보여주지 못합니다. 엔비디아가 이룬 전례 없는 성공 자체가 그 명백한 증거입니다. 전 세계의 주요 AI 모델들이 결국 우리의 스택 위에서 개발되고, 우리 스택에서 가장 압도적인 성능으로 실행된다는 사실 말입니다. 도대체 이 상황을 이해하는 것이 왜 비논리적이라고 생각하십니까?

파텔: 제가 보는 관점은 이렇습니다. 앤트로픽의 모델들은 GPU에서도 잘 실행되지만 동시에 트레이니엄(Trainium)이나 TPU에서도 훌륭하게 작동합니다. 물론 하드웨어를 전환하기 위해서는 많은 엔지니어링 노력이 필요하겠죠.

파텔: 하지만 글로벌 사우스(Global South)나 중동 지역 등에서 모든 최신 AI 모델이 미국이 아닌 다른 경쟁자의 기술 스택에 최적화되어 기본으로 탑재된다면, 이것이 도대체 어떻게 미국에게 좋은 일이라고 주장하실 수 있습니까? 지금 질문자님은 그것이 미국에 이롭다는 터무니없는 주장을 하고 계신 것 같습니다.

파텔: 하지만 저는 이 논쟁의 핵심을 이해하지 못하겠습니다. 만약 중국 기업이 차세대 Mythos 수준의 모델에 가장 먼저 도달했다고 가정해 보죠. 그들은 모든 보안 시스템이 사실 미국산 소프트웨어 위에서 가장 잘 작동한다는 걸 알게 되지만, 그들은 엔비디아 하드웨어를 통해 모델을 개발하고 이를 글로벌 사우스로 수출하여 전 세계가 엔비디아 하드웨어에서 그 모델을 실행하게 만듭니다. 그게 도대체 미국에 뭐가 좋다는 겁니까? 제 말은, 그래요, 그들이 그걸 엔비디아 하드웨어에서 돌린다고 칩시다. 그것 자체가 좋은 일이 아니지 않습니까.

황: 좋은 일이 아닙니다. 결코 좋은 시나리오가 아닙니다.

파텔: 맞습니다. 좋은 일이 아니죠.

황: 그러니까 애초에 그런 끔찍한 일이 벌어지지 않도록 확실히 막아야 한다는 것이 제 요지입니다.

파텔: 왜 당신은 엔비디아가 중국에 컴퓨터 칩을 배송하지 않으면, 화웨이가 그 공백을 완벽하고 정확하게 대체할 수 있을 것이라고 생각하십니까? 화웨이는 아직 뒤처져 있지 않습니까? 그들은 당신들보다 훨씬 떨어지는 칩을 가지고 있습니다. 완전히...

황: 지금 바로 현실적인 증거가 존재합니다. 그들의 반도체 산업 규모는 상상을 초월합니다.

파텔: 당장 H200과 화웨이 910C의 대역폭이나 메모리 성능의 연산량을 비교해 보십시오. 화웨이는 거의 절반, 아니면 3분의 1 수준에 불과합니다.

황: 그들은 단순히 칩을 더 많이 이어 붙여 사용합니다. 두 배로 더 사용하면 그만입니다.

파텔: 당신의 주장은 결국 중국이 언제든 사용할 수 있는 넘쳐나는 에너지를 보유하고 있고, 그 텅 빈 공간을 그저 무수히 많은 칩으로 채워버리면 된다는 뜻이군요. 그리고 중국은 제조에 능통합니다. 물론 언젠가 먼 훗날에는 그들이 압도적인 제조 능력으로 전 세계 모든 경쟁사를 찍어누를 수 있을지도 모릅니다. 하지만 지금 당장 우리에게는 주도권을 잡아야 할 ‘결정적인 몇 년(critical years)’이라는 시간이 주어져 있습니다. 무슨 결정적인 시기를 말씀하시는 건가요?

황: 바로 지금부터 향후 몇 년이 그 시기입니다. 이 시기에 우리는 치명적인 사이버 공격을 완벽히 수행할 수 있는 모델을 개발할 것입니다.

파텔: 그렇다면 미래의 그 결정적인 시기에 맞춰, 전 세계의 모든 AI 모델이 반드시 미국의 기술 스택 위에 구축되도록 확고히 만들어야 한다는 것이죠. 이 결정적인 몇 년 동안 말입니다. 알겠습니다.

파텔: 그런데 미국 기술 스택으로 모델을 구축한다고 해서, 만약 상대방이 더 앞선 공격 역량을 확보하게 된다면, 미국 시스템을 향해 Mythos 수준의 사이버 공격을 감행하는 것을 무슨 수로 막을 수 있습니까?

황: 어떤 방식으로든 완벽한 절대적 보장은 없습니다. 하지만 우리가 선제적으로 대응책을 먼저 마련한다면, 우리는 그 위협에 미리 대비할 수 있습니다. 자, 한 가지 물어보겠습니다.

황: 도대체 왜 AI 산업의 특정 레이어(칩 판매) 하나만 희생시켜서 다른 레이어(방어)의 이익을 도모하려 하십니까? 한 계층을 보호하기 위해 다른 계층이 거대한 시장 전체를 포기해야 한다면 결국 생태계 전체가 무너질 것입니다.

황: AI 산업은 총 5개의 계층으로 구성되어 있으며, 모든 단일 계층이 각각의 영역에서 성공을 거두어야만 합니다. 그리고 그중에서도 가장 폭넓게 성공해야 하는 계층은 다름 아닌 ‘AI 애플리케이션’ 계층입니다. 그런데 왜 그토록 하나의 특정 AI 모델 기업에만 집착하시는 겁니까? 도대체 무슨 이유로요?

파텔: 왜냐하면 바로 그 모델들이 앞서 말한 엄청난 공격 능력을 현실화할 수 있고, 그 모델을 훈련하려면 막대한 컴퓨팅 파워가 필수적이기 때문입니다. 칩 인프라와 AI 연구자 생태계가 그 모든 것을 가능하게 만듭니다.

파텔: 좋습니다, 다시 본론으로 돌아가 보죠. 중국이 부족분을 메우기 위해 7나노미터 생산 능력을 충분히 구축할 수 있다는 가정이 성립해야만 합니다. 그리고 명심해야 할 점은, 귀사가 향후 3나노미터 공정으로 나아가고 이후 2나노미터, 그리고 1.6나노미터 공정까지 진입하는 동안, 중국은 여전히 7나노미터에 갇혀 있을 수밖에 없다는 사실입니다.

파텔: 따라서 귀사가 1.6나노미터 공정에 진입했을 때, 중국은 여전히 7나노미터를 사용하며 성능의 격차를 메우기 위해 엄청나게 많은 양의 칩을 쏟아내야 합니다. 하지만 당신은 중국이 무한한 에너지를 보유하고 있기 때문에, 우리가 칩을 공급하면 공급할수록 그들이 더 많은 컴퓨팅을 가지게 된다고 주장하고 계시죠? 맞습니까? 결국 문제는 궁극적으로 그들이 더 많은 컴퓨팅 자원을 얻고 있다는 사실로 귀결됩니다. 훈련과 추론 측면에서 컴퓨팅은 가장 결정적인 요소입니다.

황: 잘 들어보세요. 저는 당신이 절대적인 기준(absolutes)으로만 말씀하신다고 생각합니다. 저 역시 당연히 미국이 선두를 유지해야 한다고 생각합니다. 현재 미국이 보유한 컴퓨팅 자원의 양은 전 세계 다른 어느 곳과 비교해도 100배 이상 많습니다. 미국은 당연히 1위여야 합니다. 알겠습니다.

황: 그리고 실제로 미국이 선두입니다. 엔비디아는 세상에서 가장 진보된 기술을 구축합니다. 우리는 미국의 연구소들이 우리의 신기술 소식을 가장 먼저 듣게 하고, 이를 구매할 수 있는 첫 번째 기회를 독점적으로 제공합니다. 만약 그들에게 자금이 부족하다면 우리가 직접 그들에게 투자하기까지 합니다. 미국은 마땅히 선두를 지켜야 합니다. 알겠습니다. 우리는 미국이 선두를 유지할 수 있도록 우리가 할 수 있는 모든 조치를 다 취하려 합니다. 이것이 첫 번째 요점입니다. 여기에 동의하십니까?

파텔: 우리도 그 점에 동의하며 할 수 있는 모든 것을 하고 있습니다. 하지만 중국에 칩을 수출하는 행위가 도대체 어떻게 미국이 선두를 지키는 데 도움이 됩니까?

황: 아니, 아닙니다. 만약 그들이 컴퓨팅 자원에서 병목 현상을 겪는다면... 우리 미국에는 베라가 있습니다. 미국을 위한 ‘Vera Rubin’이 있습니다. 미국에 우선적으로 공급될 Vera Rubin 아키텍처가 있죠. 자, 미국이라 하셨죠. 저는 지금 미국에 있지 않습니까? 당신은 저를 미국의 일부라고 생각하십니까?

파텔: 네.

황: 엔비디아를 미국 기업이라고 생각하십니까?

파텔: 알겠습니다. 첫 번째 내용으로 다시 넘어가죠.

황: 왜 우리는 엔비디아가 세계 시장을 완전히 포기하게 만드는 대신, 전 세계 시장에서 경쟁하고 승리할 수 있도록 더 균형 잡힌 규제를 고안해내지 못하는 것입니까? 당신은 도대체 왜 미국이 세계 시장의 패권을 내어주기를 바라는 것입니까? 반도체 산업은 미국 생태계의 핵심입니다. 미국의 기술 리더십의 일부분입니다. 미국 AI 생태계의 근간입니다. 미국의 AI 주도권을 구성하는 요소입니다. 왜요? 도대체 왜 그러시는 겁니까?

황: 왜냐하면 당신의 철학과 논리는 결과적으로 미국 반도체 산업이 전 세계 시장의 막대한 부분을 스스로 양보하고 포기하도록 이끌기 때문입니다.

파텔: 제가 하려는 주장은 이런 겁니다. 다리오가 남긴 비유가 있습니다. 그는 이것을 마치 보잉이 ‘우리는 북한에 핵무기를 팔고 있지만, 적어도 그 미사일의 외피는 우리 보잉이 만들었으니 결국 미국의 기술 스택을 돕는 일입니다’라고 자랑하는 꼴과 같다고 말했습니다. 그들은 그것이 어떤 식으로든 미국의 기술 스택을 활성화한다고 핑계를 대지만, 근본적으로 당신은 중국에게 이런 치명적인 공격 능력을 넘겨주고 있는 것입니다.

황: AI를 당신이 방금 언급한 그 끔찍한 무기들과 비교하는 것 자체가 정신 나간 소리(lunacy)입니다.

파텔: 하지만 AI는 농축 우라늄과 비슷한 성격을 지녔지 않습니까. 평화적이고 긍정적인 용도로 쓰일 수도 있지만, 파괴적인 부정적 용도로 쓰일 수도 있죠. 그렇다고 해서 우리가 고농축 우라늄을 다른 나라에 무분별하게 수출하려 하지는 않습니다.

황: 도대체 누가 농축 우라늄을... 그 비유는 완벽하게 틀렸습니다. 형편없는 비유이기 때문입니다. 전혀 앞뒤가 맞지 않는 비논리적인 비유입니다.

파텔: 하지만 그 막대한 컴퓨팅이 미국의 모든 소프트웨어에 대한 제로데이 취약점 익스플로잇(Zero-day Exploit)을 감행할 수 있는 모델을 구동할 수 있다면, 그것이 도대체 무기가 아니면 무엇입니까?

황: 첫째, 그런 문제를 해결하는 진정한 방법은 연구자들과의 대화, 중국과의 대화, 그리고 전 세계 각국과의 대화를 통해 사람들이 이 기술을 그런 파괴적인 방식으로 악용하지 않도록 제도를 마련하는 것입니다. 그 대화가 반드시 선행되어야 합니다. 이것이 첫 번째입니다.

황: 두 번째로, 우리는 미국이 반드시 기술 경쟁에서 선두를 유지해야 한다는 점을 확고히 해야 합니다. 루빈, 베라 루빈, 블랙웰과 같은 최신 칩들이 미국에는 넘칠 만큼 공급되고 있습니다. 산더미처럼 공급되고 있고, 우리의 매출 결과가 이를 명백히 증명합니다. 풍부합니다. 엄청난 물량입니다. 그 양은 가히 엄청납니다. 우리가 미국 내에 보유한 컴퓨팅 자원은 타의 추종을 불허합니다.

황: 미국에는 뛰어난 AI 연구자들이 모여 있습니다. 이는 아주 좋은 상황입니다. 우리는 마땅히 선두를 고수해야 합니다. 하지만 동시에 우리는 AI 산업이 단순히 ‘하나의 모델’로만 이루어진 것이 아니라, 5개의 레이어로 구성된 거대한 케이크라는 사실을 명확히 인식해야 합니다. AI 산업은 이 모든 단일 계층 전반에 걸쳐 중요성을 갖습니다.

황: 우리는 미국이 ‘칩(chip) 계층’을 포함한 모든 계층에서 승리하기를 원합니다. 세계 시장 전체를 포기해 버리는 것은 미국이 장기적으로 반도체 기술 경쟁과 컴퓨팅 스택에서 세계를 주도하며 승리하도록 돕지 못할 것입니다. 이것은 단순한 사실입니다.

파텔: 그 부분은 아주 좋은 지적이라고 생각합니다. 사실 그 부분이 이 논쟁의 핵심인 것 같습니다. 그렇다면 핵심은 “지금 당장 그들에게 칩을 판매하는 것이 미국의 장기적인 경쟁력 확보에 도대체 어떻게 기여하는가”로 좁혀집니다.

파텔: 테슬라는 오랫동안 중국 시장에 극도로 우수한 전기차를 판매해 왔습니다. 아이폰 역시 중국에서 불티나게 팔리고 있죠. 하지만 그것들이 중국 소비자를 미국 생태계에 고착화(lock-in)시키지는 못했습니다. 중국은 여전히 자신들만의 전기차를 만들 것이고 중국산 전기차와 스마트폰이 시장을 지배할 것입니다. 오늘 대화를 시작할 때 젠슨께서 직접 말씀하셨고 인정하셨듯이, 엔비디아의 포지션은 그들과 매우 다릅니다. 스스로 ‘해자(moat)’라는 단어를 사용하여 설명하셨죠.

황: 가장 중요한 단 하나의 사실은, 그들이 우리처럼 쉽게 모방할 수 없을 것이라는 점입니다. 우리 회사에게 가장 중요한 단 하나의 자산은 바로 ‘풍부한 소프트웨어 생태계’이며, 이 생태계의 핵심은 ‘개발자’입니다. 전 세계 AI 개발자의 50%가 중국에 있습니다. 우리는 그 거대한 개발자 풀을 양보하고 싶지 않으며, 미국은 결코 그들을 포기해서는 안 됩니다.

파텔: 하지만 미국 본토에도 수많은 엔비디아 개발자들이 있고, 이는 미국의 연구소들이 미래에 다른 가속기를 사용하는 것을 원천적으로 차단하지는 못합니다. 사실 지금 당장도 미국 연구소들은 다른 회사의 가속기들을 이미 함께 섞어 사용하고 있으며, 이는 매우 좋은 현상입니다. 구글이 자사의 TPU와 엔비디아 칩을 동시에 사용하는 것처럼, 중국에 엔비디아 칩을 판매한다고 해서 그들이 엔비디아만 쓰게 될 이유는 없지 않습니까? 왜 중국은 다를 것이라 보십니까?

황: 그래서 우리는 끊임없이 혁신하고 멈추지 않고 성장해야 합니다. 아시다시피 우리의 글로벌 시장 점유율은 감소하기는커녕 오히려 계속 증가하고 있습니다. ‘우리가 중국 시장에서 치열하게 경쟁하더라도 어차피 결국에는 그 시장을 다 잃게 될 것이다’라는 식의 전제는 용납할 수 없습니다. 당신은 지금 패배자로 눈을 뜬 사람과 이야기하고 있는 것이 아닙니다.

황: 그런 패배주의적 태도와 전제는 제게 전혀 논리적이지 않습니다. 우리는 자동차 회사가 아닙니다. 우리는 자동차 산업처럼 기계를 파는 것이 아닙니다. 자동차는 오늘 이 브랜드를 샀다가 내일 다른 브랜드 차를 몰아도 아무런 문제가 없는 물건입니다. 아주 쉽죠.

황: 하지만 컴퓨팅은 전혀 다릅니다. x86 아키텍처가 왜 수십 년이 지난 지금까지도 존재하는지 분명한 이유가 있습니다. ARM 아키텍처가 왜 그토록 강력한 끈끈함(sticky)을 갖는지 아실 겁니다. 이러한 생태계는 대체하기가 매우 어렵습니다. 생태계를 교체하는 데는 엄청난 양의 시간과 에너지가 소모되며, 대부분의 사람들은 그 귀찮은 작업을 원하지 않습니다.

황: 따라서 우리가 해야 할 일은 그 생태계를 지속적으로 육성하고, 기술을 끊임없이 발전시켜 시장에서 경쟁 우위를 지켜내는 것입니다. 말씀하신 그런 나약한 전제만으로 시장을 순순히 내어준다는 것은 결코 용납할 수 없습니다. 그것은 미국이 패배자라는 가정에서 출발하기 때문에 성립하지 않습니다. 우리 미국의 기술 산업은 결코 패배자가 아닙니다. 그런 패배를 당연시하는 마인드는 제게 전혀 납득이 되지 않습니다.

파텔: 네, 알겠습니다. 다음 주제로 넘어가겠습니다. 다만 제가 한 가지 꼭 확인하고 싶은 점이 있는데...

황: 넘어가지 않으셔도 됩니다. 저는 이 대화가 정말 재밌습니다.

파텔: 아, 좋습니다. 그럼 계속 이어가죠.

황: 배려해 주셔서 감사합니다. 하지만 저는 아마도 이 부분이 대화의 핵심일 것이라 생각합니다. 저와 함께 여러 번 반복하며 질문해 주신 점 감사합니다. 덕분에 이 논쟁의 핵심을 드러내는 데 도움이 되었기 때문입니다. 그 핵심이란, 질문자님의 주장이 너무 극단으로 치닫고 있다는 사실입니다. 논리의 출발점 자체가 너무 극단에 있죠. “지금 이 순간 중국에 컴퓨팅 자원을 조금이라도 넘겨주면, 우리는 모든 것을 잃게 될 것이다”라는 식입니다.

파텔: 아닙니다, 제 주장의 요지는 그것이 아닙니다.

황: 그런 극단적인 가설들은 유치하게 느껴집니다.

파텔: 제가 제 주장을 직접 정리해서 말씀드리겠습니다. 핵심은 컴퓨팅 자원에 세상을 바꿀 어떤 마법의 ‘임계점’이 존재한다는 개념이 아닙니다. 중요한 것은 한계 단위의 추가적인 컴퓨팅 자원(marginal compute)이라도 모두 상대의 모델 성능 향상에 도움이 된다는 점입니다. 그렇지 않습니까? 더 많은 컴퓨팅 자원이 있으면 무조건 더 우수한 모델을 학습시킬 수 있습니다. 그래서 저는 당신이 ‘미국 기술 산업의 어떠한 추가적인 판매라도 결국 전체적으로 미국에 도움이 된다’는 점을 맹목적으로 인정받고 싶어 하는 것은 아닌지 묻고 싶습니다.

파텔: 사실 저는... 제 말은, 만약 귀사가 판매한 그 칩에서 구동되는 AI 모델들이 치명적인 사이버 공격 능력을 지닐 수 있다면, 그러한 모델을 더 많이 학습하고 수백만 개의 인스턴스를 구동하는 행위는 비록 그것이 물리적인 핵무기는 아닐지라도 확실한 ‘사이버 무기’를 제공하는 것과 같다는 점입니다.

파텔: 당신이 사용하는 그 논리를 그대로 적용하자면 마이크로프로세서나 D램 수출에도 똑같이 적용해야 합니다. 심지어는 전력 공급 자체에도 적용해야 하죠. 하지만 현실에서 우리는 핵무기 확산을 철저히 통제하고 있습니다. 최첨단 D램 제조 관련 기술에는 엄격한 수출 통제가 적용되고 있습니다. 안 그렇습니까? 우리는 중국에 각종 반도체 장비 관련 기술 수출 통제도 다양하게 시행 중입니다. 그럼에도 불구하고 우리는 중국에 막대한 양의 구형 D램과 CPU를 판매하고 있습니다. 그리고 저는 이것이 올바른 정책이라고 봅니다.

파텔: 결국 이것은 “AI가 기존의 것들과 근본적으로 다른가?”라는 원론적인 질문으로 되돌아갑니다. 맞습니까? 소프트웨어의 제로데이 취약점을 알아낼 수 있는 기술을 갖춘다는 것은, 중국이 우리보다 그 기술에 먼저 도달하거나 신속하게 대규모로 배포하는 상황을 철저하게 최소화해야 하는 사안이 아닙니까? 우리는 미국이 계속 앞서 나가기를 원합니다. 우리는 충분히 그것을 통제할 수 있습니다.

파텔: 그런데 칩이 이미 현지에 쌓여 있고 중국이 그걸로 모델을 학습하고 있는데 도대체 어떻게 통제할 수 있겠습니까? 미국에는 막대한 컴퓨팅 자원이 있습니다. 우수한 AI 연구자들도 무수히 많습니다. 미국은 최대한 빠른 속도로 전력 질주하고 있습니다. 다시 한번 말씀드리지만, 미국은 세상 그 누구보다 많은 핵무기를 보유하고 있지만 그렇다고 고농축 우라늄을 전 세계 아무 데나 내다 팔지는 않습니다.

황: 우리가 수출하는 것은 고농축 우라늄이 아닙니다. 그것은 단순한 반도체 칩입니다. 그리고 중국 스스로도 충분히 자국 내에서 제조할 수 있는 칩입니다.

파텔: 하지만 그들이 자국산이 아닌 굳이 비싼 엔비디아 칩을 필사적으로 구매하려는 데에는 분명한 이유가 있지 않습니까? 중국 기업 창립자들조차 “우리는 현재 컴퓨팅 성능에서 심각한 병목 현상을 겪고 있다”고 한목소리로 말하고 있습니다.

황: 왜냐하면 우리 칩이 더 뛰어나기 때문입니다. 전반적으로 우리 칩 성능이 월등히 낫습니다. 이 사실에는 의심의 여지가 없습니다. 제 입장은 이렇습니다. 알겠습니다. 만약 우리 칩 공급이 완벽히 차단된 상황에서, 화웨이가 올해 역대 최고 실적을 올렸다는 사실은 인정하시겠습니까? 수많은 중국의 반도체 기업들이 주식시장에 상장하며 자본을 끌어모았다는 사실도 인정하시겠습니까? 그 사실은 인정해야 합니다.

파텔: 네, 인정합니다.

황: 그렇다면 이 점도 인정해 주시겠습니까? 과거 우리가 그 거대한 시장에서 압도적인 점유율을 차지하고 지배했었음에도, 현재는 규제로 인해 더 이상 그 큰 점유율을 유지하지 못하고 있다는 뼈아픈 사실 말입니다. 나아가 중국이 전 세계 기술 산업의 약 40%를 차지하는 거대한 시장이라는 점도 인정해야 합니다. 그런 거대한 시장을 완전히 떠나고 미국 기술 산업이 외면하거나 양보하도록 강요하는 것은 결국 우리 국가에 해악이 되는 일입니다. 국가 안보에도 치명적입니다. 미국의 기술적 리더십을 스스로 훼손하는 일입니다. 오직 하나의 기업 이익만을 위해 이 모든 희생을 감수한다는 것은 제게 전혀 합리적이지 않아 보입니다.

파텔: 제가 좀 혼란스러운 점이 있습니다. 질문자님께서 지금 완전히 모순되는 두 가지 주장을 동시에 하시는 것 같은 느낌이 듭니다. 하나는 “만약 엔비디아가 자유롭게 경쟁하도록 허용된다면 우리 칩이 훨씬 뛰어나기 때문에 화웨이와의 경주에서 우리가 완벽히 이길 것이다”라는 주장이고, 다른 하나는 “엔비디아 칩 없이도 중국은 알아서 똑같은 발전을 이룰 것이다”라는 주장이죠. 맞습니까? 이 두 주장이 어떻게 동시에 성립할 수 있습니까?

황: 대안이 없는 상황에서 사람들은 자신들에게 남은 유일한 최선의 대안을 선택하여 그들 나름의 길을 갈 수밖에 없습니다. 도대체 그것이 어떻게 불공평하거나 비논리적이라고 할 수 있겠습니까? 오히려 매우 당연하고 논리적인 현상입니다. 하지만 그럼에도 불구하고 그들이 엔비디아 칩을 간절히 원하는 이유는 우리 제품이 훨씬 더 뛰어나기 때문입니다.

황: 뛰어난 성능은 동일한 환경에서 곧 ‘더 많은 컴퓨팅’ 능력을 의미합니다. 더 많은 컴퓨팅 자원은 더 우수한 모델 학습을 의미하죠. 또한 프로그래밍이 훨씬 더 쉽기 때문에 유리하고, 우리가 더 강력하고 거대한 생태계를 갖추고 있기 때문입니다. 그 우위가 무엇이든 더 나은 점은 분명히 존재합니다. 따라서 당연히 우리는 그들에게 더 나은 컴퓨팅 자원을 공급해야 합니다. 그게 뭐가 문제입니까?

황: 가장 중요한 핵심은, 결국 그 혜택을 온전히 누리는 것은 미국이라는 사실입니다. 잊지 마십시오. 우리는 ‘미국 기술 리더십’이라는 엄청난 혜택을 봅니다. 전 세계의 개발자들이 화웨이가 아닌 ‘미국 기술 스택’을 중심으로 활동하도록 종속시키는 혜택도 얻습니다. 그리고 중국의 그 혁신적인 AI 모델들이 전 세계로 확산될 때, 그 모델들이 미국의 기술 표준으로 자리 잡고 우리 스택에서 구동되는 혜택도 누립니다.

황: 따라서 미국의 기술 스택은 이 경쟁에서 가장 유리한 위치를 굳건히 점하게 됩니다. 우리는 미국의 기술을 지속적으로 발전시키고 전 세계로 강력하게 확산시킬 수 있습니다. 저는 이것이 명백히 긍정적인 효과라고 확신합니다. 이는 미국이 세계 기술 리더십을 유지하는 데 있어 대단히 중요한 축입니다.

파텔: 그런데 질문자님께서 방금 옹호하신 그런 정책들은 과거 미국의 통신 산업을 세계 무대에서 사실상 몰아냈고, 그 결과 우리는 더 이상 자국의 통신 인프라조차 스스로 주도하지 못하게 되었습니다. 우리는 더 이상 미국의 독자적인 통신 산업을 완전히 통제하지 못합니다. 저는 그런 방식이 현명한 정책이라고 보지 않습니다. 다소 협소하고 근시안적인 시각에서 비롯된 그 정책은 이제 말씀드린 것과 같은 의도치 않은 끔찍한 결과를 초래했고, 대표님께서는 그 부작용을 이해하는 데 매우 큰 어려움을 겪고 계신 것 같습니다. 알겠습니다, 일단 여기서 한 발짝 물러서서 다시 생각해 봅시다.

황: 핵심은 잠재적 이득과 잠재적 비용이 항상 공존한다는 점입니다. 그리고 우리는 그 이득이 막대한 비용을 감당할 만한 가치가 있는지 신중히 판단해야 합니다. 컴퓨팅 파워가 강력한 모델을 학습시키는 데 필수적인 핵심 입력 요소라는 점, 그리고 그에 따르는 잠재적 비용을 인정해 주시죠. 강력한 모델에는 분명 파괴적인 잠재력이 존재합니다. 사이버 공격 같은 막강한 공격적 활용 가능성도 내포하고 있죠.

황: 미국 기업들이 경쟁국보다 먼저 클라우드급 막강한(Mythos 수준의) 성능을 확보했다는 점은 국가 안보 차원에서 매우 긍정적입니다. 그리고 이제 해당 역량이 공식 발표되기 전에 미국 기업과 정부가 스스로 소프트웨어를 더 안전하게 보호할 수 있도록 배포를 잠시 보류하는 전략도 취하고 있습니다. 만약 중국이 더 많은 컴퓨팅 파워와 클라우드 인프라를 앞당겨 확보하여, 먼저 Mythos 수준의 모델을 개발해 전 세계에 광범위하게 배포했다면 그것은 상상할 수 없을 만큼 심각한 결과가 되었을 겁니다.

황: 다행히 그런 끔찍한 일이 벌어지지 않은 가장 큰 이유 중 하나는 미국에 엔비디아 같은 기업 덕분에 훨씬 더 많은 컴퓨팅 역량이 확보되어 있기 때문입니다. 그건 명백하고 분명한 이점입니다. 이것이 바로 우리가 자재를 중국으로 보낼 때 감수해야 하는 잠재적 비용입니다. 그러니 일단 경제적 이득은 잠시 접어두고 질문을 바꿔보죠. 이 점이 매우 현실적인 잠재적 비용이라는 사실을 인정하시겠습니까?

황: 제 입장에서는 또 다른 치명적인 비용이 존재합니다. 바로 우리가 AI 스택에서 가장 중요한 심장부인 칩(Chip) 레이어 시장을, 그들이 독자적인 개발 규모와 자체 생태계를 구축하도록 세계 두 번째로 큰 시장인 중국에 통째로 내어주는 것입니다.

황: 그 결과, AI가 전 세계로 확산될 때 그들의 독자적인 표준과 기술 스택이 우리가 만드는 모델보다 훨씬 완벽하게 최적화되어 결국 미국의 기술 스택을 몰아내고 우위를 점하게 될 수 있습니다.

파텔: 물론 저는 엔비디아의 커널 엔지니어들과 CUDA 개발팀의 뛰어난 역량을 굳게 믿습니다. 그들은 어떤 모델이든 중국 칩보다 자사 칩에 맞게 충분히 최적화해 낼 수 있을 것입니다.

황: 알고 계시다시피 AI는 단순히 하위 커널 최적화 하나만으로 결정되는 기술이 아닙니다.

파텔: 맞습니다. 하지만 지식 증류(Distillation)[^47] 등 특정 칩에 완벽하게 들어맞는 모델을 깎아내기 위해 고려할 수 있는 소프트웨어적 요소가 무수히 많지 않습니까.

황: 우리는 최선을 다할 것입니다.

파텔: 귀사는 그토록 방대한 소프트웨어 제국을 보유하고 있습니다. 비록 중국이 한동안 다소 우위에 있는 오픈소스 모델을 가지게 된다 하더라도, 전 세계가 장기적으로 중국의 하드웨어 생태계에 완전히 잠길(Lock-in) 것이라고 상상하기는 매우 어렵습니다.

황: 중국은 전 세계 오픈소스 소프트웨어 생태계에 가장 큰 기여를 하는 국가입니다. 이것은 명백한 사실이죠. 맞나요? 오픈 모델 발전 분야에서도 중국이 전 세계 1위입니다. 이 역시 분명한 팩트입니다.

황: 그런데 오늘날 그들이 쏟아내는 그 모든 모델들은 하나같이 미국 기술 스택, 즉 엔비디아의 아키텍처 위에서 구축되고 있습니다. 이것이 가장 중요한 사실입니다. AI 기술 스택의 5가지 레이어는 모두 치명적으로 중요합니다. 미국은 이 5가지 레이어 모두에서 완벽한 승리를 거둬야 합니다. 정말 중요한 일입니다.

황: 그중에서도 가장 폭넓게 중요한 것은 물론 ‘AI 애플리케이션’ 레이어입니다. 사회에 가장 깊숙이 스며들고, 가장 많이 활용되는 레이어가 바로 이 거대한 산업 혁명의 혜택을 가장 크게 누릴 것이기 때문입니다. 하지만 제 주장의 핵심은 모든 레이어가 예외 없이 성공해야 한다는 것입니다.

황: 만약 우리가 이 나라 전체를 공포에 빠뜨려 AI가 마치 터지면 끝인 원자폭탄이라도 된 양 두려워하게 만들고, 모두가 맹목적으로 AI를 혐오하고 무서워하게 만든다면, 그것이 도대체 미국이라는 국가에 어떤 도움이 되겠는지 저는 알 수 없습니다. 오히려 우리는 끔찍한 역효과를 내고 있는 셈입니다.

황: 만약 AI가 모든 소프트웨어 엔지니어링 일자리를 모조리 앗아갈 것이라며 사람들에게 공포를 심어주어 소프트웨어 엔지니어링 직종에서 발을 빼게 만든다면, 결과적으로 우리는 극심한 소프트웨어 엔지니어 구인난에 허덕이게 될 것이며, 이 역시 미국을 돕는 일이 전혀 아닙니다.

황: 뛰어난 컴퓨터 비전 기술이 완전히 무료로 제공된다고 해서 누구나 영상의학과 전문의를 꺼리게 만들고, AI가 인간 전문의보다 훨씬 더 나쁜 진단을 내릴 것이라고 오해하는 상황을 조장한다면 어떻게 될까요? 우리는 심각한 오해를 범하는 것입니다. 우리는 ‘직업(Job)’의 본질과 ‘작업(Task)’의 차이를 정확히 구분해야 합니다.

황: 영상의학과 전문의의 진짜 직업적 본질은 환자를 돌보는(Patient care) 일이고, 영상 판독은 그 과정 중 하나의 단순 작업에 불과합니다. 만약 우리가 이 차이를 심각하게 오판하여 우수한 인재들이 영상의학전문의가 되는 것을 두려워하게 만든다면, 충분한 수의 영상의학과 전문의가 확보되지 못해 결국 국가 의료 서비스의 질이 처참히 떨어지게 될 것입니다.

황: 따라서 제가 짚고 넘어가려는 바는, 당신처럼 극단적인 전제를 내세워 모든 것을 ‘0 아니면 무한’으로 치부해 버리는 태도는, 결국 사실과 전혀 다른 방식으로 사람들을 불필요하게 공포에 몰아넣는다는 것입니다. 현실의 삶은 그렇게 단순하게 돌아가지 않습니다.

황: 우리가 진정으로 미국이 세계 1위가 되기를 원합니까? 물론입니다. 그렇다면 이 스택의 모든 레이어에서 압도적인 리더십을 발휘해야 합니까? 당연히 그렇게 해야 합니다. 맞습니다. 오늘 Mythos 모델 이야기를 꺼낸 것도 바로 그 특정 레이어가 치명적으로 중요하기 때문이죠. 네, 물론입니다. 정말 훌륭한 관점입니다.

황: 하지만 몇 년 뒤의 미래를 확실하게 예측해 보건대, 우리가 미국의 기술 스택이 전 세계로 확산되기를 간절히 원할 때, 미국의 위대한 기술과 표준이 전 세계, 즉 인도, 중동, 아프리카, 동남아시아로 거침없이 퍼져나가기를 바랄 때, 우리의 국가적 이익과 경제를 위해 앞선 기술을 수출하고 우리가 원하는 글로벌 표준을 심어놓고 싶을 때가 반드시 올 것입니다.

황: 바로 그때가 되면, 저는 오늘 당신과 나눈 이 대화의 순간을 정확히 다시 끄집어낼 것입니다. 그리고 오늘 이 대화 내용을 통해, 당신이 맹신했던 그 정책과 당신의 극단적인 상상력이 어떻게 위대한 미국으로 하여금 전혀 타당한 이유 없이 세계 두 번째로 큰 거대 시장을 중국에 스스로 양도하게 만들었는지 낱낱이 지적하겠습니다.

황: 우리는 결코 그 거대 시장을 자발적으로 양도해서는 안 됩니다. 만약 치열하게 싸우다가 지게 된다면 어쩔 수 없이 지는 겁니다. 하지만 도대체 왜 싸워보지도 않고 능동적으로 먼저 백기 투항합니까? 지금 그 누구도 모든 것을 제한 없이 내주거나 아예 단 하나도 주지 말라는 극단론을 옹호하지 않습니다. 아무도 올인이나 노딜(All or Nothing)식의 무책임한 정책을 지지하지 않습니다.

황: 즉, 1년 365일 언제든지 우리의 모든 최첨단 제품을 중국에 무제한 출하해야 한다는 식의 터무니없는 주장은 아무도 하지 않습니다. 우리가 항상 타의 추종을 불허하는 최첨단 기술을 보유하고, 가장 많은 양의 기술력을 미국 본토에 유지하며, 무엇보다 가장 먼저 미국 내에 배포해야 하는 것은 백번 지당한 사실입니다. 하지만 동시에 우리는 전 세계 글로벌 시장에 나가 당당히 경쟁하고 승리해야 합니다.

황: 이 두 가지 목표는 완벽하게 동시에 달성될 수 있습니다. 그것은 맹목적인 극단적 접근이 아니라, 상황의 미묘함을 이해하는 균형 감각과 고도의 성숙함을 요구합니다. 세계의 현실은 결코 모 아니면 도 방식의 절대값으로 움직이지 않습니다.

파텔: 알겠습니다. 이 논쟁의 핵심은 결국 중국이 자사 아키텍처에 완벽하게 맞춰 최적화된 모델을 구축했다는 사실에 기반합니다. 그들이 만든 칩이 그들에게 최고입니다. 몇 년 후에도 그들이 만드는 칩이 그 환경에선 최고일 것입니다. 그리고 그 칩들이 전 세계로 수출되겠죠. 결국 그렇게 글로벌 표준이 정해지는 것입니다.

파텔: EUV 극자외선 리소그래피 장비와 엄격한 수출 통제 규제로 인해, 앞서 말했듯 귀사는 거침없이 1.6나노미터 최첨단 공정으로 넘어가게 될 것입니다. 하지만 몇 년 뒤 미래에도 중국에는 여전히 7나노미터 구형 공정이 주력으로 존재할 것입니다.

파텔: 물론 에너지가 풍부하고 생산 규모가 막대한 중국 내부적으로는 ‘그냥 7나노미터를 계속 쏟아부어 사용하는 것이 합리적’이라고 판단할 수도 있겠죠. 하지만 중국 바깥의 글로벌 수출 시장에서는 완전히 이야기가 다릅니다. 중국의 구형 7나노미터 칩이 글로벌 무대에서 귀사의 최첨단 1.6나노미터 칩과 정면으로 맞서 경쟁해야 합니다.

파텔: 그리고 당신의 주장이 성립하려면, 그들의 모델이 7나노미터 하드웨어에 너무나도 심층적으로 최적화된 나머지 그 모델을 엔비디아의 1.6나노미터 칩에서 돌리는 것보다 중국의 구형 7나노미터 칩에서 돌리는 게 성능상 훨씬 더 효율적이라는 기형적인 결론이 나와야만 합니다. 우리, 객관적인 사실을 한번 살펴볼까요?

황: 네, 말씀해 보시죠.

황: Blackwell이 Hopper에 비해 물리적인 리소그래피 공정 기술에서 무려 50배나 더 진보했습니까? 칩 축소만으로 정확히 50배의 도약을 이뤄냈습니까? 아닙니다. 50배 근처에는 가지도 못합니다. 제가 수차례 반복해서 강조했습니다. 트랜지스터 물리적 크기 자체만 놓고 보면 Hopper에서 Blackwell로 넘어오면서 무어의 법칙은 사실상 사망선고를 받았습니다. 기껏해야 효율이 75% 정도 향상되었을 뿐입니다.

황: 두 아키텍처 세대 사이에는 자그마치 3년의 차이가 있습니다. 그런데 고작 75% 향상이라뇨. 하지만 Blackwell의 실제 컴퓨팅 연산 성능은 Hopper 대비 무려 50배의 압도적인 성능을 보여줍니다. 제가 강조하려는 핵심 주장은 결국 성능을 결정짓는 것은 ‘아키텍처’라는 사실입니다. 위대한 컴퓨터 과학이 절대적으로 중요합니다.

황: 물론 반도체 물리학도 무시할 수 없이 중요하지만, 컴퓨터 과학의 영향력이 압도적으로 큽니다. AI가 세상에 미치는 거대한 파급력은 하드웨어 그 자체의 진보보다는, AI 혁신의 대부분이 우리가 구축한 ‘컴퓨팅 스택’에서 기인한다는 사실에서 나옵니다.

황: 바로 그 결정적인 이유 때문에 CUDA가 이토록 압도적으로 강력한 것이며, 전 세계 개발자들에게 이토록 광범위하게 사랑받는 이유입니다. CUDA는 단순히 하나의 소프트웨어가 아니라 하부 아키텍처를 완전히 변경해도 유연하게 대응할 수 있는 거대한 컴퓨팅 아키텍처 생태계입니다.

황: MoE, 디퓨전(Diffusion), 또는 완전히 분산된(Disaggregated) 구조처럼 세상에 없던 완전히 새로운 패러다임을 창출해도 CUDA 위에서는 아주 쉽게 구현할 수 있습니다. 결국 AI 기술의 압도적 성공은 하부 물리적 아키텍처만큼이나 상위 소프트웨어 스택의 유연성에서 결정됩니다. 어느 수준에서든, 우리가 구축한 이 거대한 스택과 생태계에 완벽히 최적화된 아키텍처와 소프트웨어를 보유하고 있다는 것은 명백한 이점입니다.

황: 이는 너무나 당연한 결과입니다. 오늘 대화 서두에서도 언급했듯이, 엔비디아의 생태계가 얼마나 경이롭게 풍부한지, 그리고 세상 모든 사람들이 왜 CUDA 프로그래밍을 가장 먼저 선호하는지 똑똑히 알 수 있습니다. 중국의 수많은 천재적인 연구진들도 예외 없이 CUDA를 가장 먼저 선택합니다.

황: 하지만 만약 우리가 어리석은 정책에 의해 중국 시장에서 강제로 철수해야만 한다면, 첫째로 그건 명백한 정책적 실수(policy mistake)입니다. 이는 즉각적이고 거센 반발을 불러일으킵니다. 미국에게도 끔찍하게 불리하게 작용했습니다. 보복 조치는 오히려 중국의 자국 반도체 산업을 폭발적으로 가속화했고, 그들의 거대한 AI 생태계가 오로지 자체 아키텍처 개발에만 사활을 걸도록 강제해 버렸습니다.

황: 완전히 늦은 것은 아니지만, 돌이킬 수 없는 흐름은 이미 시작되었습니다. 미래를 내다보면 중국은 결코 7나노 공정의 굴레에 영원히 머물러 있지 않을 것입니다. 그들은 제조 역량이 극도로 뛰어나며, 기필코 7나노 이후의 초미세 공정으로 끊임없이 나아갈 것입니다.

황: 여기서 절대 간과해서는 안 될 중요한 사실은, 5나노미터와 7나노미터 공정 사이에 10배라는 마법 같은 성능 차이가 나는 것은 절대 아니라는 점입니다. 핵심 승부처는 전체 아키텍처와 칩 간의 네트워킹입니다. 엔비디아가 거액을 들여 멜라녹스(Mellanox)를 인수한 결정적인 이유도 바로 이 네트워킹이 생사여탈을 쥐고 있기 때문입니다. 에너지 효율 역시 시스템 전체에서 핵심 역할을 합니다.

황: 공정 미세화만으로 모든 승패가 결정되는 그런 단순한 문제가 아닙니다. 질문자님께서 극단적으로 단순화하신 이 패권 경쟁의 방식과는 완전히 다릅니다.

챕터 9: 칩 아키텍처의 미래와 가속 컴퓨팅의 장기 비전

파텔: 중국에서 완전히 벗어나는 것도 가능하겠지만, 그건 매우 흥미로운 질문을 하나 던지게 만듭니다. 앞서 언급한 TSMC와 메모리 공정의 병목 현상에 대한 이야기 말입니다. 엔비디아가 N3 최선단 공정 생산량의 대다수를 차지하고, 머지않아 N2 공정에서도 주요 점유율을 독식하게 되는 상황에서, 만약 선진 공정의 생산 확장이 폭발적인 AI 수요를 도저히 감당하지 못한다면 어떨까요?

파텔: 여유 캐퍼시티가 남은 구형 노드인 N7 공정으로 다시 되돌아가서, 오늘날 우리가 체득한 고도의 수치 연산(Numerics)과 기타 모든 소프트웨어 최적화 기술을 완벽히 적용하여, 과거의 Hopper나 Ampere급 칩을 구형 공정에서 새롭게 다시 만들어낼 가능성도 있습니까? 2030년 전에 그런 시나리오가 현실화될 가능성이 있다고 보시나요?

황: 그럴 필요는 전혀 없다고 생각합니다. 매 세대마다 아키텍처의 혁신은 단순히 트랜지스터를 물리적으로 축소하는 공정 미세화 이상의 엄청난 기술적 진보를 포함하기 때문입니다. 정교한 엔지니어링, 첨단 패키징, 3D 칩 적층, 수치 연산 최적화, 그리고 거대한 시스템 아키텍처 설계 등 수없이 많은 요소가 유기적으로 결합됩니다.

황: 만약 선진 공정의 여유 공간이 턱없이 부족해졌다고 해서 낡은 구형 노드로 손쉽게 되돌아간다면, 그것은 그 어느 거대 기업도 재무적으로 감당할 수 없을 만큼 천문학적인 막대한 R&D 비용을 필요로 할 것입니다. 우리는 미래의 앞선 기술에 투자할 자본적 여유는 충분히 있지만, 과거의 기술로 뒷걸음질 치기 위해 막대한 자원을 쏟아부을 여력은 없다고 봅니다.

황: 하지만 만약, 어떤 미지의 그날 세상이 우리에게 “자, 이제 인류는 더 이상 단 한 줌의 선단 공정 생산량도 늘릴 수 없다”고 절망적인 선고를 내린다면요? 그런 극단적인 사고 실험을 해봅시다. 만약 정말 그런 상황이 온다면, 저는 일말의 망설임도 없이 당장 7나노미터 구형 공정으로 돌아가 칩을 만들겠습니다. 물론 그래야만 하죠.

파텔: 앞서 나눴던 다른 대화에서 파생된 질문인데, 왜 엔비디아는 완전히 다른 이질적인 아키텍처를 가진 여러 칩 개발 프로젝트를 동시에 병렬로 진행하지 않는가입니다.

파텔: 예를 들어 세레브라스(Cerebras)[^48] 방식의 거대한 웨이퍼 스케일(Wafer-scale) 칩이나, 테슬라의 도조(Dojo)[^49] 스타일의 초대형 패키징, 심지어는 CUDA 소프트웨어를 아예 배제하고 독자 동작하는 완전히 새로운 아키텍처도 가능합니다. 엔비디아는 그러한 이단적인 작업들을 병렬로 동시에 수행할 엄청난 자본과 엔지니어링 천재들을 충분히 갖추고 있습니다. AI 기술과 아키텍처의 미래 패러다임이 어떻게 급변할지 아무도 예측하지 못하는 불확실한 상황에서, 도대체 왜 모든 달걀을 오직 하나의 아키텍처 바구니에만 집중하는 겁니까?

황: 오, 마음만 먹으면 물론 가능합니다. 다만, 현재로서는 우리가 걷고 있는 이 길보다 확실히 ‘더 나은 대안’이 없다는 점 때문이죠. 우리는 당신이 언급한 그 모든 가능한 시나리오와 대안들을 모조리 테스트해 보았습니다.

황: 엔비디아 내부의 초정밀 시뮬레이터를 통해 상상할 수 있는 모든 대안적 아키텍처를 철저히 검증했을 때, 그것들은 여지없이 기존 우리의 핵심 아키텍처보다 성능이 열등하다는 것이 명백한 수치로 입증되었습니다. 따라서 우리는 그런 비효율적인 방향은 굳이 선택하지 않을 것입니다. 네. 우리는 오직 우리가 반드시 전력을 다해 추구해야 할 가장 올바른 프로젝트에만 100% 집중하고 있습니다.

황: 만약 작업 부하(Workload)의 성격이 근본적으로 완전히 바뀐다면 어떨까요? 저는 단순히 단기적인 AI 알고리즘의 변화가 아니라, 실제 컴퓨팅 작업 부하 패턴 자체의 거대한 구조적 변화를 말하는 것입니다. 이는 전적으로 미래 시장의 구조가 어떻게 진화하느냐에 달려 있습니다. 만약 그런 구조적 변화가 일어난다면, 우리는 기존과 전혀 다른 종류의 새로운 가속기(Accelerator)를 라인업에 전격적으로 추가할 수도 있습니다.

황: 예를 들어, 우리는 최근 그로크(Groq)[^50]를 전격 채택했고, 현재 이 그로크를 우리의 방대한 CUDA 생태계 내부로 완벽히 통합하는 작업을 진행하고 있습니다. 우리가 지금 이처럼 파격적인 작업을 진행하는 이유는, 생성형 AI가 만들어내는 ‘토큰(Tokens)’의 경제적 가치가 과거와는 비교조차 할 수 없을 만큼 하늘 높이 급등했기 때문입니다. 이제는 토큰의 품질과 응답 속도에 따라 철저하게 차등화된 가격 정책을 적용할 수 있는 완전히 새로운 시대가 열렸습니다.

황: 불과 몇 년 전, 과거 시절만 해도 토큰 생성 비용은 사실상 무료에 가깝거나 거의 비용을 청구하기 민망할 정도로 저렴했습니다. 그렇지 않습니까? 하지만 지금은 상황이 완전히 역전되었습니다. 시장에는 각기 다른 지불 능력을 갖춘 다양한 고객들이 형성되었고, 각 고객은 자신만의 특정한 고품질 답변과 속도를 열망합니다.

황: 고객들이 AI를 통해 천문학적인 수익을 창출하는 환경에서, 예를 들어 엔비디아 내부의 천재적인 소프트웨어 엔지니어들을 상상해 보십시오. 만약 제가 그들에게 지금보다 훨씬 더 즉각적으로 반응하는 초저지연 토큰(responsive tokens)을 제공하여, 오늘보다 몇 배는 더 높은 생산성을 내도록 만들 수만 있다면, 저는 그 초고가의 토큰 비용을 얼마든지 기꺼이 지불할 의향이 있습니다. 하지만 이처럼 세분화된 초저지연 시장이 제대로 형성된 지는 불과 얼마 되지 않았습니다.

황: 이제 우리는 정확히 동일한 AI 모델을 기반으로 하더라도, 고객이 요구하는 응답 시간(레이턴시)이라는 무기를 바탕으로 시장을 수십 가지 세그먼트로 철저히 세분화할 수 있는 강력한 역량을 갖추게 되었습니다.

황: 이것이 바로 우리가 기존의 효율성 한계선인 파레토 프론티어(Pareto frontier)[^51]를 과감히 뚫고 영역을 확대하여, 단순히 공장 전체의 데이터 처리량(Throughput)에만 목매는 대신 압도적으로 빠른 응답 속도를 지향하는 완전히 새로운 ‘초저지연 추론’ 시장 세그먼트를 독자적으로 창출해 낸 결정적 이유입니다.

황: 이전까지 업계의 불문율은 ‘무조건 높은 데이터 처리량만이 최선의 지표’라는 것이었습니다. 하지만 우리는 향후 AI 공장의 전체적인 처리량이 다소 떨어지더라도, 고객이 지불하는 토큰의 평균 판매 단가(ASP)[^52]가 상상을 초월할 정도로 높아질 수 있는 프리미엄 시장 환경이 반드시 올 것이라 확신합니다. 그 천문학적인 고부가가치 ASP만으로도 전체 처리량 감소를 넘치게 상쇄할 수 있다는 분명한 판단입니다. 바로 그 확신 덕분에 우리가 이런 파격적인 전략을 펼친 것입니다.

황: 하지만 이러한 특수한 시장 분할 사례를 제외하고 순수하게 하드웨어 아키텍처 관점에서만 바라보자면, 만약 제게 더 많은 막대한 투자 자금이 주어질 때마다 저는 엉뚱한 대안에 눈길을 돌리기보다는 우리의 기존 핵심 아키텍처를 극한으로 끌어올리는 데 모든 자본을 전폭적으로 집중할 것입니다.

파텔: 극도로 비싼 프리미엄 토큰 서비스의 등장과 추론 시장의 철저한 세분화 및 분할(Disaggregation)이라는 그 통찰력 있는 관점은 정말이지 너무나도 흥미롭습니다. 시장 분할의 가능성 그 자체를 완벽하게 인정하시는군요.

황: 세분화, 맞습니다.

파텔: 좋습니다. 마지막 질문입니다. 만약 인류 역사에 ‘딥러닝 혁명(deep learning revolution)’이라는 사건이 아예 일어나지 않았다고 가정해 봅시다. 그렇다면 지금 이 순간 엔비디아는 도대체 무엇을 하고 있었을까요? 게임 산업은 당연히 굳건히 지키고 있었겠지만, 가속 컴퓨팅(Accelerated Computing)이라는 거대한 관점에서 본다면 말입니다.

황: 오로지 가속 컴퓨팅이죠. 우리가 창사 이래 지금까지 단 하루도 쉬지 않고 묵묵히 해온 일 그대로입니다. 우리 회사의 존재를 관통하는 가장 근본적인 대전제는 ‘범용 컴퓨팅(General-purpose computing, CPU)의 성능 향상을 이끌던 무어의 법칙이 언젠가 물리적 한계에 부딪혀 모든 컴퓨팅에서 통하지 않게 될 것’이라는 점이었습니다.

황: 범용 컴퓨팅은 일상적인 다양한 작업에는 매우 유용하지만, 방대한 데이터를 다루는 특정 연산 작업에는 결코 이상적인 구조가 아닙니다. 그래서 우리는 CPU의 한계를 극복하기 위해 GPU라는 혁신적인 병렬 아키텍처와 CUDA 소프트웨어를 하나로 결합시켜 CPU의 무거운 작업 부하를 비약적으로 가속화했습니다.

황: 복잡한 코드의 커널이나 무거운 수학적 알고리즘을 GPU 측으로 안전하게 오프로드(Offload)해 주면, 결과적으로 애플리케이션의 최종 실행 속도를 단숨에 100배에서 200배까지 폭발적으로 끌어올릴 수 있습니다.

황: 이 압도적인 연산 능력을 과연 어디에 쓸까요? 당연히 인류의 진보를 이끄는 공학, 기초 과학, 복잡한 물리학 등 수많은 분야에서 필수적인 방대한 데이터 처리, 화려한 컴퓨터 그래픽스(Computer Graphics), 고해상도 이미지 생성 등에 핵심적으로 활용됩니다. 제 말은, 설령 오늘날 AI라는 놀라운 기적이 세상에 아예 존재하지 않았다 하더라도, 방대한 비디오 및 영상 처리 시장만으로도 엔비디아는 여전히 모든 산업을 아우르는 매우 거대한 기업으로 성장해 있었을 것이란 뜻입니다.

파텔: 네.

황: 그래서 저는 우리가 걸어온 이 길이 매우 근원적이고 본질적이라고 확신합니다. 클럭 속도만 무작정 높이는 범용 컴퓨팅이 성능을 지속적으로 확장할 수 있는 시대는 이미 오래전에 그 한계와 수명을 명백히 다했습니다.

황: 그 물리적 한계를 완전히 박살 내고 돌파하는 유일무이한 핵심적 접근 방식은 오직 ‘도메인 특화 가속(Domain-specific acceleration)’뿐입니다. 우리가 가장 먼저 개척을 시작했던 거대한 도메인이 우연히 컴퓨터 그래픽스였을 뿐입니다.

황: 하지만 세상에는 우주의 비밀을 푸는 과학적 입자 물리학, 정교한 유체 역학 시뮬레이션, 거대한 구조화 데이터 처리 등 CUDA의 막강한 병렬 연산 혜택을 직접적으로 누리는 수없이 많고 다양한 유형의 알고리즘과 도메인들이 무궁무진하게 존재합니다.

황: 따라서 우리 엔비디아의 진정한 사명은 ‘가속 컴퓨팅’이라는 혁신을 세상 구석구석에 널리 선보이고 전파하여, 기존 범용 컴퓨팅의 초라한 성능으로는 감히 엄두조차 내지 못하거나 확장성이 턱없이 부족한 불가능한 애플리케이션들을 실현 가능하게 만들고, 인류가 특정 과학 연구 분야의 거대한 장벽을 완전히 돌파할 수 있도록 돕는 압도적인 역량으로 확장해 나가는 것이었습니다.

황: 그래서 엔비디아 초창기 시절에 가장 먼저 선구적으로 도입된 강력한 애플리케이션들은 원자 단위의 분자 동역학(Molecular Dynamics) 시뮬레이션, 새로운 지하 에너지 자원을 탐사하기 위한 지진파 처리(Seismic Processing), 그리고 당연하게도 고도의 이미지 처리 기술이었습니다.

황: 이 모든 거대한 분야들은 오직 CPU만 사용하는 범용 컴퓨팅으로는 너무나도 비효율적이어서 도저히 해낼 수 없는 극한의 작업들이었습니다. 그래서, 네, 만약 세상에 AI라는 것이 등장하지 않았다면 개인적으로 매우 아쉽고 슬펐을 것입니다.

황: 하지만 우리가 컴퓨팅 기술의 역사에서 이룩한 그 거대한 진보 덕분에, 우리는 마침내 ‘딥러닝의 민주화(Democratized Deep Learning)’를 이뤄냈습니다.

황: 우리는 넉넉한 자본이 없는 전 세계 어느 곳의 연구자도, 과학자도, 심지어 평범한 대학생조차도 그저 데스크톱 PC 한 대나 지포스(GeForce) 그래픽 카드 단 한 장만 있으면 전 세계 네트워크에 접속하여 믿을 수 없이 놀랍고 위대한 과학 연구를 자유롭게 수행할 수 있도록 그 거대한 길을 활짝 열어주었습니다.

황: 우리의 압도적인 기술로 세상을 널리 이롭게 하겠다는 그 근본적인 철학과 약속은, 창립 이래 단 한 순간도, 아주 조금도 변하지 않았습니다.

황: 그래서 만약 여러분이 과거 엔비디아의 GTC(GPU Technology Conference) 초기 세션 영상들을 찬찬히 찾아보신다면, 행사 도입부 전체가 AI와는 전혀 무관한 것들로 꽉 채워져 있는 것을 발견하실 수 있을 것입니다.

황: 컴퓨테이셔널 리소그래피(Computational Lithography)를 활용한 반도체 미세공정 최적화나 복잡한 양자 화학(Quantum Chemistry) 시뮬레이션, 거대 데이터 처리 워크로드 등 매우 다양하고 심오한 주제들을 볼 수 있죠. 이 모든 놀라운 성과들은 사실 오늘날의 생성형 AI와는 직접적인 연관이 없지만 여전히 인류의 미래를 위해 끔찍하게 중요한 필수 분야들입니다.

황: 저는 물론 AI가 현재 세상을 지배하는 가장 강력한 화두이자 사람들을 무척이나 열광하게 만드는 마법 같은 기술이라는 사실을 너무도 잘 알고 있습니다.

황: 하지만 세상에는 굳이 화려한 AI가 아닐지라도, 인류를 위해 극도로 중요하고 가치 있는 기초 과학 작업을 묵묵히 수행하는 위대한 사람들이 아주 많습니다. 그리고 ‘텐서(Tensor) 연산’만이 이 세상의 모든 복잡한 문제들을 계산해 내는 유일무이한 정답인 것도 결코 아닙니다. 저희 엔비디아는 이 세상에서 위대한 도전을 묵묵히 이어가는 그 모든 사람들을 전력으로 돕고 싶습니다.

파텔: 젠슨(Jensen)[^53], 귀한 시간 내어 오늘 나와주셔서 진심으로 감사드립니다.

황: 천만에요. 저도 오늘 이 시간 정말 즐거웠습니다.

파텔: 저도 그렇습니다. 최고였습니다. 감사합니다.

---

💡 역자 주 (Explanatory Footnotes)

1. 범용 상품화 (Commoditize): 혁신적이었던 기술이나 소프트웨어가 대중화되면서 고유의 차별성과 부가가치를 잃고, 가격 경쟁 위주의 단순 소모품이나 일반 상품처럼 취급되어 전락하는 현상.

2. GDSII 파일: 반도체 팹리스(설계) 기업이 회로 설계를 마치고 파운드리(위탁 생산 업체)에 넘겨주는, 집적회로의 물리적 레이아웃 설계 도면을 표현하는 업계 표준 데이터 포맷.

3. TSMC (Taiwan Semiconductor Manufacturing Company): 대만에 본사를 둔 세계 최대 규모의 초미세 반도체 파운드리(위탁 생산) 기업으로, 엔비디아의 핵심 제조 파트너.

4. HBM (High Bandwidth Memory): 여러 개의 D램을 수직으로 층층이 쌓아 올려 칩 간 거리를 좁힘으로써, 기존 메모리보다 데이터 처리 속도와 대역폭을 혁신적으로 끌어올린 고성능 메모리. AI 칩에 필수적임.

5. ODM (Original Design Manufacturer): 주문자의 요구에 따라 제품의 설계와 개발부터 부품 조달, 조립, 최종 제조까지 전 과정을 대행해 주는 제조업자 개발생산 기업(예: 대만의 콴타, 폭스콘, 위스트론 등).

6. 케이던스 (Cadence): 반도체 칩을 정밀하게 설계하고 논리적 오류를 검증하는 데 필수적인 EDA(전자설계자동화) 소프트웨어 분야를 선도하는 글로벌 기업.

7. 시놉시스 (Synopsys): 케이던스와 함께 글로벌 EDA(전자설계자동화) 소프트웨어 시장을 과점하고 있는 반도체 설계 솔루션 전문 기업.

8. 세미애널리시스 (SemiAnalysis): 딜런 파텔(Dylan Patel)이 운영하며, 글로벌 반도체 공급망 및 AI 하드웨어 생태계의 기술 동향을 심층적으로 분석하여 업계에 큰 영향력을 미치는 저명한 리서치 기관 및 뉴스레터.

9. GTC (GPU Technology Conference): 엔비디아가 매년 주최하여 전 세계 수만 명의 개발자와 파트너를 초청해 최신 AI 기술과 차세대 반도체 로드맵을 발표하는 글로벌 최대 규모의 기술 컨퍼런스.

10. CoWoS (Chip-on-Wafer-on-Substrate): TSMC가 독자적으로 개발한 2.5D/3D 첨단 패키징 기술. 로직 칩(GPU)과 HBM 메모리를 하나의 실리콘 인터포저 기판 위에 초고밀도로 병렬 실장하여 데이터 통신 병목을 획기적으로 해소함.

11. 산제이 메로트라 (Sanjay Mehrotra): 샌디스크(SanDisk)의 공동 창립자이자, 현재 미국의 글로벌 메모리 반도체 선도 기업 마이크론 테크놀로지(Micron Technology)의 CEO.

12. 루멘텀 (Lumentum): 데이터센터 내부의 초고속 광통신 네트워크 연결에 필수적인 정밀 레이저 및 광학 부품을 설계·제조하는 글로벌 핵심 파트너 기업.

13. 코히어런트 (Coherent): 루멘텀과 마찬가지로 데이터센터 광통신 및 레이저 장비 분야에서 엔비디아 등과 협력하는 주요 광학 부품 제조사.

14. 실리콘 포토닉스 (Silicon Photonics): 구리 전선 대신 빛(광자)을 이용하여 반도체 칩과 칩, 서버와 서버 사이의 데이터를 빛의 속도로 전송함으로써 전력 소모를 획기적으로 줄이고 대역폭을 넓히는 차세대 네트워크 전송 기술.

15. 양면 프로빙 (Double-sided probing): 반도체 웨이퍼의 앞면과 뒷면을 동시에 검사하여 테스트 속도와 정확도를 높이는 첨단 반도체 검사 공정 기술.

16. ASML: 네덜란드의 반도체 장비 기업. 7나노미터 이하 초미세 반도체 회로를 그리는 데 필수적인 극자외선(EUV) 노광 장비를 전 세계 파운드리에 독점적으로 공급하는 절대적 위치의 기업.

17. TPU (Tensor Processing Unit): 구글이 자사의 머신러닝 시스템과 데이터센터 내 딥러닝 연산을 가속하기 위해 자체적으로 독자 설계한 맞춤형 AI 반도체 칩.

18. ASIC (Application-Specific Integrated Circuit): 범용으로 사용되는 CPU나 GPU와 달리, 특정 목적이나 애플리케이션(예: AI 추론, 암호화폐 채굴 등)만을 위해 맞춤형으로 설계된 주문형 반도체.

19. 시스톨릭 어레이 (Systolic array): 데이터가 프로세서 내부의 수많은 연산 유닛(PE) 배열을 파이프라인처럼 규칙적이고 연속적으로 통과하며 딥러닝의 핵심인 행렬 곱셈 연산을 초고속으로 처리하는 데 특화된 하드웨어 아키텍처.

20. SSM (State Space Model): 트랜스포머(Transformer) 모델의 연산량 한계를 극복하기 위해 제안된 최신 AI 아키텍처 중 하나(예: Mamba). 긴 문맥을 효율적으로 처리하는 데 장점이 있음.

21. 딜런 파텔 (Dylan Patel): 리서치 기관 ‘세미애널리시스(SemiAnalysis)’의 수석 분석가로, 업계 이면의 비용 및 성능 수치를 정확히 분석해 내는 것으로 유명함.

22. 혼합 전문가 (MoE, Mixture of Experts): 거대한 단일 신경망을 가동하는 대신, 여러 개의 특화된 작은 ‘전문가(Expert)’ 모델 네트워크를 두고 입력된 데이터의 성격에 따라 가장 적합한 전문가 모델만 선별적으로 활성화하여 연산 효율과 추론 성능을 극대화하는 최신 AI 아키텍처.

23. 스펙트럼-X (Spectrum-X): 엔비디아가 인피니밴드(InfiniBand)의 한계를 극복하고 범용성을 높이기 위해 독자적으로 구축한 AI 데이터센터 워크로드 전용 초고성능 이더넷(Ethernet) 네트워킹 플랫폼.

24. 크루소 (Crusoe / Crusoe Energy): 유전 등에서 태워버리는 잉여 천연가스(플레어 가스)를 활용하여 데이터센터에 전력을 공급하며, 환경 친화적이고 비용 효율적인 고성능 AI 전용 클라우드 컴퓨팅 인프라를 제공하는 혁신 기업.

25. Vera Rubin (베라 루빈): 블랙웰(Blackwell) 아키텍처의 뒤를 이을 엔비디아의 차세대 AI GPU 마이크로아키텍처의 코드명. 암흑 물질의 존재를 입증한 미국의 저명한 여성 천문학자 베라 루빈의 이름에서 유래함.

26. KV 캐싱 (KV Caching): 대규모 언어 모델(LLM)이 텍스트 토큰을 순차적으로 생성할 때, 이미 계산이 끝난 이전 토큰들의 어텐션(Attention) 레이어 결괏값인 키(Key)와 값(Value) 행렬을 메모리에 저장해 두고 재사용함으로써 중복 연산을 방지하고 추론 속도를 극적으로 높이는 핵심 최적화 기법.

27. vLLM: UC 버클리 연구진이 주도하여 개발한 오픈소스 기반의 고성능 LLM 추론 및 서비스 프레임워크로, 페이지드 어텐션(PagedAttention) 기술을 적용해 메모리 파편화를 줄이고 처리량을 극대화함.

28. 하이퍼스케일러 (Hyperscaler): 아마존 웹 서비스(AWS), 마이크로소프트 애저(Azure), 구글 클라우드(GCP) 등 방대한 데이터센터 인프라를 바탕으로 글로벌 규모의 클라우드 서비스를 구축하고 대여해 주는 거대 IT 기업들.

29. 트라이튼 (Triton): OpenAI가 개발한 오픈소스 프로그래밍 언어 및 컴파일러. 개발자가 하드웨어의 복잡한 물리적 구조를 완벽히 몰라도 딥러닝 연산 커널을 쉽고 최적화된 상태로 직접 작성할 수 있게 해줌.

30. NCCL (NVIDIA Collective Communications Library): 멀티 GPU 및 멀티 노드 환경에서 수많은 GPU 간의 데이터 통신을 병목 없이 최적화하여 거대 AI 모델의 훈련 속도를 비약적으로 높여주는 엔비디아 고유의 통신 라이브러리.

31. SGLang: 복잡한 대규모 언어 모델(LLM)과 시각 언어 모델(VLM)에서 프롬프트를 빠르게 실행하고, 시스템 제어를 간소화하여 추론 처리량과 속도를 대폭 최적화하기 위해 설계된 오픈소스 프레임워크.

32. VeRL: 대규모 언어 모델을 강화학습(RL)으로 미세조정하기 위해 사용되는 최신 오픈소스 프레임워크.

33. NeMo RL: 엔비디아가 자사의 딥러닝 프레임워크 NeMo를 기반으로 제공하는 강화학습 기반 언어 모델 미세조정(Fine-tuning) 플랫폼 라이브러리.

34. 인퍼런스 맥스 (Inference Max / InferenceX): 특정 모델의 하드웨어 추론 성능을 최적화하고 벤치마크하기 위한 도구 혹은 기술. 인터뷰에서는 경쟁사의 추론 성능 주장을 검증해 보라는 문맥에서 언급됨.

35. MLPerf: 전 세계 주요 기술 기업과 학계 연구 기관들이 공동으로 참여하여 AI 하드웨어 및 소프트웨어의 훈련(Training) 및 추론(Inference) 성능을 공정하고 투명하게 평가하기 위해 만든 업계 최고 권위의 표준 벤치마크 지표.

36. 총소유비용 (TCO, Total Cost of Ownership): 장비의 단순 구매 비용뿐만 아니라, 시스템을 운용하고 폐기할 때까지 발생하는 전력 소비, 냉각, 상면 공간 임대료, 인건비, 소프트웨어 유지보수 등 모든 비용을 합산한 가장 중요한 실질적 경제 지표.

37. 앤트로픽 (Anthropic): OpenAI 출신 핵심 연구원들이 AI 안전성(Safety)을 강조하며 독립하여 설립한 미국의 최상위 AI 파운데이션 모델 개발사로, 강력한 ‘클로드(Claude)’ 모델 시리즈를 개발함.

38. 트레이니엄 (Trainium): 아마존 웹 서비스(AWS)가 자사 클라우드 고객들의 거대 딥러닝 모델 학습 비용을 절감하고 성능을 독립적으로 가속하기 위해 자체 설계하고 개발한 맞춤형 AI 반도체 칩.

39. 자본 지출 (CapEx, Capital Expenditure): 데이터센터를 새로 구축하거나 고가의 서버 및 대규모 GPU 클러스터를 통째로 구매하는 등 기업이 미래의 이윤 창출을 위해 지출하는 막대한 초기 인프라 투자 비용.

40. 운영 지출 (OpEx, Operational Expenditure): 클라우드 인프라 대여료, 막대한 전력비 및 냉각비, 소프트웨어 구독료, 인건비 등 기업이 시스템을 일상적으로 유지하고 지속 운영하는 데 달마다 소모되는 비용.

41. 코어위브 (CoreWeave): 엔비디아의 전폭적인 투자와 지원을 받으며 대규모 최신 GPU 클러스터 컴퓨팅 자원을 전문적으로 구축하고 대여해 주는 AI 특화 신흥 클라우드 서비스 제공 업체(Neo cloud).

42. 전산 리소그래피 (Computational Lithography): 반도체 노광 공정 시, 나노 단위에서 불가피하게 발생하는 빛의 회절과 왜곡 현상을 엄청난 양의 수학적 시뮬레이션 연산을 통해 사전에 완벽히 예측하고 마스크 패턴을 보정하여 반도체 수율을 극대화하는 고도화된 기술.

43. 파인만 (Feynman): 엔비디아가 베라 루빈(Vera Rubin) 아키텍처의 다음 세대인 2028년경에 출시할 것으로 알려진 차세대 미래 GPU 아키텍처의 코드명. 양자 전기역학 발전에 기여한 노벨 물리학상 수상자 리처드 파인만의 이름에서 유래함.

44. Claude Mythos: 인류의 통제를 벗어날 수 있는 치명적인 사이버 공격 잠재력과 프론티어급 지능을 동시에 지닌 앤트로픽(Anthropic)의 차세대 초거대 AI 모델 명칭.

45. 딥시크 (DeepSeek): 중국의 선도적인 오픈소스 AI 연구소 및 기업으로, 최근 적은 컴퓨팅 자원과 파라미터 수로도 압도적인 연산 효율과 성능을 증명해 낸 언어 모델을 발표하여 전 세계를 놀라게 함.

46. 제인 스트리트 (Jane Street): 고도화된 수학적 알고리즘과 컴퓨터 과학적 모델링, 초고속 통신망을 활용한 정량적 분석(Quantitative Analysis)을 기반으로 글로벌 금융 시장에서 막대한 차익을 거두는 세계 최고의 퀀트 트레이딩 및 투자 금융 기업.

47. 지식 증류 (Knowledge Distillation): 거대하고 복잡한 AI 모델(Teacher)이 학습한 방대한 지식을 작고 가벼운 모델(Student)로 압축 및 전달하여, 원래의 성능 저하를 최소화하면서도 제한된 환경에서의 추론 효율성을 극대화하는 핵심 모델 최적화 기법.

48. 세레브라스 (Cerebras Systems): 실리콘 웨이퍼를 수백 개의 개별 칩으로 자르지 않고, 웨이퍼 통째를 하나의 거대한 초대형 AI 칩(Wafer-Scale Engine)으로 만들어 통신 병목을 없애는 독창적인 기술을 보유한 미국의 반도체 스타트업.

49. 도조 (Dojo): 테슬라(Tesla)가 완전 자율주행(FSD) 비전 신경망 모델 훈련에 필요한 방대한 비디오 데이터를 초고속으로 처리하기 위해 자체 설계 칩을 바탕으로 직접 구축한 초대형 슈퍼컴퓨터 아키텍처.

50. 그로크 (Groq): 구글의 TPU 설계를 주도했던 핵심 인력들이 창업하여, 언어 모델 생성 과정에서 발생하는 지연 시간(Latency)을 극한으로 줄이고 실시간성을 극대화하기 위해 LPU(Language Processing Unit)라는 새로운 아키텍처를 설계한 AI 반도체 스타트업.

51. 파레토 프론티어 (Pareto frontier): 경제학 및 공학 용어로, 어느 한 지표(예: 데이터 처리량)를 희생하지 않고서는 다른 지표(예: 응답 속도)를 향상시킬 수 없는 최적의 한계 평형 상태. 젠슨 황이 이 한계선을 ‘확장(expand)’했다고 표현한 것은 기존의 트레이드오프 한계를 넘어섰다는 의미임.

52. 평균 판매 단가 (ASP, Average Selling Price): 제공된 제품이나 서비스(여기서는 응답 속도가 보장된 초저지연 프리미엄 AI 토큰 단위)에 대해 고객에게 청구하여 받을 수 있는 시장의 평균적인 가격 지표.

53. 젠슨 (Jensen): 엔비디아의 창립자이자 CEO인 젠슨 황(Jensen Huang).