엔비디아가 2006년 공개한 GPU 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델. 전 세계 AI·과학 연산 코드 대부분이 이 위에서 돌아가며, 개발자 락인(전환 비용)을 통해 엔비디아의 가장 강력한 소프트웨어 해자로 작동한다.
한 줄 정의 CUDA(Compute Unified Device Architecture): 엔비디아가 2006년 내놓은, GPU를 그래픽이 아닌 일반 연산(General-Purpose computing)에 쓰게 해주는 소프트웨어 플랫폼이자 프로그래밍 모델. 쉽게 말해 "엔비디아 GPU에 일을 시키는 공용어"다.
통념 교정 CUDA를 그냥 "엔비디아가 만든 드라이버" 정도로 가볍게 보는 시각이 있다. 그러나 투자 맥락에서 CUDA는 단일 소프트웨어가 아니라 컴파일러·라이브러리·프레임워크·20년치 개발자 코드·교육 커리큘럼이 겹겹이 쌓인 생태계 전체를 가리킨다. 엔비디아 주가를 떠받치는 진짜 자산이 칩(하드웨어)이라고 생각하기 쉽지만, 경쟁사가 따라잡기 가장 어려워하는 건 이 소프트웨어 층이다.
CUDA는 GPU를 게임 그래픽 처리기에서 범용 슈퍼컴퓨터로 바꿔놓은 소프트웨어 플랫폼이다. 2006년 엔비디아가 공개했고, 핵심 아이디어는 단순하다. "GPU 안에 박힌 수천 개의 작은 연산 코어를 개발자가 C 언어처럼 친숙한 문법으로 직접 부려먹게 해주자"는 것.[1] 이 한 수가 회사의 운명을 바꿨다. 그래픽카드 회사였던 엔비디아가 인공지능(AI) 시대의 인프라 독점 기업으로 올라선 출발점이 바로 CUDA였다.
투자자에게 CUDA가 중요한 이유는 직관적이지 않다. CUDA 자체는 무료로 배포된다. 돈을 받지 않는 소프트웨어가 어떻게 엔비디아의 가장 비싼 자산일까. 답은 '락인(lock-in)'이다. 전 세계 AI 연구자·엔지니어가 CUDA 위에서 코드를 짜고, 그 코드는 엔비디아 GPU에서만 제대로 돈다. 경쟁사가 더 싸고 빠른 칩을 만들어도, 개발자가 짜둔 수십만 줄의 CUDA 코드를 통째로 옮길 수 없어 갈아타지 못한다. 무료 소프트웨어가 비싼 하드웨어를 계속 팔아주는 구조다.
| 시가총액 | — | PER | — |
| 배당수익률 | — | 섹터 | — |
| 시가총액 | — | PER | — |
| 배당수익률 | — | 섹터 | — |
CPU와 GPU는 일하는 방식이 다르다. CPU는 똑똑한 직원 몇 명이 복잡한 일을 순서대로 처리하는 구조이고, GPU는 단순 작업을 하는 일꾼 수천 명이 동시에 같은 일을 처리하는 구조다.[2] AI 모델 학습은 거대한 행렬 곱셈을 수도 없이 반복하는 일이라, 이 '수천 명이 동시에' 구조가 압도적으로 유리하다.
문제는 이 수천 개의 코어에 어떻게 일을 나눠줄 것이냐다. CUDA가 없던 시절엔 GPU에 연산을 시키려면 그래픽 명령어(셰이더)로 우회해서 짜야 했다. 데이터를 억지로 '이미지인 척' 위장해서 넣는 식이었다. CUDA는 이 장벽을 없앴다. 개발자가 익숙한 C/C++ 문법에 약간의 확장만 더하면 GPU 코어에 직접 명령을 내릴 수 있게 한 것이다.
비유하면 이렇다. GPU라는 거대한 공장에 일꾼은 많은데, 예전엔 그 일꾼들과 대화할 공용어가 없었다. CUDA는 그 공장의 표준 언어가 됐고, 한번 표준이 정해지자 모두가 그 언어로만 말하게 됐다. 이게 해자의 본질이다.
CUDA를 단일 제품으로 보면 본질을 놓친다. 실제로는 여러 층이 쌓인 소프트웨어 스택이다. 아래 단계가 위로 갈수록 추상화되며, 위층 사람일수록 자신이 CUDA를 쓰고 있다는 사실조차 모른다.
| 계층 | 역할 | 대표 구성 | 락인 강도 |
|---|---|---|---|
| 하드웨어 | 연산 엔진 | GPU (H100·Blackwell 등) | 칩 자체는 모방 가능 |
| 드라이버·런타임 | GPU 제어 기반 | CUDA Toolkit, 컴파일러(nvcc) | 높음 |
| 가속 라이브러리 | 수학·AI 연산 최적화 | cuDNN, cuBLAS, TensorRT | 매우 높음 |
| 프레임워크 | AI 개발 도구 | PyTorch, TensorFlow의 CUDA 백엔드 | 사실상 표준 |
| 개발자·코드 | 축적된 자산 | 20년치 논문·오픈소스·사내 코드 | 이전 거의 불가능 |
여기서 핵심은 맨 아래 칩이 아니라 중간의 라이브러리 층(cuDNN·cuBLAS)이다.[3] AMD나 구글이 비슷한 성능의 칩을 만들어도, 엔비디아가 십수 년간 다듬어온 이 최적화 라이브러리의 완성도와 안정성을 단기간에 따라잡기 어렵다. 그리고 맨 위층 개발자들은 PyTorch 같은 프레임워크만 보고 일하기 때문에, 그 밑에서 CUDA가 돌아간다는 걸 의식하지도 않은 채 엔비디아에 묶여버린다.
불스토리 관점: 엔비디아의 진짜 해자를 두고 흔히 "칩 성능이 압도적이라서"라고 말하지만, 이건 절반만 맞다. 칩 성능 격차는 경쟁사가 세대를 거듭하며 좁힐 수 있다. 좁히기 어려운 건 "전 세계 개발자가 이미 CUDA로 코드를 다 짜놨다"는 사실 그 자체다. 하드웨어는 추격할 수 있어도, 남이 쌓아둔 20년치 코드 자산은 추격 대상이 아니다. 이게 소프트웨어 해자가 하드웨어 해자보다 무서운 이유다.
딥러닝 연산을 GPU에서 빠르게 돌리도록 엔비디아가 최적화해 제공하는 라이브러리. 합성곱·풀링 같은 신경망 핵심 연산이 미리 튜닝돼 있다. PyTorch·TensorFlow 같은 주류 프레임워크가 내부적으로 이걸 호출하기 때문에, 사실상 모든 AI 개발이 cuDNN을 거친다고 봐도 된다.
학습이 끝난 AI 모델을 실제 서비스(추론)에서 더 빠르고 효율적으로 돌리기 위한 최적화 엔진. AI가 학습 단계에서 추론(서비스) 단계로 무게중심이 옮겨갈수록 중요도가 커지는 구성요소다. 데이터센터 운영비를 좌우하는 지점이기도 하다.
CUDA로 프로그램을 짜고 컴파일하기 위한 개발 도구 모음. nvcc는 CUDA 코드를 GPU가 알아듣는 기계어로 번역하는 컴파일러다. 이 도구들이 무료로 풀려 있다는 점이 생태계 확산의 결정적 요인이었다.
경쟁 진영이 CUDA 종속을 깨려고 만든 대항마들. AMD의 ROCm, 인텔의 oneAPI, 업계 표준 OpenCL이 대표적이다. 성능 자체는 따라붙는 경우도 있지만, 생태계 완성도와 안정성·문서·커뮤니티 규모에서 격차가 있다는 평가가 많다. CUDA 코드를 자동 변환해주는 도구(HIP 등)도 나왔지만 완전한 대체는 아직이라는 게 중론이다.
CUDA가 나온 2006년만 해도 GPU로 일반 연산을 한다는 건 학계의 변두리 실험이었다. 엔비디아는 거의 10년간 시장이 작을 때부터 대학·연구소에 CUDA를 무료로 뿌리고 교육 과정을 지원했다. 당장 돈이 안 되는 투자였다. 그러나 이 기간에 한 세대의 연구자들이 CUDA로 훈련받았고, 그들이 곧 AI 붐의 주역이 됐다.
판이 뒤집힌 순간이 있다. 2012년 이미지 인식 경진대회에서 GPU로 학습한 신경망 'AlexNet'이 압도적 성적으로 우승하면서, AI 연구가 GPU 기반으로 급선회했다.[4] 그리고 그 GPU를 부리는 표준 도구가 이미 CUDA였다. 운이 좋았던 게 아니라, 10년간 깔아둔 멍석 위에서 잔치가 벌어진 것이다.
2022년 챗GPT 등장 이후 생성형 AI 투자가 폭발하면서, AI 인프라의 사실상 모든 학습이 엔비디아 GPU + CUDA 조합 위에서 이뤄지는 구조가 굳어졌다. 구글·마이크로소프트·아마존·메타 같은 빅테크가 데이터센터에 천문학적 클라우드 인프라 투자를 쏟아부었고, 그 수요가 엔비디아의 실적으로 직결됐다. CUDA는 이 거대한 흐름의 길목을 쥔 통행료 징수소 같은 위치에 섰다.
CUDA 자체는 상장 자산이 아니므로, CUDA 생태계의 수혜·경쟁 구도를 종목으로 환원해 본다.
CUDA의 주인 (수혜 핵심)
CUDA에 도전하는 진영
ETF로 접근하기 CUDA 생태계 자체를 직접 담는 ETF는 없지만, 엔비디아 비중이 큰 반도체·AI 테마 ETF가 사실상 CUDA 생태계에 대한 간접 투자가 된다. SOXX·SMH(반도체), 일부 AI 테마 ETF가 대표적이며, 엔비디아 비중이 높을수록 CUDA 흥망에 더 민감해진다.[5] 개별 종목 변동성이 부담스러운 투자자가 분산 차원에서 고려할 수 있는 경로다.
반독점·종속 논란 CUDA의 강력한 락인은 곧 규제 표적이 될 수 있다는 지적이 있다. 특정 소프트웨어가 시장을 사실상 독점하는 구조에 대해 경쟁 당국이 관심을 보일 수 있다는 우려가 제기돼왔다.[6] 실제 규제 조치 여부와 강도는 불확실하지만, 해자가 강할수록 규제 리스크도 커진다는 양면성을 안고 있다.
탈(脫)CUDA 움직임 빅테크 입장에서 엔비디아 한 곳에 인프라를 통째로 의존하는 건 협상력·비용 측면에서 부담이다. 그래서 구글 TPU, 자체 추론 칩, AMD ROCm 채택 등 의존도를 낮추려는 시도가 이어지고 있다. 단기간에 CUDA를 대체하긴 어렵다는 게 중론이지만, 추론(서비스) 영역에서는 CUDA 외 선택지가 늘어나는 흐름이 관찰된다.
프레임워크 추상화의 양날 PyTorch 같은 상위 프레임워크가 하드웨어를 추상화하면서, 이론상 개발자가 CUDA를 의식하지 않고 다른 하드웨어로 갈아탈 길도 열린다. 추상화가 락인을 강화하는 동시에, 충분히 발전하면 락인을 약화시킬 수도 있는 구조다. 이 줄다리기의 방향이 장기 해자의 향방을 가른다.
AI 투자 사이클 의존 CUDA의 가치는 결국 AI 인프라 투자 규모에 연동된다. 빅테크의 설비투자(CAPEX)가 꺾이면 CUDA 생태계의 성장 동력도 함께 둔화될 수 있다. CUDA가 아무리 견고해도, AI 수요라는 토대 자체가 흔들리는 위험에서 자유롭지 않다.
공식 데이터 출처
관련 문서 엔비디아 · GPU · 인공지능(AI) · 생성형 AI · 데이터센터 · AMD · 반도체 · 젠슨 황
본 문서는 정보 제공용이며 투자 권유가 아닙니다. 모든 투자 결정과 그에 따른 손익은 투자자 본인에게 귀속됩니다.
