엔비디아가 설계한 로컬 AI의 미래

인공지능(AI) 열풍의 주역 엔비디아(NVIDIA)가 일반적인 그래픽 카드의 개념을 넘어선 소형 슈퍼컴퓨터를 선보였다.

IT 유튜버 '잇섭(ITSub)'은 최근 자신의 채널을 통해 엔비디아의 최신 워크스테이션 'DGX 스파크(DGX Spark)'의 언박싱 및 성능 테스트 영상을 공개하며 AI 개발 생태계의 변화를 예고했다.

거대 데이터 센터를 내 책상 위로...

작지만 강력한 스펙 'DGX 스파크'는 엔비디아가 작정하고 만든 초소형 슈퍼컴퓨터로, 국내 예약 판매가는 약 750만 원에 달한다. 맥미니와 비슷한 슬림한 사이즈임에도 불구하고 '엔비디아 GB 그레이스 블랙 슈퍼칩'을 탑재했으며, 128GB의 대용량 통합 메모리를 갖춰 대규모 언어 모델(LLM) 연산에 특화되어 있다.

잇섭은 이를 "거대 데이터 센터를 압축해서 책상 위로 가져온 것"이라 설명했다.

5090 이긴 128GB 메모리의 힘...

대규모 AI 모델에서 빛났다 성능 테스트 결과는 흥미로웠다. 일반적인 소규모 모델(20B)에서는 소비자용 최강 그래픽카드인 RTX 5090 시스템이 더 빨랐으나, 대규모 모델인 120B 파라미터 테스트에서는 결과가 역전됐다.

RTX 5090은 부족한 비디오 메모리(VRAM) 탓에 속도가 저하된 반면, 'DGX 스파크'는 128GB의 넉넉한 메모리를 바탕으로 5090보다 약 3배 이상 빠른 답변 속도를 보여주었다.

보안과 비용 두 마리 토끼...

개인 및 영세 기업의 AI 희망 이 장비의 가장 큰 장점은 '로컬 연산'이다. 클라우드 서버를 빌리지 않고 기기 내부에서 직접 AI를 돌리기 때문에 데이터 유출 걱정 없이 보안을 유지할 수 있으며, 반복적인 클라우드 이용료를 절감할 수 있다.

잇섭은 영상에서 인터넷 연결 없이도 AI를 이용한 이미지 생성, 자막 자동 제작, 목소리 합성 등을 직접 시연해 보이며 그 범용성을 증명했다.

일반인용은 아니지만... AI 시대의 필수 도구

잇섭은 "DGX 스파크는 일반적인 게임이나 영상 편집용 PC가 아닌, AI 모델을 개발하고 실험하는 개발자나 팀 단위 기업을 위한 장비"라고 선을 그었다. 다만 클라우드 비용과 개발 시간을 고려할 때 충분한 가치를 지닌 '미니 슈퍼컴퓨터'라고 평했다.

엔비디아가 개인용 AI 시장을 겨냥해 내놓은 이번 제품은 대기업의 전유물이었던 AI 개발 인프라를 개인의 영역으로 확장시켰다는 점에서 큰 의미를 지닌다. 해당 제품의 자세한 사용기와 AI 학습(파인 튜닝) 도전기는 'ITSub잇섭' 채널에서 확인할 수 있다.