엔비디아는 엔비디아(NVIDIA) 창립자 겸 CEO인 젠슨 황(Jensen Huang)이 지난 12일 수요일 데이터브릭스 데이터 + AI 서밋 2024(Databricks Data + AI Summit 2024)에서 데이터브릭스 공동 창립자 겸 CEO인 알리 고드시(Ali Ghodsi)와 대담을 진행했다고 14일 밝혔다.
젠슨 황은 이날 "가속 컴퓨팅이 기업의 데이터 처리와 분석을 혁신하고 있다"고 강조하면서 "모든 기업의 비즈니스 데이터는 금광"이라고 말했다. 그러면서 "모든 기업이 엄청난 양의 데이터를 보유하고 있지만 데이터에서 인사이트를 추출하고 인텔리전스를 도출하는 것은 어려운 일"이라고 설명했다.
젠슨 황과 알리 고드시는 모든 인텔리전스를 활용하기 위해 엔비디아 가속 컴퓨팅과 데이터브릭스 포톤(Photon)의 통합을 발표했다. 포톤은 데이터브릭스의 빠른 데이터 처리를 위한 엔진으로, 최고 수준의 성능과 비용 효율성으로 데이터브릭스의 SQL을 구동하도록 설계됐다.
젠슨 황은 "이것은 중대한 발표"라고 말하며 가속 컴퓨팅과 생성형 AI는 오늘날 가장 중요한 두 가지 기술 트렌드라고 덧붙였다. 또한 "엔비디아와 데이터브릭스는 파트너십을 통해 양사의 기술을 결합해 모두에게 제공할 것"이라고 말했다.
젠슨 황은 엔비디아가 포톤 가속화를 가능하게 하는 일련의 라이브러리를 구축하는 데 5년이 걸렸다고 설명했다. 포톤 가속화는 사용자가 데이터를 더 신속하고 비용 효율적으로 처리하며 훨씬 적은 에너지를 소비하도록 지원한다.
알리 고드시는 "엔비디아와 협력해 포톤 엔진의 GPU 가속화를 통한 핵심 데이터 처리를 개선하고 이를 엔비디아 GPU에서도 실행할 수 있게 돼 매우 기쁘게 생각한다"고 말했다.
양사는 데이터브릭스의 오픈 소스 모델 DBRX가 이제 엔비디아 API 카탈로그에서 제공되는 엔비디아 NIM 마이크로서비스로 사용 가능하다고 발표했다.
엔비디아 NIM 추론 마이크로서비스는 어디서나 배포할 수 있도록 완전히 최적화되고 사전 구축된 컨테이너로 모델을 제공한다.
젠슨 황은 "이러한 엔드포인트를 만드는 것은 복잡하다. 우리는 모든 것을 마이크로서비스로 최적화해 모든 클라우드와 온프레미스(on-premises)에서 실행한다"고 말했다.
마이크로서비스는 애플리케이션에 생성형 AI 모델을 추가하는 간단하고 표준화된 방법을 제공함으로써 엔터프라이즈 개발자의 생산성을 획기적으로 높여준다.
지난 3월에 출시된 DBRX는 전적으로 데이터브릭스 기반으로 구축됐으며, 데이터브릭스 고객과 파트너가 사용할 수 있는 모든 도구와 기술을 활용한다. 이는 개발자들을 위한 확장 가능한 엔드투엔드 AI 플랫폼인 엔비디아 DGX 클라우드(DGX Cloud)로 훈련을 진행했다.
기업들은 엔터프라이즈 데이터로 DBRX를 맞춤 설정해 고품질의 기업별 모델을 만들 수 있다. 또는 참조 아키텍처로 전문 모델들을 혼합한 맞춤형 DBRX 스타일을 구축할 수도 있다.
젠슨 황은 데이터 처리 가속화는 엄청난 기회라며 모든 사람이 가속 컴퓨팅과 생성형 AI를 활용하길 바란다고 말했다.
젠슨 황은 "무엇을 하든 일단 시작하라. 우리는 놀라운 속도로 달리는 이 열차에 탑승해야 한다. 생성형 AI는 기하급수적으로 성장하고 있다는 사실을 기억해야 한다. 몇 년 안에 뒤쳐지고 싶지 않다면, 이 추세를 그냥 기다리며 관찰만 해서는 안될 것"이라고 말했다. [파이낸셜신문=임권택 기자 ]
