AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 엔비디아(NVIDIA) 창립자 겸 CEO인 젠슨 황(Jensen Huang)이 GTC 2023에서 오픈AI(OpenAI) 공동 설립자인 일리야 수츠케버(Ilya Sutskever)와 함께 현대 AI가 어떻게 시작됐고, 현재 위치는 어디인지, 앞으로 나아가야 할 방향은 무엇인지에 대해 노변 담화를 진행했다.

이 대담은 수츠케버가 공동 설립한 연구 회사인 오픈AI에서 지금까지 가장 강력한 AI 모델인 GPT-4를 출시한 다음 날 녹화됐다.

그들은 GPT-4와 챗GPT(ChatGPT)를 포함한 그 이전 버전에 대해 자세히 이야기했다. 이 생성형 AI 모델은 출시된 지 몇 달 밖에 되지 않았지만 이미 역사상 가장 인기 있는 컴퓨터 애플리케이션이 됐다.

두 사람은 수억 명의 사용자의 상상력을 사로잡고 있는 심층 신경망의 기능, 한계, 내부 작동 방식에 대해 이야기를 나눴다.

수츠케버는 "챗GPT와 비교했을 때 GPT-4는 여러 측면에서 상당한 개선이 이루어졌으며 새 모델은 텍스트뿐만 아니라 이미지도 읽을 수 있다"고 언급했다.

그는 "향후 버전에서는 [사용자]가 응답으로 다이어그램을 돌려받을 수도 있을 것"이라며 질문에 답변했다.

Q.GPT은 무엇인가?

젠슨 황은 "챗GPT가 하나의 큰 언어 모델이라는 오해가 있지만, 그 안에는 여러 시스템이 존재한다"라고 말했다.

이러한 복잡성을 반영하듯 수츠케버는 오픈AI가 두 단계의 학습을 사용한다고 말했다.

첫 번째 단계는 일련의 다음 단어를 정확하게 예측하는 데 중점을 둔다. 수츠케버는 "신경망이 학습하는 것은 텍스트를 생성한 과정의 일부이며, 이는 세상을 투영한 것"이라고 말했다.

더불어 그는 "두 번째는 가드레일을 포함해 우리가 원하는 것을 신경망에 전달하여 더 신뢰할 수 있고 정확해지도록 하는 것"이라고 덧붙였다.

Q.병렬 처리가 지닌 힘

이러한 혁신 중 일부는 GPU를 통해 모델에 적용한 병렬 처리에서 비롯됐다.

수츠케버는 "GPU에 매우 적합한 이미지넷 데이터 세트와 컨볼루션 신경망 덕분에 전례 없는 속도로 기존에 없던 새로운 것을 훈련시킬 수 있었다”고 말한다.

초기 작업은 토론토 대학교 실험실에서 몇 대의 지포스 GTX 5080 GPU로 실행됐다. 오늘날에는 마이크로소프트 애저(Microsoft Azure) 클라우드 서비스에서 수만 대의 최신 엔비디아 A100 및 H100 텐서 코어(Tensor Core) GPU가 챗GPT(ChatGPT)와 같은 모델에 대한 학습 및 추론을 처리한다.

젠슨 황은 "우리가 서로를 알고 지낸 세월이 10년이다. 그동안 훈련한 모델은 약 백만 배의 성장을 이뤘다. 컴퓨터 과학 업계의 어느 누구도 그 기간 동안 수행된 계산이 백만 배나 더 커질 것이라고는 믿지 않았을 것이다"라고 말했다.

수츠케버는 "나는 보다 큰 것이 더 좋은 성능을 지닐 것이라는 강한 믿음을 가지고 있었고, 오픈AI(OpenAI)의 목표 역시 확장이었다"라고 말했다.

Q.AI의 미래

두 사람은 AI의 전망에 대해 논의하며 한 시간 가까이 진행된 대담을 마무리했다.

GPT-4에 추론 능력이 있느냐는 질문에 수츠케버는 이 용어는 정의하기 어려우며, 아직은 개발 단계일 수 있다고 답했다.

그는 "우리는 계속해서 우리를 놀라게 할 수 있는 시스템을 보게 될 것이다. 최우선 순위는 신뢰성이며, AI가 무엇을 할 수 있는지에 대해 사람들이 믿음을 가지고, AI가 무언가를 모를 때 모른다고 말할 수 있는 지점에 도달해야 한다”고 덧붙였다.

황은 세션을 마무리하며 "오픈AI는 정말 놀라운 성과를 이뤘다. 박사 학위 수준을 넘어선, 대규모 언어 모델의 최첨단 기술에 대한 최고의 설명 중 하나"라고 말했다.