AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 프로젝트 디엑스트림(DeXtreme)을 공개했다. 디엑스트림은 시뮬레이션 교육을 통해 로봇에 복잡한 조작 기술을 훈련시킨다.

인간의 손은 수백만 년에 걸친 진화의 끝에 얻어낸 변화 중 가장 놀라운 결과이다. 모든 종류의 물체를 도구로 사용할 수 있는 능력은 현 인류 세계의 형성을 이끈 중요한 차별화 요소이다.

로봇이 인간의 일상에서 작동할 수 있으려면 우리의 도구 및 주변 환경과 능숙하게 상호작용할 수 있어야 한다. 그렇지 않으면 로봇들은 계속해서 공장, 창고와 같은 일부 전문적인 영역에서만 쓰일 수밖에 없다.

다리가 있는 로봇에게는 걷는 방법을 가르치는 것이 가능하다. 반면, 손이 있는 로봇은 일반적으로 훨씬 통제가 까다롭다는 점은 널리 알려진 사실이다. 특히나 손가락을 가진 손에는 많은 관절이 있으며, 주어진 임무의 수행을 위해 특정하게 조정된 방식으로 움직여야 한다. 전통적인 로봇 제어 방법은 사전에 정확하게 프로그래밍 된 통제 및 동작의 형식을 갖는데, 이는 인간에게는 당연하게 여겨지는 일반화된 미세 운동 제어가 불가능하다.

로봇 관절의 제어를 위해 신경망을 훈련시키는 심층 강화 학습(RL) 기술의 적용은 이러한 문제에 대한 접근법 중 하나가 될 수 있다. 로봇은 심층 RL을 통해 시행착오 속에서 학습이 이루어지며, 할당된 작업을 성공적으로 완료할 경우 이에 대한 보상을 받는다. 하지만 불행히도 이 기술은 수백만 또는 심지어 수십억 개의 샘플을 학습해야만 가능하기에 실제 로봇에 직접 적용하는 것은 거의 불가능하다.

시뮬레이션을 사용하는 주요 이유 중 하나는 실제 세계에서 직접 로봇을 훈련할 때 다양한 문제들을 마주하게 되기 때문이다. 예를 들어, 로봇 하드웨어는 과도하게 사용할 경우 쉽게 파손되거나 실험의 반복 주기와 소요 시간이 느려진다.

실험을 하는 동안 느슨해진 나사를 조이고 리본 케이블을 교체하거나 10-15회의 테스트 후 휴식 시간을 가져 열을 식히는 등, 장시간의 사용 후에 로봇의 손을 수리하는 모습을 종종 볼 수 있었다. 시뮬레이션을 사용하면 마모되지 않는 로봇을 훈련하여 이와 같은 문제들을 피할 수 있으며, 어려운 작업을 학습하는데 필요한 다양한 데이터를 얻을 수 있다. 동시에 시뮬레이션이 실시간보다 훨씬 빠르게 실행되어 반복 주기에서 큰 개선을 얻을 수 있다.

시뮬레이션에서 훈련할 때 가장 중요한 것은 시뮬레이션과 실제 세계 사이의 격차를 해소하는 것이다. 이를 위해 디엑스트림은 시뮬레이터에 설정된 물체 속성의 도메인 랜덤화를 사용하여 10만 개 이상의 시뮬레이션 환경에 걸친 객체의 질량과 마찰 수준, 그 외의 기타 속성들을 한 번에 변경한다.

도메인 랜덤화의 흥미로운 결과 중 하나는, 모든 종류의 특이한 시나리오 조합으로 AI를 훈련할 경우 실제 세계에서 보다 강력하게 작업을 수행할 수 있다는 것이다. 예를 들어, 대부분의 실험은 회로 보드의 느슨한 연결로 인해 엄지 손가락에 오작동이 발생한 로봇으로 진행되었다. 그럼에도 불구하고 방침들이 시뮬레이션에서 현실 세계로 안정적으로 이전되는 등 긍정적인 결과를 확인할 수 있었다.