엔비디아, 최신 MLperf AI 추론 벤치마크서 또 최고기록 경신

최신뉴스 신작뉴스 인기뉴스

최신뉴스

엔비디아, 최신 MLperf AI 추론 벤치마크서 또 최고기록 경신
등록일: 2020.10.22
조회수: 1580

- CPU 대비 237배 뛰어난 AI 추론 성능 제공하는 A100 GPU 통해 MLPerf 벤치마크서 선도적인 입지 재확인
- 기업들이 AI를 연구단계에서 생산단계로 전환하는데 기여할 것으로 기대

AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr)가 자사의 인공지능(AI) 컴퓨팅 플랫폼이 최신 MLPerf 벤치마크 테스트에서 다시한번 성능 기록을 경신했다고 밝혔다. 이로써, 엔비디아는 하드웨어, 소프트웨어 및 서비스의 AI 성능을 측정하는 업계 유일의 독립 벤치마크에서 선도적인 입지를 굳히게 됐다.

엔비디아는 두 번째 MLPerf 추론 벤치마크에서 데이터센터 및 엣지(edge) 컴퓨팅 시스템에 대한 6개 애플리케이션 영역 모두에 걸쳐 최고 성능을 달성했다. 해당 테스트는 컴퓨터 비전에 대한 기존 두 가지 영역 외에도, AI 분야에서 가장 빠르게 성장하는 추천 시스템, 자연어 이해, 음성인식, 의료 이미징을 다루는 네 가지 영역을 포함한다.

다양한 산업 분야의 조직들은 이미 엔비디아 A100 텐서코어(Tensor Core) GPU의 탁월한 추론 성능을 활용해 AI를 연구활동에 적극 적용하고 있다. 금융 기관은 대화형 AI를 사용해 고객 문의에 신속히 응대하고 있으며, 소매 업체는 AI를 통해 재고를 관리하고 있다. 또한, 의료 서비스 제공업체는 AI를 활용해 수백만 개의 의료 이미지를 분석하여 질병을 보다 정확하게 식별해내고 생명을 구하고 있다.

이안 벅(Ian Buck) 엔비디아 가속 컴퓨팅 담당 부사장 겸 총괄은 “모든 업계가 AI를 통해 새로운 서비스를 제공하고 비즈니스를 성장시킬 수 있는 더 나은 방법을 모색하게 되면서, AI의 활용이 폭발적으로 증가하는 티핑 포인트(Tipping Point)에 도달하고 있다. MLPerf 테스트에서 기록적인 성과를 달성하기 위해 엔비디아가 일궈낸 결과물들은 기업들에게 우리의 일상을 개선할 수 있는 새로운 수준의 AI 성능을 제공한다”고 설명했다.

이번 MLPerf 테스트 결과는 엔비디아의 AI 추론 역량이 크게 성장함에 따라 얻어진 성과이다. 5년 전만 해도 일부 첨단기술 기업만이 추론을 위해 GPU를 사용했다. 하지만, 엔비디아의 AI 플랫폼이 모든 주요 클라우드 및 데이터센터 인프라 제공업체를 통해 이용가능해지면서, 업계 선도 기업들은 엔비디아의 AI 추론 플랫폼을 활용하여 비즈니스 운영을 개선하고 추가 서비스를 제공하고 있다.

더불어, 엔비디아 GPU는 이제 처음으로 퍼블릭 클라우드에서 CPU 보다 더 많은 AI 추론 용량을 제공한다. 엔비디아 GPU의 총 클라우드 AI 추론 컴퓨팅 용량은 2년마다 약 10배씩 증가하고 있다.

AI 추론을 새로운 수준으로 끌어올려

엔비디아와 그의 파트너사는 엔비디아 데이터센터 GPU, 엣지 AI 가속기, 엔비디아 최적화 소프트웨어 등이 포함된 엔비디아 가속 플랫폼을 이용해 MLPerf 0.7 결과를 제출했다.

엔비디아가 올해 초 선보인 3세대 텐서(Tensor) 코어와 멀티인스턴스 GPU 기술이 적용된 엔비디아 A100은 레스넷(ResNet)-50 테스트에서 CPU보다 30배 이상 높은 성능을 기록했다. 또한, MLPerf 추론 0.7 벤치마크에 따르면, 새롭게 추가된 데이터센터 추론을 위한 추천 테스트에서 엔비디아 A100은 최신 CPU 대비 237배 뛰어난 성능을 보였다.

이는 단일 엔비디아 DGX A100 서버가 약 1,000대의 듀얼 소켓 CPU 서버와 동일한 성능을 제공할 수 있다는 것을 의미하는 것으로, 기업들이 AI 추천 모델을 연구 단계에서 생산 단계로 전환할 시 높은 비용효율성을 보장한다.

이번 벤치마크 결과는 또한 엔비디아 T4 텐서 코어 GPU가 주요 기업용 서버, 엣지 서버, 그리고 비용 효율적인 클라우드 인스턴스를 위한 견고한 추론 플랫폼임을 보여준다. 엔비디아 T4 GPU는 동일한 테스트에서 CPU 성능을 최대 28배 능가했다. 또한 엔비디아 젯슨 AGX 자비에(Jetson AGX Xavier)는 SoC(시스템온칩) 기반 엣지 디바이스 가운데 단연 독보적인 성능을 제공한다.

이러한 결과를 얻는 데에는 엔비디아 텐서RT(TensorRT) 추론 최적화, 엔비디아 트라이톤(Triton) 추론 지원 소프트웨어를 포함한 고도로 최적화된 소프트웨어 스택이 필요했다. 두 소프트웨어 모두 엔비디아의 소프트웨어 카탈로그인 NGC에서 이용할 수 있다.

한편, 엔비디아 외에도, 11개의 엔비디아 파트너사가 엔비디아 GPU를 활용해 총 1,029개의 결과를 제출했는데, 이는 데이터센터 및 엣지 부문 총 제출량의 85% 이상을 차지하는 수치다.