인공지능 반도체(GANPU) 칩 활용 예 : 얼굴 이미지 수정 시스템을 통해 GANPU 칩의 성능을 확인. 헤어 스타일을 자연스럽게 변형하는 예

이미지 합성, 스타일 변환, 손상 이미지 복원 등 생성형 인공지능(AI) 기술을 모바일 기기에서 구현하는 반도체 칩이 개발됐다.

KAIST 전기및전자공학부 유회준 교수 연구팀은 생성적 적대 신경망(GAN: Generative Adversarial Network)을 저전력, 효율적으로 처리하는 인공지능(AI: Artificial Intelligent) 반도체를 개발했다고 밝혔다.

연구팀이 개발한 인공지능 반도체는 다중-심층 신경망을 처리할 수 있고 이를 저전력의 모바일 기기에서도 학습할 수 있다.

생성적 적대 신경망(GAN) : 두 개의 딥러닝 네트워크을 가지고 있으며 한 딥러닝 네트워크는 “생성자”가 되어 진짜와 구별이 어려운 가짜를 생성하고, 다른 한 딥러닝 네트워크는 “감별자”로 되어 생성자가 만든 데이터가 진짜인지 가짜인지를 판별하면서 두 네트워크가 서로 경쟁하며 학습한다. 최종적으로 진짜와 구별하기 힘든 가짜 데이터를 자동으로 만들어낼 수 있는 인공지능 기술이며, 최근 딥 페이크 (Deep Fake) 등 사람도 속일 수 있을 정도의 기술로 큰 주목을 받고 있음.

다중-심층 신경망 : 단일-심층 신경망으로 구성된 인공지능 모델이 아닌, 한가지 목적을 이루기 위해 여러 심층 신경망이 복합적으로 동시에 구동되어야 하는 인공지능 모델

유회준 교수는 “이번 연구는 하나의 칩에서 추론만이 아니라 학습까지 모두 가능해 여러 개의 딥러닝 네트워크를 동시에 지원하는 인공지능 반도체를 개발했다는 점에서 의미가 크다”라며, “모바일 기기에서의 인공지능 활용 영역을 크게 넓혀 향후 이미지 스타일 변환, 영상 합성, 이미지 복원 등 GAN과 관련된 애플리케이션에 다양하게 응용될 것”으로 기대했다.

실제로 유 교수는 2017년 ‘입체 얼굴 정면 화 시스템 및 방법’ 특허를 출원했다. 이 특허는 외부에서 입력된 2차원 얼굴 이미지로부터 얼굴 특징점을 추출하고, 추출된 특징점에 기초해 3차원 정면 얼굴 이미지를 생성하는 기술이다.

‘입체 얼굴 정면 화 시스템 및 방법’ 특허

기존에 많이 연구된 인공지능 기술인 분류형 모델(Discriminative Model)은 주어진 질문에 답을 하도록 학습된 인공지능 모델로 물체 인식 및 추적, 음성인식, 얼굴인식 등에 활용된다.

이와 달리 생성적 적대 신경망(GAN)은 새로운 이미지를 생성·재생성할 수 있어 이미지 스타일 변환, 영상 합성, 손상된 이미지 복원 등 광범위한 분야에 활용된다. 또한, 모바일 기기의 다양한 응용 프로그램(영상·이미지 내 사용자의 얼굴 합성)에도 사용돼 학계뿐만 아니라 산업계에서도 주목받고 있다.

그러나 생성적 적대 신경망은 기존의 딥러닝 네트워크와는 달리 여러 개의 심층 신경망으로 이루어진 구조로, 개별 심층 신경망마다 다른 요구 조건으로 최적화된 가속을 하는 것이 어렵다.

또한, 고해상도 이미지를 생성하기 위해 기존 심층 신경망 모델보다 수십 배 많은 연산량을 요구한다. 즉, 적대적 생성 신경망은 연산 능력이 제한적이고 사용되는 메모리가 작은 모바일 장치(스마트폰, 태블릿 등)에서는 소프트웨어만으로 구현할 수 없었다.

최근 모바일 기기에서 인공지능을 구현하기 위해 다양한 가속기 개발이 이뤄지고 있지만, 기존 연구들은 추론 단계만 지원하거나 단일-심층 신경망 학습에 한정돼 있다.

연구팀은 단일-심층 신경망뿐만 아니라 생성적 적대 신경망과 같은 다중-심층 신경망을 처리할 수 있으면서 모바일에서 학습도 가능한 인공지능 반도체 GANPU(Generative Adversarial Networks Processing Unit)를 개발해 모바일 장치의 인공지능 활용범위를 넓혔다.

인공지능 반도체 : 인식·추론·학습·판단 등 인공지능 처리 기능을 탑재하고, 초지능·초저전력·초신뢰 기반의 최적화된 기술로 구현한 반도체

얼굴 이미지 수정 시스템 화면

연구팀이 개발한 인공지능 반도체는 서버로 데이터를 보내지 않고 모바일 장치 내에서 생성적 적대 신경망(GAN)을 스스로 학습할 수 있어 사생활을 보호를 가능케 하는 프로세서라는 점에서 그 활용도가 기대된다.

모바일 기기에서 저전력으로 다중-심층 신경망을 가속하기 위해서 다양한 핵심 기술이 필요하다. 연구팀이 개발한 GANPU에 사용된 핵심 기술 중 대표적인 기술 3가지는 ▲적응형 워크로드 할당(ASTM, 처리해야 할 워크로드를 파악해 칩 상의 다중-심층 신경망의 연산 및 메모리 특성에 맞춰 시간·공간으로 나누어 할당함으로써 효율적으로 가속하는 방법) ▲입출력 희소성 활용 극대화(IOAS, 인공신경망 입력 데이터에서 나타나는 0뿐만 아니라 출력의 0도 예측해 연산에서 제외함으로써 추론 및 학습 과정에서의 속도와 에너지효율 극대화) ▲지수부만을 사용한 0 패턴 추측(EORS, 인공신경망 출력의 0을 예측하기 위한 알고리즘으로 인공신경망 입력과 연결 강도(weight)의 부동소수점 데이터 중 지수 부분만을 사용해 연산을 간단히 수행하는 방법)이다.

워크로드 (workload) : 주어진 시간 안에 컴퓨터 시스템이 처리해야 하는 작업의 양과 작업의 성격

희소성 활용 (Sparsity Exploitation) :심층 신경망 모델의 연산은 수많은 곱셈누적(MAC: Multiply-And-Accumulate)연산의 연속이다. 연산자에 0이 존재할 시, 굳이 연산을 해보지 않아도 결과는 0임을 알기에 이를 뛰어넘는 방식으로 연산 속도를 높이는 방식.

부동소수점 (Floating-Point) : 컴퓨터 내부에서 데이터를 저장하는 형태의 한 종류로, 유효숫자를 나타내는 가수와 소수점의 위치를 나타내는 지수로 이루어져 있다.

위의 기술을 사용함으로써 연구팀의 GANPU는 기존 최고 성능을 보이던 심층 신경망 학습 반도체 대비 4.8배 증가한 에너지효율을 달성했다.

연구팀은 GANPU의 활용 예시로 태블릿 카메라로 찍은 사진을 사용자가 직접 수정할 수 있는 응용 기술을 시연했다. 사진상의 얼굴에서 머리·안경·눈썹 등 17가지 특징에 대해 추가·삭제 및 수정사항을 입력하면 GANPU가 실시간으로 이를 자동으로 완성해 보여 주는 얼굴 수정 시스템을 개발했다.

강상훈 박사과정이 1 저자로 참여한 이번 연구결과는 지난 2월 17일 3천여 명 반도체 연구자들이 미국 샌프란시스코에 모여 개최한 국제고체회로설계학회(ISSCC)에서 발표됐다. (논문명 : GANPU: A 135TFLOPS/W Multi-DNN Training Processor for GANs with Speculative Dual-Sparsity Exploitation)

조규남    namnam1124@naver.com