목록plusAlpha (3)
ShuyaVision
Abstract 해당 논문은 convolutional NN을 INT weights와 activations로 quantization하는 기술에 대한 개요를 제시한다. 1. 다양한 CNN NN에 대해 weights를 Channel별 quantization, activations의 Layer별 quantization을 하여 8 bits로 양자화 후, post-training을 통해 floating NN에 비해 2% 내의 분류 정확도를 달성한다. (Section 3.1) 2. 8 bits로 양자화하여 모델의 크기를 4배 이상 줄인다. 8bits 연산이 지원되지 않는 경우에도, post-training을 통해 이를 달성할 수 있다. (Section 3.1) 3. CPU 및 DSP에서 quantized 된 모델의 ..
Section A에서는, common notations 과 problem setup에 대해서 소개하고, B ~ F에서는 basic quantization concepts과 methods를 소개한다. 그리고 G에서는 fine-tuning methods를 소개하고, H에서는 stochastic quantization을 소개한다. A. Problem Setup and Notations 신경망은 학습 가능한 매개변수를 갖는 L개의 층으로 구성되어 있다고 가정한다. 이러한 매개변수는 {W1, W2, ..., WL}으로 표시하며, θ는 이러한 모든 매개변수의 조합을 나타낸다. L(θ) = 1/N ∑ Lossㅣ(xi, yi; θ) 여기서 (x, y)는 input data와 해당 레이블을 나타내며, Loss()는 손실..
Abstract 본 논문은 추상적인 수학적인 계산(abstract mathematical computations)을 디지털 컴퓨터로 적용(특히 AI model을 활용해서)하면서 발생하는 수치 값의 효율적인 표현, 조작, 그리고 데이터 전송 문제에 대해 다룬다. 특히 신경망 모델의 뛰어난 성능 때문에, 연속적인 실수 값을 고정된 이산적인 숫자 집합에 어떻게 배분할 지 결정하는 Quantization 문제가 중요해졌다. 이 문제는 메모리와 연산 resource가 매우 제한된 상황에서 특히 중요하다. 본 논문에서는 신경망의 계산과 관련된 양자화 문제에 대한 접근법을 조사하고, 현재의 방법들의 장단점을 고찰한다. Introduction 서론에서는 Neural Networks의 효율성과 정확도를 높이기 위해 다양..