Archive

Convolution이 무엇인가요? 예전 기술면접때 convolution이 무엇인지에 대한 질문을 받은 적 있다. tensorflow, pytorch에 구현된 convolution 연산을 사용해 비전이나 NLP에 사용되는 신경망을 학습했지만, 무엇인지에 대해 물었을 때 말로 풀어서 대답하기 어려웠다. 분명 머릿속엔 그림이나 연산 과정을 떠올릴 수 있지만 어떤 의미를 가지는지, 연산 결과값이 어떻게 사용되는지 몰랐던 것 같다. 그래서 이번에 convolution에 대해 정리하고 연산이 어떠한 의미를 가지는지 정리하고자 한다. 딥러닝을 하면서 convolution layer 용어를 많이 사용하기 때문에 convolution은 신경망에서 비롯된것인 줄 알았으나 실제로는 두 개의 함수가 t 시점에서 얼마나 ov..

2.1 Theory of Generalization 학습에 사용되지 않은 데이터(out-of-sample)에 대한 error ( $E_{out}$ )는 학습된 모델을 새로운 데이터에 적용했을 때, 얼마나 잘 일반화(generalize)할 수 있는가를 나타낸다. $E_{out}$은 input space $\chi$ 전체에 걸쳐 영향을 받는다.(학습에 사용된 입력으로 모델이 훈련되고 결정된다. 그리고 학습에 사용된 데이터로는 generalization을 측정할 수 없다.) $E_{out}$을 추론할 때는 학습에 사용되지 않은 데이터 샘플을 사용해야 한다. 이와 달리 $E_{in}$은 학습에 사용된 데이터(in-sample)에 대한 error를 나타내고, 모델이 주어진 데이터에 대한 학습이 얼마나 잘 되었는지..