Archive

2.1 Theory of Generalization 학습에 사용되지 않은 데이터(out-of-sample)에 대한 error ( $E_{out}$ )는 학습된 모델을 새로운 데이터에 적용했을 때, 얼마나 잘 일반화(generalize)할 수 있는가를 나타낸다. $E_{out}$은 input space $\chi$ 전체에 걸쳐 영향을 받는다.(학습에 사용된 입력으로 모델이 훈련되고 결정된다. 그리고 학습에 사용된 데이터로는 generalization을 측정할 수 없다.) $E_{out}$을 추론할 때는 학습에 사용되지 않은 데이터 샘플을 사용해야 한다. 이와 달리 $E_{in}$은 학습에 사용된 데이터(in-sample)에 대한 error를 나타내고, 모델이 주어진 데이터에 대한 학습이 얼마나 잘 되었는지..