Archive

Convolution이 무엇인가요? 예전 기술면접때 convolution이 무엇인지에 대한 질문을 받은 적 있다. tensorflow, pytorch에 구현된 convolution 연산을 사용해 비전이나 NLP에 사용되는 신경망을 학습했지만, 무엇인지에 대해 물었을 때 말로 풀어서 대답하기 어려웠다. 분명 머릿속엔 그림이나 연산 과정을 떠올릴 수 있지만 어떤 의미를 가지는지, 연산 결과값이 어떻게 사용되는지 몰랐던 것 같다. 그래서 이번에 convolution에 대해 정리하고 연산이 어떠한 의미를 가지는지 정리하고자 한다. 딥러닝을 하면서 convolution layer 용어를 많이 사용하기 때문에 convolution은 신경망에서 비롯된것인 줄 알았으나 실제로는 두 개의 함수가 t 시점에서 얼마나 ov..

Chapter 1. 유전 알고리즘의 기본 용어 유전 알고리즘의 기본 구조 : 개체들은 교차에 의해 염색체를 부분 결합하고 돌연변이에 의해 조금씩 변화된 새로운 염색체를 가진 새로운 개체를 만들어 내는데, 이 때 개체는 환경에 적응하기 유리한 정도에 따라 선택적으로 번성하게 됨. 유전 알고리즘은 이러한 생물의 진화 과정을 문제 해결 과정으로 옮긴 것. 염색체(chromosome) : 임의의 해를 유전 알고리즘이 이해하는 형태로 표현한 것 해집단(population) : 정해진 수의 염색체 집단. 유전자(gene) : 해를 구성하는 인자 유전자형(genotype) : 보이는 그대로의 유전자 조합. 염색체 그 자체. 표현형(phenotype) : 유전자형과 관계되어 관찰되는 형질. 해의 성질이나 품질 유전 알..

유한 개의 Hypothesis set을 가정하고, training error를 가장 적게 하는 hypothesis에 대해서 generalization error bound를 구함. 위에서 구한 generalization error bound를 통해 learning theory 관점에서 bias variance trade-off를 볼 수 있음. 1. Preliminaries Lemma. (The union bound) Let $A_1, A_2, ..., A_k$ be $k$ different events(that may not be independent). Then $$P(A_1 \cup \cdots \cup A_k) \leq P(A_1) + \cdots + P(A_k)$$ Lemma. (Hoeffding..