cs231n 8강

https://www.youtube.com/watch?v=6SlgtELqOWc&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=8 ## CPU vs GPU - CPU (Central Processing Unit) => 더 적은 core 수를 가진다 (좀 더 적은 core 수로 연속적인 일을 처리하는데 CPU가 자주 쓰임) => GPU에 비해 비교적 적은 사이즈로 제작이 되며, RAM에서 메모리를 가져다가 사용하게 된다. => 각 core는 더 빠르며 연속적 처리 (sequential tasks)를 처리하는데 특화되어 있다. - GPU (Graphics Processing Unit) => 수천개의 core 수를 가진다 => 각 core는 더 느리지만 동시에 일을 수행(pa..

CS231n 7강

https://www.youtube.com/watch?v=_JB0AO7QxSA&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=7 이번 강의는 사실 영상 강의는 시청하지 않고 아래 블로그들을 참조해서 정리했다... (강의가 이해되지 않음...) https://velog.io/@cha-suyeon/cs231n-7%EA%B0%95-%EC%A0%95%EB%A6%AC-Training-Neural-Networks-II cs231n 7강 정리 - Training Neural Networks II 이번 포스팅은 standford university의 cs231 lecture 7을 공부하고, 강의와 슬라이드를 바탕으로 정리한 글임을 밝힙니다. Reference 💻 유튜브 강의: Lec..

CS231n 6강

https://www.youtube.com/watch?v=wEoyxE0GP2M&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=6&t=1s ## 활성화 함수 (Activation Functions) => 활성화 함수는 딥러닝 과정 중 비선형성을 가해주는 중요한 부분이다. 만약 이러한 활성화 함수가 존재하지 않는다면 layer를 쌓는다고 해도 결국 single layer랑 다름이 없게 된다. => 위와 같은 무수히 많은 activation function이 존재한다. 하나씩 살펴보자 => 0~1의 값을 가지게 되는 이 sigmoid 함수에는 다음과 같은 문제점들이 있다. 1. gradient를 없앤다 (Vanishing gradient) => x 값이 매우 크거나 작으면 ..

CS231n 5강

https://www.youtube.com/watch?v=bNb2fEVKeEo&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=5 ## CNN * CNN이 생겨난 배경 이전 강의때 나왔던 NN (Neural Network)를 통해 해결하기 어려웠던 문제들을 풀어내기 시작했다. 하지만 여러 겹을 쌓아서 해결하려는 multi-layered NN은 영상에 바로 적용하기 어렵다는 단점이 있다. Image Data는 Spatial structure (공간적 구조), 즉 세로/가로/채널 의 3차원 형상을 가지고 있다. 하지만 위와 같이 NN을 사용하게 되면 input data가 1차원 배열로 바꿔주는 과정에서 데이터의 형상이 무시된다는 한계점이 있다. 예를 들어 글자 '5'가 그려..

CS231n 4강

https://www.youtube.com/watch?v=d14TUNcbn1k&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=4 ## Backpropagation (오차역전파) 수학적인 부분은 요약할 수 있을 정도로 이해를 하지 못했다... (계속 공부해야 할듯) https://evan-moon.github.io/2018/07/19/deep-learning-backpropagation/ [Deep Learning 시리즈] Backpropagation, 역전파 알아보기 이번 포스팅에서는 저번 포스팅에 이어 에 대해서 알아보려고 한다. 앞서 설명했듯, 이 알고리즘으로 인해 에서의 학습이 가능하다는 것이 알려져, 암흑기에 있던 학계가 다시 관심을 받게 되었 evan-moon..

CS231n 3강

https://www.youtube.com/watch?v=h7iBpEHGVNc&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=3 ## Loss Function (손실함수) 앞서 2강에서 f(x,W) 에 대한 내용을 이어서 한다. 해당 함수에서 W는 곧 가중치 파라미터이다. 즉 f는 W에 의해 parameterized 되었다. 따라서 데이터 (x,y) 에 대한 제어는 없지만 가중치 W는 제어할 수 있으며, 예측된 class의 점수가 ground-truth 이미지와 일치하도록 만들어준다. * ground-truth? => https://eair.tistory.com/16 [용어정리]Ground-truth Ground-truth는 기상학에서 유래된 용어로 어느한 장소에서 수..

CS231n 2강

https://www.youtube.com/watch?v=OoUX-nOEjG0&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=2 ### Image Classification - 고양이 사진의 예시 위와 같은 고양이 사진을 봤을 때 컴퓨터는 해당 사진을 오른쪽과 같은 숫자의 집합으로 인식한다. 하지만 위의 방법에는 여러가지 문제가 있는데 자세가 달라지거나, 조명이 달라지거나, 배경과 사물의 식별이 용이하지 않거나, 고양이 종이 달라지거나 등등... 컴퓨터가 인식하는 숫자의 조합은 큰 차이가 생겨진다. def classify_image(images): # ... return class_label 위와 같은 문제점들이 생기기 때문에 edges를 추출하는 방법도 나왔었다. 즉..