close_btn
로그인, 회원가입후 더 많은 혜택을 누리세요 로그인 회원가입 닫기

[EDU2기] 2016년 6월 29일

모두의연구소 2017.07.11 16:07 조회 수 : 91

[실습]
1. Tensorflow CNN 실습
2. Cifar 예제 CNN 손에익히기 좋음!

 

[이론]
1. RNN 복습 && LSTM 

- LSTM 이란? 기존 RNN에서 Vanishing Gradient 문제를 해결하기 위해서 나온 해결 방법 알고리즘

중요한 개념으로 3가지가 있음

1) forget gate : 필요없는 정보를 제외하고 중요한 것만 추출

2) input gate : 필요한 정보만  추출

3) output gate : 계산한 cell state, 이전 값, 입력값 등이 합쳐져 결과값 도출

- LSTM의 변형 알고리즘 들이 있음

1) peehole : 이전 cell state를 넣어주는 방식

2) 잊기 게이트와 입력게이트의 결합

3) GRU : LSTM 보다 Gate 축소

- 소장님의 LSTM 설명 : 평균 공식을 사용해서 현재 state 값을 계산 할 수 있다.

-- y(t) =  a * y(t-1) + (1-a) * x(t)


실제 RNN은 좋은 성능을 얻기 어렵고, LSTM, GRU를 사용한다. 

 

[마무리]

1. 3달 반 정도 한것 같다. 

2. 통합반 :

1) default - 팀을 짜서 구현 or 소스 분석 or 논문 / 4개팀 정도 / 한달에 한번 팀 끼리 내용 공유  (수요일)

    - 실습초보반 반 : 1명 (Udacity 구현 추천 )

    - 영상관련팀 : 10명

    - 월욜반 국민대 교수님 자율 주행 영상팀 + 대학원생들의 메리트 / lable 데이터 제공 예정 : 소장님 포함 3명 

    - 자연어 : 4명

 

2) 이론 : EDU 3기 / 6명 (월요일)