close_btn
로그인, 회원가입후 더 많은 혜택을 누리세요 로그인 회원가입 닫기

[자연어처리] 2016년 7월 20일

모두의연구소 2017.07.11 16:29 조회 수 : 296

2016년 7월 20일 수요일  자연어 처리팀 세번 째 모임 회의록

 

 

CS224d: Deep Learning for Natural Language Processing 3, 4장 스터디

 

3장. Advanced word vector representations: language models, softmax, single layer networks

  - word2vec model 학습을 위해 stochastic gradient descent 이용 (모든 단어의 u, v 벡터 학습)

  - Skip-gram model : true pair 외에 random pairs도 고려한 objective function을 정의하여 학습

  - word vector의 평가 방법 : instrinsic(vector 간의 거리 등을 이용하여 평가) vs extrinsic (real task에 대하여 평가)

 

4장. Neural Networks and backpropagation -- for named entity recognition

  - Window classification : context window 내의 이웃 단어에 기반하여 단어를 분류

    간단한 문제에는 softmax를 이용할 수 있지만 linear decision boundary 밖에 표현 못 함

    복잡한 문제에는 neural network가 더 복잡한 함수를 표현할 수 있어 좋음

 

 

다음 주 계획 : word2vec, GloVe 모델에 관한 논문이든 다른 자료든 각자 공부해와서 토의

(위의 두 모델이 중요한 모델인데 cs224d 강의만으로는 이해하기 불충분 한 것 같아 더 자세히 공부하기로 함)