close_btn
로그인, 회원가입후 더 많은 혜택을 누리세요 로그인 회원가입 닫기

[자연어처리] 2016년 7월 13일

모두의연구소 2017.07.11 16:25 조회 수 : 362

2016년 7월 13일 수요일  자연어 처리팀 두번 째 모임 회의록

 

 

CS224d: Deep Learning for Natural Language Processing 1, 2장 스터디

 

1장. Intro to NLP and Deep Learning

  - NLP Applications : 검색, 번역, 감정 분석, 자동 고객 지원 등

  - Deep learning for NLP

    Deep learning은 여러 분야에서 다른 machine learning 알고리즘들을 뛰어 넘은 성능을 보여주고 있다. 그래서 NLP에도 쓴다.

    Deep learning은 전통적인 NLP 알고리즘의 morpheme, word, phrase, logical expression들을 모두 벡터로 표현하고 두 벡터를

   하나의 벡터로 합치는 식으로 동작

 

2장. Simple Word Vector representations: word2vec, GloVe

  - One-hot representation : 단어 수 만큼의 크기를 갖는 벡터에 각 단어를 구별하는 하나의 1로 표현. 단어 간의 의미 관계를 표현할 수 없음

  - Cooccurence matrix : 단어가 같이 나오는 수를 카운트. SVD로 차원 축소

  - word2Vec

    Directly learn low-dimensional word vectors

   한 단어의 주변에 나올 단어를 예측

   주어진 단어의 context word의 확률이 최대가 되도록 학습

  - GloVe : Count based 알고리즘과 direct prediction 알고리즘의 융합판

 

 

다음주 : CS224d 3, 4장 스터디