ejslife

1. LSTM 정의 LSTM (Long Short Term Memory) 는 RNN (순환 신경망) 중 하나로, 셀, 입력 게이트, 출력 게이트, 망각 게이트를 통해 기울기 소실 문제 (Vanishing gradient) 를 방지하고자 개발되었다. 망각게이트는 현재 입력과 비교해 이전 상태의 0과 1 사이의 값을 할당해 이전 상태에서 삭제할 정보를 결정한다. 1은 정보를 유지한다는 것이고, 0은 폐기를 의미한다. 입력 게이트는 현재 상태에 저장할 새로운 정보를 결정한다. 출력 게이트는 이전 및 현재 상태를 고려해 0부터 1까지의 값을 할당해 현재 상태의 정보를 출력한다.  2. RNN 구조 및 기울기 소실 문제 RNN (Recurrent Nerual Network) 는 인풋이 여러번의 순환을 걸쳐 아웃풋..

1. Sequence model 의 한계 Transformer 모델은 recurrency와 convolution 을 배제한 attention 기반의 모델이다. 이는 sequence transduction 모델과 달리 병렬화가 가능하며 모델 훈련에 적은 시간이 소요된다는 특징이 있다. 이러한 sequence model 의 예시로 RNN, LSTM, GRU 가 주축으로 사용되는데 이는 순차적으로 입력값을 넣어주어야 하기 때문에 sequence 길이가 긴 인풋에 대해 메모리와 계산량에 부담이 생기는 문제가 있다. 2. Attention 설명 Attention 은 입력과 출력 sequence 의 거리에 무관하게 종속성을 모델링한다. 기존 모델은 recurrent network 와 attention 을 섞어 사용..

크리스마스를 맞이해 카테고리를 나누어 올해를 회고해보려 한다.  1/4분기: 새로운 업무 및 파트타임 대학원 1분기에는 회사에서 새로운 프로젝트를 시작했다. 이 프로젝트는 현재까지 진행 중이고, 회사 외적으로는 데이터사이언스 대학원에 입학했다. 이때 리덕스 사용이나 구조화 디버깅 등을 경험할 수 있었다. 대학원에서는 통계 세미나 등을 들었던 분기였다. 2/4분기: 계속된 업무 및 시험 자세한 업무는 쓸 수 없으니 생략하고, 시험기간이라 통계 공부를 했다. 회귀분석, 유의수준 검정, 모평균 등을 공부했고, 대학원 동기들과 서로 좋은 영향을 주고 받으며 지냈다. 3/4분기: 바쁜 업무 및 방학, 영어공부 업무는 더 바빠졌고, 방학에는 선형대수 스터디를 동기 언니들과 진행했다. 캠블리 영어 공부도 일주일에 두..

캡션 데이터를 기반으로 TF-IDF 와 Word2Vec 를 활용하여 캡션 간 유사도를 계산하고, 이를 PageRank 알고리즘에 적용하여 각 캡션의 상대적 유사도를 평가한 결과를 제시해볼 예정입니다.이를 통해 TF-IDF 와 Word2Vec 기반의 유사도 계산 방법을 비교하고 가장 중요한 캡션을 도출해봅시다. 데이터 분석에 사용된 캡션은 다음과 같습니다. 1. A dog is running through a field.2. A cat is sitting on a windowsill, enjoying the sunshine.3. A dog is running and enjoying the sunshine in a field.4. A rabbit is hopping across a grassy meadow...

논문 "From Word Embeddings to Document Distances"는 http://proceedings.mlr.press/v37/kusnerb15.html  단어 임베딩을 사용해서 문서 간 유사성을 계산하는 방법론을 제시합니다. 이 논문에서 사용한 WMD (Word Mover's Distance) 는 문서간 유사성을 측정하는 거리함수로, 한 문서의 단어들이 다른 문서들의 단어들로 이동하는 "비용"을 최소화해서 두 문서간 거리를 계산합니다. 이는 기존의 Earth Mover's Distance (EMD) 문제와 유사한 최적화 문제로 다룰 수 있습니다. 기존 BOW (Bag of Words) 나 TF-IDF 모델은 단어 간 의미적 유서성을 충분히 반영하지 못한 문제가 있습니다. 예를 들어 ..

Page Rank 알고리즘은 유저가 검색한 키워드가 아닌 웹사이트간 관계로 스코어를 측정하고, 순서를 나열해 결과를 보여줌으로써 가능성이 높은 페이지들을 보여주게 됩니다. 이 페이지랭크는 Google 검색엔진의 핵심 알고리즘입니다. 대학원생이였던 세르게이 브린과 래리 페이지가 쓴 논문(The Anatomy of a Large-Scale Hypertextual Web Search Engine) 이 Google 의 시작점이였기에 꽤 유명한 알고리즘이기도 한데요. 이 링크에서 한 문단을 인용하자면 Academic citation literature has been applied to the web, largely by counting citations or backlinks to a given page. Th..