Ordinary day

(해당 포스팅은 Natural Language Processing with Deep Learning CS224N/Ling284 를 토대로 작성한 것입니다.) 1. 컴퓨터에서는 우리가 사용하는 언어의 '의미'를 어떻게 다룰까?대개 일반적으로는 상위어 관계와 유의어 집합을 갖고있는 '워드넷(WordNet)'같은 분류학을 사용한다. (대표적으로 프린스턴 대학에서 만들고 관리하는 워드넷) 그러나 이산표현에도 문제점이 있는데..리소스는 훌륭하지만 단어의 뉘앙스를 놓칠 수 있다.신조어들을 놓칠 수 있다.주관적이다.표현을 생성하고 적용하는데 사람의 노력이 많이 필요하다.가장 큰 문제는 단어의 유사도를 계산하기 힘들다는 점이다.one-hot 벡터로 표현하는 것은 localist representation 이라고도 한다..

(해당 포스팅은 Natural Language Processing with Deep Learning CS224N/Ling284 를 토대로 작성한 것입니다.)1. Natural Language Processing (NLP) 는 무엇일까?자연어 처리는 컴퓨터공학, 인공지능, 언어학의 한 분야라고 생각하면 된다. NLP의 궁극적인 목적은 어떤 작업을 처리하기 위해 컴퓨터가 사람의 언어를 "이해" 하거나 "처리"하는 것이다. 예를 들어보면, 어떤 물건을 살 때 수행되는 작업이나 QA시스템(시리, 구글 어시스턴트 등) 이 있다. 사실 자연어의 의미를 완전히 이해하고 재표현하는 것은 상당히 어려운 목표이다. 아마 완벽한 자연어 이해는 인공지는의 완성을 뜻하는 것이리라.. NLP의 단계를 보면 다음과 같이 그릴 수 ..

Elastic Search (엘라스틱 서치)루씬 기반의 검색서버기본적으로 토크나이저가 공백이나 특수문자만으로 단어들을 분리하기 때문에, "아버지가 방에 들어가신다" 라는 문장을 검색할 때는 검색어로 '아버지' 가 아니라 '아버지가' 여야만 검색 결과를 얻을 수 있다.따라서 한글 검색 관련해서는 형태소 분석과 같은 지원이 필요하다.데이터 구조 비교 관계 DB 엘라스틱 서치 Database IndexTable Type Row Document Column Field Schema Mapping 기본 문법데이터 입력 curl -XPUT host:port/인덱스/타입/id 'json 형태 데이터' 데이터 수정 - 동일한 인텍스, 타입, id로 수정 curl -XPUT host:port/인덱스/타입/id 'json ..