본 발표에서는 현재 자연어처리(Natural Language Processing, NLP)를 위한 데이터 전처리 과정에서 필요한 Tokenizing에 대하여 알아보겠습니다. 특히, 문장 Tokenizing을 할 때에 사용하는 파이썬 라이브러리 중 하나인 Mecab의 구동원리인 Conditional Random Field(CRF)에 대하여 이야기할 계획입니다.
본 발표에서는 현재 자연어처리(Natural Language Processing, NLP)를 위한 데이터 전처리 과정에서 필요한 Tokenizing에 대하여 알아보겠습니다. 특히, 문장 Tokenizing을 할 때에 사용하는 파이썬 라이브러리 중 하나인 Mecab의 구동원리인 Conditional Random Field(CRF)에 대하여 이야기할 계획입니다.