kiwi 형태소 분석기(0.15.0 업데이트)
한국어 형태소 분석기 kiwi 업데이트. 주목할 만한 기능은 Subword Tokenizer. 서브워드는 기존 사전기반 형태소 분석이 아니라, 모델이 자주 같이 나오는 음절(혹은 다른 단위)을 단어로 인식해 묶는 방식. BERT, GPT 등 딥러닝 기반 자연어처리 모델에서는 서브워드 토크나이저를 사용 중. 기능 추가/개선 https://github.com/bab2min/Kiwi/releases/tag/v0.15.0