Noun Extractor refactoring

[lovit]

주요 작업

• v1, v2 에 공통으로 작성된 부분의 통합
• noun tokenizer 로 연결
  • input: documents
  • output: 문서 내 명사열

세부 작업

• 리팩토링 시 테스트 코드 작성
• v1, v2 공통부분 통합
  • v2 만 개선하는 것으로 리팩토링 방향 선회
• news noun extractor: deprecated 이후 삭제
  • 1.0.0 으로의 major change 에서 제거하기로 결정
• 외부에서 접근할 가능성이 있는 파일들의 underscore 제거
• noun tokenizer return
  • tokenize 함수를 noun extractor 에서 제공하면 extractor 와 tokenizer 의 개념이 혼동될 수 있음
  • 다른 extractor 들은 토크나이저 기능을 제공하지 않을 가능성이 높으므로 extractor 가 tokenizer 를 return 하는 형태로 구성
• enhance 규칙기반 명사 추출 후처리 기능을 선택적으로 이용할 수 있으면 편리할 듯 합니다. #134
• enhance 명사 추출기에서 기구축된 사전을 base dictionary로 활용 #131