61 lines
2.8 KiB
Markdown
61 lines
2.8 KiB
Markdown
|
---
|
|||
|
|
title: Natural Language Processing
|
|||
|
|
localeTitle: Обработка естественного языка
|
|||
|
|
---
|
|||
|
|
## Обработка естественного языка (НЛП)
|
|||
|
|
|
|||
|
|
Как говорит Википедия, «обработка естественного языка (NLP) является подполем компьютерной науки, информатики и искусственного интеллекта, связанным с взаимодействием между компьютерами и человеческими (естественными) языками, в частности, как программировать компьютеры для обработки и анализа больших объемов данных естественного языка ». Проще говоря, это процесс, в котором естественный язык, порожденный людьми, воспринимается компьютерами.
|
|||
|
|
|
|||
|
|
### Проблемы в НЛП
|
|||
|
|
|
|||
|
|
#### 1\. Легко или в основном решено
|
|||
|
|
```
|
|||
|
|
*Spam detection
|
|||
|
|
*Part of Speech Tagging
|
|||
|
|
*Named Entity Recognition
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
#### 2\. Внедрение или достижение хорошего прогресса
|
|||
|
|
```
|
|||
|
|
*Sentiment analysis
|
|||
|
|
*Coreference resolution
|
|||
|
|
*Word sense disambiguation
|
|||
|
|
*Parsing
|
|||
|
|
*Machine Translation
|
|||
|
|
*Information Translation
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
#### 3.Гард или еще нужно много работы
|
|||
|
|
```
|
|||
|
|
*Text Summarization
|
|||
|
|
*Machine dialog system
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### Общие методы
|
|||
|
|
```
|
|||
|
|
*Structure extraction
|
|||
|
|
*Identify and mark sentence, phrase, and paragraph boundaries
|
|||
|
|
*Language identification
|
|||
|
|
*Tokenization
|
|||
|
|
*Acronym normalization and tagging
|
|||
|
|
*Lemmatization / Stemming
|
|||
|
|
*Entity extraction
|
|||
|
|
*Phrase extraction
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### Популярные библиотеки
|
|||
|
|
```
|
|||
|
|
*NLTK, the most widely-mentioned NLP library for Python.
|
|||
|
|
*SpaCy, an industrial-strength NLP library built for performance.
|
|||
|
|
*Gensim, a library for document similarity analysis.
|
|||
|
|
*TextBlob, a user-friendly and intuitive NLTK interface.
|
|||
|
|
*CoreNLP from stanford group
|
|||
|
|
*PolyGlot, a natural language pipeline that supports massive multilingual applications.
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
#### Дополнительная информация:
|
|||
|
|
|
|||
|
|
Для дальнейшего чтения:
|
|||
|
|
|
|||
|
|
* Нажмите [здесь](https://medium.com/@gon.esbuyo/get-started-with-nlp-part-i-d67ca26cc828) для статьи о вступлении в НЛП.
|
|||
|
|
* Нажмите [здесь](https://en.wikipedia.org/wiki/Natural_language_processing) для ссылки в Википедии.
|