freeCodeCamp

2.8 KiB

Raw Blame History

title	localeTitle
Natural Language Processing	Обработка естественного языка

Обработка естественного языка (НЛП)

Как говорит Википедия, «обработка естественного языка (NLP) является подполем компьютерной науки, информатики и искусственного интеллекта, связанным с взаимодействием между компьютерами и человеческими (естественными) языками, в частности, как программировать компьютеры для обработки и анализа больших объемов данных естественного языка ». Проще говоря, это процесс, в котором естественный язык, порожденный людьми, воспринимается компьютерами.

Проблемы в НЛП

1. Легко или в основном решено

          *Spam detection 
          *Part of Speech Tagging 
          *Named Entity Recognition

2. Внедрение или достижение хорошего прогресса

          *Sentiment analysis 
          *Coreference resolution 
          *Word sense disambiguation 
          *Parsing 
          *Machine Translation 
          *Information Translation

3.Гард или еще нужно много работы

          *Text Summarization 
          *Machine dialog system

Общие методы

         *Structure extraction 
         *Identify and mark sentence, phrase, and paragraph boundaries 
         *Language identification 
         *Tokenization 
         *Acronym normalization and tagging 
         *Lemmatization / Stemming 
         *Entity extraction 
         *Phrase extraction

Популярные библиотеки

            *NLTK, the most widely-mentioned NLP library for Python. 
        *SpaCy, an industrial-strength NLP library built for performance. 
        *Gensim, a library for document similarity analysis. 
        *TextBlob, a user-friendly and intuitive NLTK interface. 
        *CoreNLP from stanford group 
        *PolyGlot, a natural language pipeline that supports massive multilingual applications.

Дополнительная информация:

Для дальнейшего чтения:

Нажмите здесь для статьи о вступлении в НЛП.
Нажмите здесь для ссылки в Википедии.

2.8 KiB Raw Blame History Unescape Escape