61 lines
2.2 KiB
Markdown
61 lines
2.2 KiB
Markdown
|
---
|
||
|
|
title: Natural Language Processing
|
||
|
|
localeTitle: Processamento de linguagem natural
|
||
|
|
---
|
||
|
|
## Processamento de Linguagem Natural (PNL)
|
||
|
|
|
||
|
|
Como diz a Wikipedia, "O processamento de linguagem natural (NLP) é um subcampo da ciência da computação, engenharia da informação e inteligência artificial relacionado às interações entre computadores e linguagens humanas (naturais), em particular como programar computadores para processar e analisar grandes quantidades de dados de linguagem natural ". Em termos mais simples, é um processo no qual a linguagem natural gerada por humanos é compreendida por computadores.
|
||
|
|
|
||
|
|
### Desafios na PNL
|
||
|
|
|
||
|
|
#### 1\. fácil ou principalmente resolvido
|
||
|
|
```
|
||
|
|
*Spam detection
|
||
|
|
*Part of Speech Tagging
|
||
|
|
*Named Entity Recognition
|
||
|
|
```
|
||
|
|
|
||
|
|
#### 2\. Intermediário ou fazendo um bom progresso
|
||
|
|
```
|
||
|
|
*Sentiment analysis
|
||
|
|
*Coreference resolution
|
||
|
|
*Word sense disambiguation
|
||
|
|
*Parsing
|
||
|
|
*Machine Translation
|
||
|
|
*Information Translation
|
||
|
|
```
|
||
|
|
|
||
|
|
#### 3\. difícil ou ainda precisa de muito trabalho
|
||
|
|
```
|
||
|
|
*Text Summarization
|
||
|
|
*Machine dialog system
|
||
|
|
```
|
||
|
|
|
||
|
|
### Técnicas Comuns
|
||
|
|
```
|
||
|
|
*Structure extraction
|
||
|
|
*Identify and mark sentence, phrase, and paragraph boundaries
|
||
|
|
*Language identification
|
||
|
|
*Tokenization
|
||
|
|
*Acronym normalization and tagging
|
||
|
|
*Lemmatization / Stemming
|
||
|
|
*Entity extraction
|
||
|
|
*Phrase extraction
|
||
|
|
```
|
||
|
|
|
||
|
|
### Bibliotecas Popularmente Usadas
|
||
|
|
```
|
||
|
|
*NLTK, the most widely-mentioned NLP library for Python.
|
||
|
|
*SpaCy, an industrial-strength NLP library built for performance.
|
||
|
|
*Gensim, a library for document similarity analysis.
|
||
|
|
*TextBlob, a user-friendly and intuitive NLTK interface.
|
||
|
|
*CoreNLP from stanford group
|
||
|
|
*PolyGlot, a natural language pipeline that supports massive multilingual applications.
|
||
|
|
```
|
||
|
|
|
||
|
|
#### Mais Informações:
|
||
|
|
|
||
|
|
Para mais informações:
|
||
|
|
|
||
|
|
* Clique [aqui](https://medium.com/@gon.esbuyo/get-started-with-nlp-part-i-d67ca26cc828) para um artigo sobre a introdução da PNL.
|
||
|
|
* Clique [aqui](https://en.wikipedia.org/wiki/Natural_language_processing) para a referência da Wikipedia.
|