Apostilas em PDF – Text Mining para concursos

A mineração de texto, também conhecida como mineração de dados textuais ou análise de texto, refere-se ao processo de extrair informações de alta qualidade de textos. Este processo envolve a descoberta por padrões e tendências por meio de métodos como a análise estatística, de aprendizado de máquina e de processamento de linguagem natural (PLN). 

A mineração de texto pode ajudar a transformar dados não estruturados em formatos estruturados ou a encontrar insights significativos em grandes coleções de documentos de texto.

A imagem a seguir apresenta um diagrama de Venn que ilustra a relação entre várias disciplinas e técnicas relacionadas à tecnologia de processamento de linguagem e informação, localizando a mineração de texto nessa profusão de tecnologias.

No centro do diagrama, temos a mineração de texto, que envolve diversos campos da ciência de dados:

• Data Mining (Mineração de Dados): Representado pela elipse amarela, está associado à descoberta de padrões em grandes conjuntos de dados.
• Information Retrieval (Recuperação de Informação): Representado pela elipse verde, é a ciência de buscar informações em documentos e buscar metadados que descrevem documentos, bem como buscar bancos de dados relacionais, na web.
• Web Mining (Mineração na Web): Representado pela elipse azul claro, é o uso de técnicas de mineração de dados para descobrir padrões a partir da web.
• Computational Linguistics (Linguística Computacional): Representado pela elipse rosa, é o estudo de como os computadores podem ser usados para entender e manipular linguagem natural.
• Natural Language Processing (Processamento de Linguagem Natural): Representado pela elipse vermelha, é a subárea de IA que se concentra na interação entre computadores e linguagem humana.
• AI & Machine Learning (IA e Aprendizado de Máquina): Representado pela elipse azul escuro, refere-se ao uso de algoritmos e modelos estatísticos que permitem que as máquinas melhorem suas tarefas com a experiência.
• Statistics (Estatística): Representado pela elipse laranja, é o estudo da coleta, análise, interpretação e apresentação de dados.

No ponto onde todas essas disciplinas se sobrepõem, vemos termos como “Document Classification” (Classificação de Documentos), “Document Clustering” (Agrupamento de Documentos), “Information Extraction” (Extração de Informações) e “Concept Extraction” (Extração de Conceitos), atividades comuns a várias disciplinas.

Mineração de texto e PLN, inclusive, são dois campos que frequentemente se sobrepõem e se complementam, mas têm objetivos e métodos distintos. Vamos diferenciá-los:

Mineração de Texto:

• Objetivo: A mineração de texto visa extrair informações úteis, padrões e insights de grandes volumes de texto não estruturado.
• Processos: Inclui técnicas como classificação de texto, análise de sentimentos, agrupamento de documentos, extração de tópicos e sumarização de texto.
• Foco: Está mais focada em padrões estatísticos e estruturas de dados que podem ser aplicados a conjuntos de dados textuais para extrair conhecimento ou informações.
• Técnicas: Utiliza algoritmos de aprendizado de máquina e métodos estatísticos, muitas vezes com algum suporte de PLN para pré-processar os dados antes da análise.
• Resultados: Produz informações estruturadas a partir de texto não estruturado, como a frequência de palavras, correlações entre termos, categorização de textos e identificação de relações e tendências.

Processamento de Linguagem Natural (PLN):

• Objetivo: PLN é uma subárea da inteligência artificial que se concentra em fazer com que as máquinas entendam e interpretem a linguagem humana como ela é falada e escrita.
• Processos: Inclui tarefas como reconhecimento de fala, compreensão de linguagem natural, geração de linguagem e tradução automática.
• Foco: Está mais focado na compreensão semântica e na interpretação do significado da linguagem humana.
• Técnicas: Envolve a análise sintática, semântica e pragmática da linguagem, bem como a aplicação de modelos de linguagem e ontologias.
• Resultados: Permite a comunicação eficaz entre humanos e máquinas, com aplicações como chatbots, assistentes virtuais, sistemas de tradução automática e interfaces de linguagem natural.

Aqui estão algumas etapas e técnicas comuns na mineração de texto:

• Pré-processamento de Texto: Inclui a limpeza e a preparação dos dados de texto, removendo pontuação, números, espaços em branco e stop words, além de converter o texto para minúsculas. Pode também incluir a lematização ou o stemming, que reduzem as palavras às suas raízes ou formas base.
• Tokenização: Consiste em dividir o texto em unidades menores chamadas tokens, que geralmente são palavras ou frases.
• Análise de Sentimentos: Identifica a polaridade dos sentimentos expressos no texto, classificando-os como positivos, negativos ou neutros.
• Extração de Tópicos: Usa algoritmos como Latent Dirichlet Allocation (LDA) ou Non-negative Matrix Factorization (NMF) para identificar tópicos predominantes em um conjunto de documentos.
• Classificação e Agrupamento: Aplica algoritmos de aprendizado supervisionado para classificar textos em categorias predefinidas ou algoritmos de aprendizado não supervisionado para agrupar textos similares.
• Extração de Entidades Nomeadas: Reconhece e classifica termos importantes dentro de um texto, como nomes de pessoas, organizações, locais, expressões de tempo, quantidades, valores monetários, percentagens etc.
• Sumarização de Texto: Gera um resumo conciso de um texto mais extenso, mantendo as informações e pontos principais.
• Indexação e Recuperação de Informação: Facilita a busca e o acesso a informações específicas dentro de grandes volumes de texto, como motores de busca fazem.
• Associação de Palavras e Modelagem de Tópicos: Identifica palavras que frequentemente aparecem juntas e usa isso para entender a estrutura temática ou para encontrar tópicos específicos dentro do texto.

A mineração de texto é uma área de aplicação vasta e pode ser usada em diversos contextos, incluindo análise de mídias sociais, revisões de produtos, e-mails, pesquisas acadêmicas, documentos legais e médicos, para melhorar a tomada de decisões, fornecer atendimento ao cliente, monitorar marcas e muito mais. 

À medida que a quantidade de dados de texto disponíveis continua a crescer, a mineração de texto torna-se cada vez mais importante para as organizações que buscam extrair insights valiosos desses dados.

Vamos ver como o tema pode ser cobrado em concursos:

(CESPE/TRE-RJ/TÉCNICO PROGRAMAÇÃO/2012)

Com referência a conceitos de banco de dados textual, julgue os itens seguintes.

Text mining é o processo que utiliza métodos para navegar, organizar, encontrar e descobrir informações em bases textuais escritas em linguagem natural. Com text mining é possível manipular mais facilmente informações não estruturadas, tais como notícias, textos em websites, blogs e documentos em geral.

Gabarito: C.

COMENTÁRIO:

O item está correto. Text mining, ou mineração de texto, é de fato um processo que utiliza métodos e técnicas de inteligência artificial, aprendizado de máquina e linguística computacional para explorar e analisar grandes quantidades de dados textuais escritos em linguagem natural. 

O objetivo do text mining é extrair informações úteis e insights de textos não estruturados ou semi-estruturados, como notícias, conteúdo de websites, blogs e documentos variados. Isso permite que as organizações gerenciem melhor e obtenham valor de seus dados textuais, que compõem a maioria dos dados existentes.

(CESPE/MIN. DA ECONOMIA/CIÊNCIA DE DADOS/2020)

No que se refere à mineração de dados, julgue o item a seguir.

Mecanismos de busca utilizam mineração de textos para apresentar ao usuário os resultados de suas pesquisas, de modo que ambos os conceitos se equivalem.

Gabarito: E.

COMENTÁRIO:

A afirmativa apresenta uma compreensão incorreta sobre a relação entre mineração de textos e mecanismos de busca. A mineração de textos é uma técnica utilizada dentro da mineração de dados focada na extração de informações úteis de textos. 

Ela envolve processos como análise de sentimentos, classificação de textos, detecção de tópicos, e extração de entidades. Mecanismos de busca, por sua vez, utilizam mineração de textos como uma das ferramentas para analisar e compreender o conteúdo das páginas web, a fim de apresentar resultados relevantes às consultas dos usuários.

Contudo, dizer que ambos os conceitos se equivalem é incorreto. A mineração de textos é apenas uma parte do complexo sistema de um mecanismo de busca, que também inclui outros componentes como algoritmos de indexação, ranqueamento, e personalização de resultados. Portanto, enquanto a mineração de textos contribui significativamente para a eficácia dos mecanismos de busca, ela não representa a totalidade de suas operações.