Name: Classificação Automática de Súmulas do STF com PLN e Inteligência...
Uploaded: 2023-04-23T14:07:16Z
Description: Trabalho de classificação automática de textos, utilizando técnicas de Processamento de Linguagem Natural (PLN e IA) e os algoritmos Kmeans e Bert. Nesse exp...

Trabalho de classificação automática de textos, utilizando técnicas de Processamento de Linguagem Natural (PLN e IA) e os algoritmos Kmeans e Bert. Nesse experimento, foram classificadas as súmulas do Supremo Tribunal Federal (STF) em três grupos: Direito Tributário, Direito Penal e Outros ramos.
O vídeo apresenta uma abordagem prática para o agrupamento de textos, focando especificamente nas súmulas de jurisprudência do Supremo Tribunal Federal (STF). O autor orienta os espectadores a seguir um guia passo a passo que começa com a instalação das bibliotecas necessárias para implementar o algoritmo K-means com a vetorização BERT. Com a intenção de melhorar a precisão dos agrupamentos, ele filtra as súmulas para incluir apenas aquelas vigentes a partir de outubro de 1988. Após essa etapa, o autor enfatiza a importância da limpeza de dados, removendo stop words e pontuações, o que é crucial para aumentar a relevância dos resultados do agrupamento.

Em seguida, o autor utiliza a Análise de Componentes Principais (PCA) para reduzir a dimensionalidade dos dados vetorizados, permitindo uma visualização mais clara dos agrupamentos. Ele apresenta gráficos que ilustram como as súmulas se distribuem nos diferentes clusters, destacando temas como direito tributário e direito penal. A conclusão do vídeo ressalta a eficiência do processo e como a escolha das stop words a serem filtradas deve ser cuidadosa, pois isso pode variar dependendo do contexto da análise. O autor sugere que, embora o algoritmo K-means tenha mostrado bons resultados, a escolha dos parâmetros e a pré-processamento dos dados são fundamentais para alcançar uma melhor compreensão dos textos.

Resumo do vídeo :

O vídeo apresenta uma abordagem prática para o agrupamento de textos, focando especificamente nas súmulas de jurisprudência do Supremo Tribunal Federal (STF) (0:00). O autor orienta os espectadores a seguir um guia passo a passo que começa com a instalação das bibliotecas necessárias para implementar o algoritmo K-means com a vetorização BERT (0:30).

Com a intenção de melhorar a precisão dos agrupamentos, ele filtra as súmulas para incluir apenas aquelas vigentes a partir de outubro de 1988 (1:20). Após essa etapa, o autor enfatiza a importância da limpeza de dados, removendo stop words e pontuações, o que é crucial para aumentar a relevância dos resultados do agrupamento (1:50).

Em seguida, o autor utiliza a Análise de Componentes Principais (PCA) para reduzir a dimensionalidade dos dados vetorizados, permitindo uma visualização mais clara dos agrupamentos (5:40). Ele apresenta gráficos que ilustram como as súmulas se distribuem nos diferentes clusters, destacando temas como direito tributário e direito penal (10:10).

A conclusão do vídeo ressalta a eficiência do processo e como a escolha das stop words a serem filtradas deve ser cuidadosa, pois isso pode variar dependendo do contexto da análise (13:10). O autor sugere que, embora o algoritmo K-means tenha mostrado bons resultados, a escolha dos parâmetros e o pré-processamento dos dados são fundamentais para alcançar uma melhor compreensão dos textos (14:30).

O algoritmo utilizado para clusterizar as súmulas do STF foi o K-Means, com K=3 (0:20). Ele foi usado em conjunto com a vetorização BERT para o processamento das palavras.
Como Stop Words impactam?
No Processamento de Linguagem Natural (PLN), as Stop Words (palavras de parada) são termos comuns como artigos, preposições e conjunções ("e", "o", "de", "com") que geralmente não adicionam valor semântico significativo ao texto.

O vídeo explica que a remoção das Stop Words é crucial para (1:50-2:00):

Melhorar a relevância: Elas são palavras "desnecessárias que mais atrapalham do que ajudam", e a remoção delas aumenta a significância dos termos restantes no texto.
Otimizar o processamento: Ao remover essas palavras, a quantidade de dados a serem processados é reduzida, o que acelera a análise e economiza recursos computacionais.
A escolha das Stop Words deve ser cuidadosa, pois seu impacto pode variar dependendo do contexto (13:10-13:20). Por exemplo, palavras como "constitucional" ou "supremo" podem ser Stop Words em análises de súmulas jurídicas, já que aparecem em quase todos os documentos e não ajudam a diferenciar os temas (13:30-14:50). No entanto, removê-las em outros contextos pode levar à perda de informações importantes ou alterar o significado da frase.


Tags:
#Agrupamento de textos
#Algoritmo K-means
#Vetorização BERT
#Análise de dados
#Análise de Componentes Principais ( PCA )
#Jurisprudência STF
#Stop words
#Ciência de dados
#Machine Learning
#Processamento de linguagem natural
#Direito tributário
#Direito penal
#Python
#DataFrame
#Análise de dados em Python
#Inteligência Artificial ( IA )
#SciKit-learn

Veja o código e outros sobre PLN (NLP) em:
 https://github.com/robertocsa/Natural-Language-Processing-NLP