AVALIAÇÃO DE ABORDAGENS DE SEGMENTAÇÃO TEXTUAL EM SISTEMAS RAG APLICADOS A DOCUMENTOS NORMATIVOS INSTITUCIONAIS
Retrieval-Augmented Generation, Chunking, Documentos Normativos.
Sistemas baseados em Retrieval-Augmented Generation (RAG) têm sido amplamente empregados para apoiar consultas sobre bases documentais, permitindo que modelos de linguagem utilizem informações recuperadas dinamicamente durante a geração de respostas. Nesse contexto, a estratégia de segmentação documental (chunking) desempenha papel fundamental, uma vez que influencia a recuperação da informação, a qualidade das respostas e o desempenho computacional do sistema. Apesar da crescente adoção dessa arquitetura, ainda são limitadas as evidências empíricas sobre o comportamento de diferentes estratégias de chunking em documentos normativos, caracterizados por estrutura hierárquica, linguagem formal e referências
cruzadas. Esta dissertação teve como objetivo avaliar a influência de diferentes estratégias de segmentação no desempenho de sistemas RAG aplicados à consulta de documentos normativos de instituições de ensino. Para isso, foi desenvolvida uma API para processamento e consulta documental utilizando Django REST Framework,
Celery, Redis, LangChain e ChromaDB. Foram comparadas quatro estratégias de chunking, baseada em caracteres, baseada em tokens, recursiva e semântica, em duas configurações de granularidade, utilizando um corpus composto por três documentos normativos reais e um documento sintético. Os experimentos empregaram um protocolo controlado, no qual todas as estratégias foram avaliadas sob as mesmas condições, considerando métricas relacionadas à cobertura das respostas, tempo de indexação, latência de resposta, quantidade de fragmentos gerados e características das respostas produzidas. Os resultados evidenciaram que o desempenho das estratégias variou conforme as características dos documentos analisados, não sendo observada uma abordagem consistentemente superior em todos os cenários. Estratégias de menor complexidade apresentaram desempenho competitivo em diferentes documentos, enquanto a segmentação semântica mostrou potencial em cenários específicos, embora associada a maior custo de processamento. Também foram observadas evidências de que a granularidade dos fragmentos influencia o equilíbrio
entre preservação de contexto, recuperação da informação e eficiência do sistema. Os resultados obtidos contribuem para ampliar a compreensão sobre os impactos da segmentação documental em aplicações RAG voltadas a documentos normativos, oferecendo subsídios para a escolha de estratégias de chunking mais adequadas às características do corpus e aos requisitos da aplicação.