Avaliação de um chatbot acadêmico com Ragas

Um estudo no IFPR Campus Paranavaí

Abstract

Este trabalho apresenta a aplicação do Ragas na avaliação de um chatbot acadêmico baseado em geração aumentada por recuperação (RAG), desenvolvido para responder a dúvidas sobre o IFPR Campus Paranavaí a partir de documentos institucionais públicos. Como modelos de linguagem não são determinísticos e diferentes formulações podem expressar a mesma informação correta, a comparação literal com uma resposta esperada é insuficiente, o que motiva o uso de métricas que examinem separadamente a recuperação dos contextos e a geração das respostas. O sistema combina reformulação da consulta, busca vetorial, reordenação de candidatos e a estratégia Parent RAG. A avaliação utilizou perguntas objetivas elaboradas a partir de fontes institucionais, com gabaritos revisados por humanos, e cinco métricas do Ragas, Context Precision, Context Recall, Answer Relevancy, Faithfulness e Answer Accuracy. Os resultados indicam espaço para melhorar a seleção e a ordenação dos contextos, além de cobertura não uniforme das informações esperadas. Observou-se também que respostas fundamentadas nos documentos podem não fornecer a informação solicitada, evidenciando a importância de avaliar múltiplos critérios.