Erros de Curadoria — Rasa X 💜

Oi, hoje venho mostrar pra vocês como podemos identificar e corrigir erros de curadoria no Rasa X, olhando apenas “uma imagem”, sem precisar vasculhar o corpus inteiro. Tá, ok. Eu exagerei só um pouquiiiinhooooo, na verdade iremos analisar os dados que o Rasa X nos mostra sobre o comportamento daquela interação humana com o nosso assistente virtual. Vamos lá, hora de a-rasa-r!

Erro de Entidade

Neste caso, podemos perceber que a confiança da intenção sabor_suco está alta, então descartamos uma possibilidade de erro de exemplo de intenção. Além disso, como teoricamente nós conhecemos o corpus ao qual estamos analisando, saberíamos que “quero um suco de morango” deveria cair nesta intent. Vejamos que o bot não reconheceu a entidade morango, logo é um primeiro erro a ser apontado e corrigido. Mas, pode haver um erro de fluxo também? Pode. Então, também teríamos que dar uma checada nas Stories do suco_morango e identificar se há também um erro na construção dos fluxos. Fácil né? Você não precisou analisar todo o NLU/Story/Domain pra conseguir aplicar o tratamento necessário ao erro.

Erro de Fluxo

Neste outro exemplo, podemos observar que o bot acertou a intenção com uma confiança alta e também predizeu todas as entidades corretamente: {“sabor”: “abacaxi”}, {“ml”: “300”}. Então, provavelmente é um erro de Story, não tínhamos notado que o nosso usuário poderia escrever todas as informações em um único input e alcançar o fluxo final em segundos. Deste modo, iríamos criar este fluxo para otimizar a experiência do nosso usuário.

Erro de Intenção

Nesta conversa, vemos um clássico erro de intenção, bebida caiu na intent agradecimento com uma confiança muito baixa 0.58. Sabemos também que este input não deveria ter caído nesta intenção. Dessa forma, vamos adicionar o exemplo bebida na intenção suco_sabor_pergunta. Acabou por aí? Não. Neste momento temos que treinar o bot e rodar um rasa test nlu para garantir que as nossas intents não foram desbalanceadas. Testar é tudo, viu!

Melhoria da Resposta do bot

Aqui, vemos que o bot acertou o input corretamente, mas o usuário escreveu “não entendi”. Nesta situação, saberíamos que a nossa explicação não está boa o suficiente ou que existe algum termo que o usuário não compreendeu. Nesta resposta, a pergunta “qual copo”, não faz muito sentido, a ideia seria que o usuário entendesse que ele deveria escolher a quantidade de ml do suco que ele quer comprar. Faríamos um tratamento dessa mensagem, e nas próximas semanas acompanharíamos as interações na curadoria dessa resposta para ver se o problema foi resolvido.

Inserir conteúdo novo

Opa, mas eu já vi esse exemplo!!! Sim, em uma mesma análise pode haver mais de um erro. Percebemos que o bot não possui nenhuma resposta de chichat sobre o input não entendi. Seria interessante criar uma resposta que confortasse o usuário e explicasse que este bot vai aprender mais para poder ajudar os usuários, e que ele vai tentar explicar melhor da próxima vez.

É isso, foi apenas uma pincelada da curadoria do dia a dia usando os dados que o Rasa X disponibiliza na análise das conversas dos usuários ao nosso favor. Claro que uma curadoria completa desses erros exigiria uma análise mais profunda das métricas e exemplos de conversas de outros usuários com os mesmos erros. O que vim explicitar aqui é: leia os dados, use sua intuição e veja que por meio deles você pode aplicar o tratamento correto de forma mais prática e simples.