Enzo Ribeiro

Product Designer & Developer

Notas

02 notas

  1. Por que precisamos ensinar os agentes de IA a dizer ‘não sei’

    Celular com o logotipo da OpenAI sobre um notebook com o ChatGPT aberto.

    Imagine a seguinte situação: um cliente pergunta a um agente de inteligência artificial se determinado produto pode ser integrado ao sistema da sua empresa. O agente não encontra documentação suficiente, mas responde com segurança: “Sim, a integração é totalmente compatível”. A conversa avança, o cliente compra e, na implementação, a equipe descobre que a compatibilidade dependia de uma funcionalidade que não existe.

    Esse exemplo hipotético revela um problema que vai além de uma informação incorreta: o agente transformou uma lacuna de conhecimento em uma promessa comercial. Na avaliação imediata, o atendimento poderia parecer excelente, com resposta rápida, linguagem cordial e nenhuma dificuldade aparente. O prejuízo só apareceria depois, quando outra pessoa precisasse lidar com a distância entre o que foi prometido e o que era possível entregar.

    Ensinar agentes de IA a dizer “não sei” significa impedir que essa distância seja preenchida por uma certeza inventada. Para funcionar, porém, essa orientação precisa influenciar o treinamento, a avaliação e as ações que o sistema pode executar.

    O que significa ensinar uma IA a reconhecer seus limites?

    Recolher texto