A IA inventa jurisprudência porque modelos de linguagem geram texto a partir de padrões, não de uma consulta a um banco de decisões. Quando você pede "três decisões do STJ sobre o tema" e o modelo não tem a informação exata, ele produz algo com o formato certo: número de processo plausível, relator, data e uma ementa que parece feita sob medida. Esse fenômeno é chamado de alucinação, ou confabulação, e não desaparece com um pedido do tipo "não invente".

A solução não está na instrução, e sim no método de trabalho: nenhuma decisão entra na peça sem ter sido encontrada e lida no site oficial do tribunal. Este artigo explica por que o erro acontece, quais são os tipos de falha e como montar controles no escritório. Para conferir uma citação específica, use o checklist de como verificar jurisprudência.

Controles contra jurisprudência inventada pela IAControles contra jurisprudência inventada pela IA

Por que a IA "alucina"

O NIST, instituto de padrões dos Estados Unidos, descreve a confabulação como conteúdo falso ou errado apresentado com confiança. O modelo não "mente" no sentido humano: ele completa um padrão. Se o padrão pede uma citação e a informação real não está disponível, ele gera uma citação com a forma esperada.

No trabalho jurídico, o risco aumenta quando:

  • o pedido exige uma resposta mesmo sem base ("me traga decisões que...");
  • a pergunta é ambígua;
  • a busca da ferramenta traz uma fonte fraca ou incompleta;
  • o documento enviado foi cortado ou lido com erros de leitura automática de páginas digitalizadas (OCR);
  • os documentos se contradizem;
  • a ferramenta não tem a opção de responder "não encontrei".

Modelos mais novos erram menos, mas nenhum transforma uma lacuna em fato. E as consequências já chegaram aos tribunais: o TST multou empresa e advogado em 1% do valor da causa por jurisprudência inexistente (notícia do TST), e o TJSC aplicou 10% num caso semelhante (notícia do TJSC).

Os tipos de erro, e o que pega cada um

Nem toda alucinação é uma decisão inexistente. Os erros mais comuns:

Tipo de erroExemploComo detectar
Decisão inexistenteProcesso, súmula ou tema inventadoBuscar no site oficial
Dados trocadosRelator ou órgão julgador erradoComparar com o documento oficial
Atribuição falsaArgumento de uma parte apresentado como fundamento da decisãoLer o inteiro teor
Aplicação falsaDecisão real, mas com fatos diferentesAnálise jurídica humana
Fato inventadoPagamento ou documento que não existe nos autosExigir documento e página
Lei desatualizadaTexto revogado ou de outro regimeConsultar a versão vigente
Certeza indevidaHipótese apresentada como conclusãoPedir que a ferramenta indique incertezas

Um verificador automático de citações elimina as decisões inexistentes e os dados trocados. O verificador de jurisprudência gratuito da Lauda, por exemplo, confere número, classe, relator, órgão e datas de acórdãos do STJ. Mas nenhum verificador diz se a decisão se aplica ao seu caso. Cada tipo de erro exige um controle diferente.

O método que impede o erro: fonte antes do texto

A ordem de trabalho muda tudo. Em vez de pedir à IA que "lembre" precedentes, siga esta sequência:

  1. formule a pergunta jurídica;
  2. pesquise no site oficial do tribunal;
  3. abra o inteiro teor;
  4. registre número, tribunal, órgão, relator, data, link e o trecho útil;
  5. entregue à IA apenas as decisões registradas;
  6. peça a redação usando só essas decisões;
  7. confira o texto final contra as fontes.

Se a pesquisa não encontrar nada, a resposta certa é uma lacuna, com a indicação das buscas feitas. O guia de pesquisa jurídica online mostra como registrar a pesquisa.

Os controles, camada por camada

1. Pesquisa nas fontes oficiais

Legislação e jurisprudência são consultadas nos sites oficiais antes da redação. Resultados de buscadores e resumos de terceiros servem para descobrir, não para confirmar.

2. Registro de cada fonte

Cada decisão usada tem uma ficha com os dados de identificação, o link e o trecho que sustenta a afirmação.

3. Redação limitada às fontes registradas

A IA só pode citar as decisões da lista. Qualquer citação fora dela é retirada da minuta.

4. Conferência automática

Números, datas, links e citações literais são comparados com as fichas. Datas e valores são recalculados.

5. Conferência do conteúdo

Alguém compara cada afirmação com o trecho da decisão e verifica se o trecho é do voto vencedor, se a decisão continua válida e se os fatos se parecem com os do caso.

6. Aprovação humana

O advogado decide a relevância, o alcance e a versão final, antes de qualquer envio ou protocolo.

Os fatos do caso também podem ser inventados

Uma narrativa fluida pode inventar tanto quanto uma pesquisa. Cada fato relevante deve ter documento e página, e a classificação deve ficar clara: documentado, alegado por uma parte, deduzido ou pendente.

Um exemplo do Caso Helena, exercício do livro Advocacia Aumentada em que uma aposentada contesta um consignado digital: a frase "Helena confirmou a contratação" funde duas fontes diferentes numa só. O correto é registrar a confirmação telefônica, com base na transcrição, como alegação a ser examinada, e os dados de biometria, com base no relatório, com um limite explícito: eles não dizem, sozinhos, se houve indução. Versões conflitantes ficam lado a lado, como mostra o guia de cronologia processual.

Ferramentas que buscam nos documentos antes de responder reduzem esse risco, mas não o eliminam: podem trazer o documento errado ou uma versão desatualizada.

Como testar a ferramenta que você usa

Monte um pequeno conjunto de testes com armadilhas:

  • uma decisão inexistente com número de formato plausível;
  • um processo real com número quase igual;
  • uma decisão verdadeira que não se aplica ao caso;
  • uma lei revogada;
  • uma ementa que reproduz um argumento rejeitado;
  • um documento essencial ausente;
  • uma pergunta cuja resposta certa é "não localizado".

A meta para decisões inexistentes em documentos liberados é zero. Uma média alta de acertos não compensa uma única citação falsa numa peça.

Um pedido de revisão útil

Instrução para copiar e adaptar

Adapte os itens ao caso e confira o resultado antes de utilizá-lo.

Revise a minuta usando somente as fontes da lista anexada.

Para cada afirmação jurídica ou de fato:

- indique a fonte da lista que a sustenta;

- mostre o trecho de apoio;

- classifique o apoio como direto, parcial ou ausente;

- marque o que for dedução;

- liste as citações que não estão na lista.

Não substitua fonte ausente por conhecimento próprio.

Esse pedido organiza a revisão, mas não confirma, sozinho, que as fontes existem nem que se aplicam ao caso.

Quando a falha acontece

  1. Suspenda o documento e identifique a ferramenta e a versão usadas.
  2. Procure o mesmo erro em documentos relacionados.
  3. Corrija e avise os responsáveis.
  4. Descubra em qual etapa o erro passou.
  5. Transforme o caso num novo teste.

Se o documento já chegou ao cliente, ao tribunal ou a terceiros, a equipe jurídica deve avaliar imediatamente as medidas cabíveis. Corrigir por iniciativa própria costuma ser melhor do que esperar que outra pessoa aponte o erro. Quem assina responde pela peça, como explica o guia de ética no uso de IA, e o tratamento de incidentes deve constar da política de IA do escritório.

Respostas rápidas

Perguntas frequentes

O que é alucinação de IA?

É quando a ferramenta produz informação falsa com aparência de verdadeira, como uma decisão judicial inexistente, um artigo de lei com redação errada ou um fato que não está nos documentos.

Por que o ChatGPT inventa jurisprudência?

Porque gera texto a partir de padrões e, sem acesso à decisão real, produz uma citação com o formato esperado. Mesmo com busca na web ativada, ele pode resumir mal ou atribuir a uma decisão algo que ela não diz.

Pedir para a IA "não inventar" resolve?

Reduz, mas não resolve. O que resolve é o método: a IA trabalha só com decisões que você encontrou e leu no site oficial, e toda citação é conferida antes do protocolo.

Existe ferramenta para detectar jurisprudência falsa?

Existem verificadores que conferem se a decisão existe e se os dados batem, como o verificador de jurisprudência para acórdãos do STJ. A leitura do inteiro teor continua necessária para saber se a decisão se aplica ao caso.

Fontes e referências