IA treinada com os documentos da sua empresa: o que significa de verdade e o que exigir

"Queremos uma IA treinada com os nossos documentos" é uma das frases que mais ouvimos. A intenção é clara e é boa: que o assistente conheça os contratos, os procedimentos e o histórico da empresa, em vez de dar respostas genéricas da internet.

A forma de o conseguir, no entanto, quase nunca passa por treinar seja o que for. E convém sabê-lo antes de contratar, porque muda o preço, os prazos e — sobretudo — as garantias que pode exigir.

Treinar e consultar não são a mesma coisa

Treinar um modelo significa modificar o próprio modelo para que incorpore a sua informação. É caro, lento, tem de se repetir sempre que um documento muda e tem um efeito desagradável: o que foi aprendido mistura-se com o resto do conhecimento do modelo e já não se consegue separar nem apagar com facilidade. Se amanhã um cliente exercer o direito de apagamento, tem um problema.

O que se faz na prática é indexar e consultar: os documentos ficam guardados num repositório próprio e, quando alguém pergunta, o sistema procura primeiro os fragmentos relevantes e entrega-os ao modelo juntamente com a pergunta para que redija a resposta. O modelo não "sabe" nada sobre a sua empresa: lê o que lhe dão nesse momento e responde.

Essa diferença tem três consequências práticas, e todas jogam a seu favor:

• Os seus documentos não entram no modelo. Ficam no seu repositório. Apaga um documento e deixa de existir para o assistente de imediato.
• A resposta pode citar a fonte. Como o sistema sabe que fragmentos usou, pode dizer-lhe de que documento e de que página sai cada afirmação. Um assistente que não cita não é de confiança para uso profissional.
• Atualiza-se sozinho. Muda o procedimento, é reindexado, e a pergunta seguinte já responde com a versão nova.

A armadilha cara: as permissões

É esta que afunda projetos, e quase nunca aparece na proposta comercial.

Se indexar "todos os documentos da empresa" num único repositório e puser por cima uma pesquisa conversacional, acabou de construir uma máquina para contornar as permissões das suas pastas. A pessoa do armazém pergunta ao assistente pelas condições de um fornecedor e ele conta-as. Alguém pergunta pelos salários e, se essa folha foi indexada, aparece.

Não é uma falha do modelo: é que ninguém replicou as permissões. Um assistente documental sério tem de saber quem está a perguntar e procurar apenas naquilo que essa pessoa já podia abrir. É a primeira pergunta que deveria fazer a qualquer fornecedor, e a resposta certa não é "o modelo não partilha informação entre utilizadores", mas sim como se aplicam as permissões na própria pesquisa.

O que exigir, em concreto

Cinco perguntas que separam uma proposta séria de uma demonstração bonita:

1. Onde são processados e guardados os documentos? País e fornecedor de infraestrutura. Se a resposta for vaga, não avance.
2. Os meus documentos são usados para treinar modelos de terceiros? Tem de estar no contrato, não numa frase do site.
3. Respeita as permissões que já tenho? E como: por utilizador, por grupo, por pasta.
4. Cita as fontes de cada resposta? Com ligação ao documento e, se possível, à página ou secção.
5. O que acontece quando não sabe? Um assistente que nunca diz "não encontro isso na sua documentação" é um assistente que inventa. Peça-o explicitamente e teste-o com uma pergunta cuja resposta não esteja em documento nenhum.

O que pode esperar de verdade

Funciona muito bem quando a resposta existe algures e o problema é encontrá-la: condições de um contrato, como se faz um procedimento interno, o que foi acordado com um cliente há três anos, o que diz uma norma que a empresa já tem documentada.

Funciona mal, ou não funciona, quando a resposta exige contar ou calcular sobre muitos documentos ao mesmo tempo ("quantos contratos vencem neste trimestre?"). Isso não é uma pergunta de documentação, é uma consulta a uma base de dados, e resolve-se de outra maneira — normalmente ligando ao sistema de gestão, não à pesquisa.

E há uma condição prévia que ninguém quer ouvir: se a sua documentação está desorganizada, duplicada e com três versões do mesmo contrato, o assistente devolve-lhe essa desordem com muita segurança e boa redação. A qualidade da resposta não pode ser melhor do que a dos documentos. É a parte do projeto que não se pode subcontratar.

Se quiser ver como o planeamos, com que garantias e a que preço: A IA pode rever a documentação da minha empresa? (em espanhol).

Este artigo é informativo. A Tecnea desenvolve este tipo de assistentes, pelo que temos um interesse comercial direto no tema. As cinco perguntas acima estão escritas para que também nos possa fazer a nós — e se um fornecedor não as responder por escrito, esse é o dado.