Què passa si la intel·ligència artificial s'equivoca?

Per què la IA no pot inventar-se un preu?

Perquè no se li demana que ho sàpiga. L'aplicació no li pregunta al model quant costa un producte: el model interpreta el que ha dit el client (quina referència, quina quantitat, quin format) i l'aplicació consulta el preu a l'ERP. És una diferència d'arquitectura, no de qualitat del model.

Tècnicament es resol amb crides a funcions: el model només pot demanar operacions concretes i definides, i les dades vénen de qui les té. Tota la resta queda fora del seu abast.

Què passa amb el que l'aplicació no entén bé?

Es converteix en una excepció i la veu una persona. En un procés real sempre hi ha entrades ambigües: una referència mal escrita, una quantitat poc clara, una petició que barreja dues coses. El sistema no endevina: marca el cas, l'aparta i el posa a la cua de revisió amb el context necessari per resoldre'l ràpid.

L'objectiu del projecte és que les excepcions siguin poques i que l'equip trigui poc a resoldre-les. Aquest percentatge es mesura durant el pilot i és un dels criteris per decidir si el projecte continua.

Es pot saber què va fer el sistema i per què?

Sí, i és una exigència de disseny, no un extra. Cada crida al model queda registrada: què es va preguntar, amb quines dades, què va respondre i quina acció es va executar després. Serveix per a tres coses diferents i totes són importants:

• Corregir: quan alguna cosa surt malament, es pot reconstruir exactament què va passar en lloc de suposar-ho.
• Millorar: els registres mostren on es concentren les excepcions, que és per on convé continuar treballant.
• Respondre: davant d'un client, un auditor o l'autoritat de protecció de dades, la traçabilitat és el que permet demostrar com es va prendre una decisió.

I qui en respon si hi ha un problema?

La responsabilitat sobre el procés continua sent de l'empresa, igual que amb qualsevol programari: per això la supervisió humana està dissenyada en els punts on la decisió té efectes sobre una persona o sobre el negoci. Tecnea respon del funcionament del sistema tal com es va acordar i el manté mentre duri el contracte d'evolució.

Convé desconfiar de qui prometi que el seu sistema no s'equivoca. El que es pot prometre, i és el que fem, és que els errors siguin visibles, delimitats i reversibles.