Avui, a la Convenció Parés i Aubia, ha sorgit una pregunta sobre el marc ètic i legal de la intel·ligència artificial: Quin marc legal i ètic regula la intel·ligència artificial? M’ha semblat especialment interessant perquè sovint parlem de les possibilitats de la IA, però molt menys dels conflictes reals que planteja la seva aplicació.
I de casos, ja en tenim uns quants.
Quan la intel·ligència artificial s’equivoca: tres casos reals
Als Països Baixos, l’escàndol de les prestacions per a la cura dels fills va posar de manifest les conseqüències d’utilitzar sistemes de detecció de frau que incorporaven criteris discriminatoris. Milers de famílies van ser acusades injustament i obligades a retornar ajudes. El problema no era només tecnològic: era institucional. Els sistemes de classificació del risc i les decisions administratives s’havien integrat en un sistema que no disposava de garanties suficients per qüestionar-les.
Amazon va abandonar una eina experimental de selecció de personal després de descobrir que penalitzava determinats currículums de dones. El sistema havia après a partir de dades històriques de contractació, majoritàriament masculines. No discriminava perquè algú li hagués ordenat explícitament fer-ho, sinó perquè reproduïa els patrons que havia après.
I el 2024, Air Canada va haver de respondre per la informació incorrecta que el seu assistent virtual havia proporcionat a un client sobre una tarifa especial per defunció. L’empresa va intentar desvincular-se de la resposta del sistema, però el tribunal va considerar que continuava sent responsable de la informació publicada a través dels seus canals.
Tres casos diferents que comparteixen una qüestió de fons: quan incorporem sistemes automatitzats a les organitzacions, també incorporem els seus errors, els seus biaixos i les seves conseqüències.
Quin marc legal i ètic regula la intel·ligència artificial?
Per això m’ha semblat pertinent recuperar dos marcs que ja tenim disponibles.
UNESCO: els principis ètics de la intel·ligència artificial
El 2021, la UNESCO va aprovar la Recomanació sobre l’ètica de la intel·ligència artificial, que estableix principis com la no-discriminació, la transparència, la privacitat, la supervisió humana i la responsabilitat.
Es tracta d’un marc internacional de recomanacions que, tot i no ser una llei directament vinculant per a les empreses, també ofereix orientacions per traslladar aquests principis a la pràctica.
AI Act: el reglament europeu d’intel·ligència artificial
La Unió Europea ha anat més enllà amb el Reglament d’intel·ligència artificial, l’AI Act, que classifica determinats usos segons el risc i estableix obligacions específiques. No és casual que entre els àmbits especialment sensibles hi trobem la selecció de personal, l’educació, l’accés a serveis essencials o determinats usos de la identificació biomètrica.
El reglament va entrar en vigor el 2024 i s’aplica de manera progressiva, amb disposicions que ja són aplicables i altres que tenen terminis posteriors. Per això, és important que les empreses coneguin el marc regulador europeu i el seu calendari d’aplicació, especialment quan incorporen sistemes d’IA en processos que poden afectar persones o decisions rellevants.
Com afecta l’ús de la IA a les decisions quotidianes de les empreses?
Ara bé, el que em sembla més interessant és traslladar-ho a les decisions quotidianes de les empreses.
Imaginem una empresa que incorpora IA al seu CRM per puntuar oportunitats comercials. El sistema aprèn que els clients més rendibles històricament pertanyen a un determinat sector, tenen una dimensió concreta o provenen d’una zona geogràfica específica. A partir d’aquí, comença a descartar sistemàticament altres perfils.
Potser millora la conversió a curt termini. Però també pot estar condicionant l’estratègia comercial de l’empresa sense que ningú hagi decidit explícitament excloure aquests segments.
O pensem en una empresa que utilitza IA per generar codi. El resultat funciona, supera les proves inicials i arriba a producció. Mesos després es descobreix una vulnerabilitat que exposa dades de clients. Qui havia d’haver revisat aquell codi? Quines garanties s’havien establert? S’ha modificat el procés de validació per adaptar-lo a la nova manera de programar?
Aquest segon exemple em resulta especialment proper. En el nostre sector veig com la IA accelera enormement la producció, però també com pot generar una falsa sensació de solvència. Un resultat ben presentat, coherent i aparentment funcional pot amagar errors que només algú amb prou experiència és capaç de detectar.
I aquí hi ha una paradoxa que em preocupa: just quan la tecnologia permet executar més tasques amb menys experiència, el criteri professional esdevé més necessari.
De la regulació a la pràctica: la responsabilitat de les empreses
No crec que la resposta sigui limitar l’ús de la IA. Al contrari. Però sí que hauríem de revisar com distribuïm les responsabilitats, quines validacions exigim i quines competències necessiten els equips.
La UNESCO ens ofereix un marc ètic. La Unió Europea concreta les obligacions legals. A les empreses ens correspon convertir aquests principis en procediments verificables.
Per exemple, no és el mateix declarar que una organització garanteix la supervisió humana que establir qui revisa una decisió automatitzada, amb quina informació, en quin moment i amb capacitat real per modificar-la.
Aquesta és, per mi, la qüestió interessant que ha aparegut avui a la convenció: no tant si la IA necessita ètica o regulació, sinó si les organitzacions estem adaptant els nostres mecanismes de decisió i control a la velocitat amb què incorporem aquesta tecnologia.
Perquè automatitzar una tasca és relativament fàcil. Saber què estem delegant, i què no, és una altra cosa.
