Hoy, en la Convención Parés i Aubia, ha surgido una pregunta sobre el marco ético y legal de la inteligencia artificial: ¿Qué marco legal y ético regula la inteligencia artificial? Me ha parecido especialmente interesante porque a menudo hablamos de las posibilidades de la IA, pero mucho menos de los conflictos reales que plantea su aplicación.
Y casos, ya tenemos unos cuantos.
Cuando la inteligencia artificial se equivoca: tres casos reales
En los Países Bajos, el escándalo de las prestaciones para el cuidado de los hijos puso de manifiesto las consecuencias de utilizar sistemas de detección de fraude que incorporaban criterios discriminatorios. Miles de familias fueron acusadas injustamente y obligadas a devolver ayudas. El problema no era solo tecnológico: era institucional. Los sistemas de clasificación del riesgo y las decisiones administrativas se habían integrado en un sistema que no disponía de garantías suficientes para cuestionarlas.
Amazon abandonó una herramienta experimental de selección de personal después de descubrir que penalizaba determinados currículums de mujeres. El sistema había aprendido a partir de datos históricos de contratación, mayoritariamente masculinos. No discriminaba porque alguien le hubiera ordenado explícitamente hacerlo, sino porque reproducía los patrones que había aprendido.
Y en 2024, Air Canada tuvo que responder por la información incorrecta que su asistente virtual había proporcionado a un cliente sobre una tarifa especial por defunción. La empresa intentó desvincularse de la respuesta del sistema, pero el tribunal consideró que seguía siendo responsable de la información publicada a través de sus canales.
Tres casos diferentes que comparten una cuestión de fondo: cuando incorporamos sistemas automatizados a las organizaciones, también incorporamos sus errores, sus sesgos y sus consecuencias.
¿Qué marco legal y ético regula la inteligencia artificial?
Por eso me ha parecido pertinente recuperar dos marcos que ya tenemos disponibles.
UNESCO: los principios éticos de la inteligencia artificial
En 2021, la UNESCO aprobó la Recomendación sobre la ética de la inteligencia artificial, que establece principios como la no discriminación, la transparencia, la privacidad, la supervisión humana y la responsabilidad.
Se trata de un marco internacional de recomendaciones que, aunque no es una ley directamente vinculante para las empresas, también ofrece orientaciones para trasladar estos principios a la práctica.
AI Act: el reglamento europeo de inteligencia artificial
La Unión Europea ha ido más allá con el Reglamento de inteligencia artificial, la AI Act, que clasifica determinados usos según el riesgo y establece obligaciones específicas. No es casual que entre los ámbitos especialmente sensibles encontremos la selección de personal, la educación, el acceso a servicios esenciales o determinados usos de la identificación biométrica.
El reglamento entró en vigor en 2024 y se aplica de manera progresiva, con disposiciones que ya son aplicables y otras que tienen plazos posteriores. Por ello, es importante que las empresas conozcan el marco regulador europeo y su calendario de aplicación, especialmente cuando incorporan sistemas de IA en procesos que pueden afectar a personas o decisiones relevantes.
¿Cómo afecta el uso de la IA a las decisiones cotidianas de las empresas?
Ahora bien, lo que me parece más interesante es trasladarlo a las decisiones cotidianas de las empresas.
Imaginemos una empresa que incorpora IA a su CRM para puntuar oportunidades comerciales. El sistema aprende que los clientes más rentables históricamente pertenecen a un determinado sector, tienen una dimensión concreta o provienen de una zona geográfica específica. A partir de ahí, empieza a descartar sistemáticamente otros perfiles.
Quizás mejora la conversión a corto plazo. Pero también puede estar condicionando la estrategia comercial de la empresa sin que nadie haya decidido explícitamente excluir estos segmentos.
O pensemos en una empresa que utiliza IA para generar código. El resultado funciona, supera las pruebas iniciales y llega a producción. Meses después se descubre una vulnerabilidad que expone datos de clientes. ¿Quién debía haber revisado ese código? ¿Qué garantías se habían establecido? ¿Se ha modificado el proceso de validación para adaptarlo a la nueva forma de programar?
Este segundo ejemplo me resulta especialmente cercano. En nuestro sector veo cómo la IA acelera enormemente la producción, pero también cómo puede generar una falsa sensación de solvencia. Un resultado bien presentado, coherente y aparentemente funcional puede esconder errores que solo alguien con suficiente experiencia es capaz de detectar.
Y aquí hay una paradoja que me preocupa: justo cuando la tecnología permite ejecutar más tareas con menos experiencia, el criterio profesional se vuelve más necesario.
De la regulación a la práctica: la responsabilidad de las empresas
No creo que la respuesta sea limitar el uso de la IA. Al contrario. Pero sí que deberíamos revisar cómo distribuimos las responsabilidades, qué validaciones exigimos y qué competencias necesitan los equipos.
La UNESCO nos ofrece un marco ético. La Unión Europea concreta las obligaciones legales. A las empresas nos corresponde convertir estos principios en procedimientos verificables.
Por ejemplo, no es lo mismo declarar que una organización garantiza la supervisión humana que establecer quién revisa una decisión automatizada, con qué información, en qué momento y con capacidad real para modificarla.
Esta es, para mí, la cuestión interesante que ha aparecido hoy en la convención: no tanto si la IA necesita ética o regulación, sino si las organizaciones estamos adaptando nuestros mecanismos de decisión y control a la velocidad con la que incorporamos esta tecnología.
Porque automatizar una tarea es relativamente fácil. Saber qué estamos delegando, y qué no, es otra cosa.
