Autora: Dra. Begoña G. Otero, miembro de OdiseIA e investigadora perteneciente al subgrupo «AI for Good», cAIre Research Project.
Introducción: La vulnerabilidad humana en tiempos de las tecnologías de IA
Vivimos en un mundo en el que los sistemas de IA pueden utilizarse para predecir nuestro próximo movimiento, sugerir productos y servicios que no sabíamos que queríamos o incluso decidir si nos conceden un préstamo o un tratamiento médico. Emocionante, ¿verdad? Sin embargo, he aquí la otra cara de la moneda: ¿y si esta misma tecnología se utiliza para aprovecharse de nuestras debilidades, influye sutilmente en nuestras decisiones, daña nuestra integridad o profundiza las desigualdades sociales? Si estas posibilidades os generan inquietud, no estáis solos.
El rápido avance de las tecnologías de IA plantea importantes cuestiones sobre la vulnerabilidad humana. ¿Qué significa ser vulnerable en el contexto de la IA? ¿Cómo podemos garantizar que estas tecnologías nos ayuden en lugar de perjudicarnos? Estos interrogantes no son sólo académicos; nos afectan a todas y a todos en nuestra vida cotidiana.
En las siguientes líneas vamos a profundizar en el concepto de vulnerabilidad; a explicar cómo ha evolucionado a lo largo del tiempo, y cómo distintas teorías de diferentes campos del conocimiento pueden ayudarnos a entenderlo mejor en el contexto de la IA. Asimismo, este blogpost proporciona ejemplos concretos que ilustran estas teorías y plantea la pregunta de si la concepción actual de la vulnerabilidad humana es adecuada en el contexto de las tecnologías de la IA. Como investigadora de las aplicaciones de uso positivas de la IA para ayudar a personas vulnerables, es crucial definir qué significa vulnerabilidad en la era de la IA antes de que podamos sacarle todo el partido a su potencial para hacer el bien.
La evolución del concepto de vulnerabilidad
La idea de vulnerabilidad es tan antigua como la propia humanidad, pero su definición ha evolucionado significativamente con el tiempo. Vamos a hacer un recorrido por su historia para entender cómo se aplica hoy en día, especialmente en el contexto de las tecnologías de IA.
Las primeras interpretaciones de la vulnerabilidad
Históricamente, la vulnerabilidad se ha considerado a menudo como una condición estática. Por ejemplo, a principios de la década de 1980, el politólogo Robert Goodin definió la vulnerabilidad como la «susceptibilidad al daño de los propios intereses». Goodin sostenía que los más vulnerables a nuestras acciones y negligencias son aquellos a los que debemos mayor responsabilidad. Esta perspectiva vinculaba directamente la vulnerabilidad con la responsabilidad y la rendición de cuentas.
Pensemos, por ejemplo, en las personas mayores que dependen de cuidadores. La teoría de Goodin sugeriría que la sociedad tiene una mayor responsabilidad de proteger a estas personas porque son más susceptibles de sufrir daños.
Un cambio de perspectiva: La vulnerabilidad universal
Con el tiempo, los académicos empezaron a considerar la vulnerabilidad tanto una condición de grupos específicos como un aspecto universal de la condición humana. Martha Fineman, una destacada teórica jurídica, introdujo el concepto de «sujeto vulnerable». Sostenía que todos los seres humanos somos intrínsecamente vulnerables debido a nuestro cuerpo físico y a nuestra dependencia de las relaciones sociales y las instituciones. Esta visión desplaza la atención de la protección de grupos específicos al reconocimiento de la vulnerabilidad como un rasgo humano fundamental.
La teoría de Fineman ayuda a explicar por qué las personas pueden sentirse vulnerables en distintas etapas de la vida, tales como la infancia, la enfermedad o el envejecimiento. Subraya la necesidad de estructuras sociales que apoyen a todos, no sólo a determinados grupos.
La vulnerabilidad contextual y relacional
Teorías más recientes subrayan que la vulnerabilidad no es sólo un rasgo humano universal, sino también muy contextual y relacional. La eticista Florencia Luna, por ejemplo, ha propuesto la idea de «capas (no etiquetas) de vulnerabilidad». Según Luna, la vulnerabilidad varía en función de la situación, el momento y el lugar del individuo. Este enfoque por capas permite una comprensión más matizada de cómo los distintos factores contribuyen a la vulnerabilidad de una persona en distintos momentos.
Por ejemplo, una mujer embarazada puede experimentar una mayor vulnerabilidad debido a los riesgos para su salud y a las expectativas sociales. Sin embargo, su vulnerabilidad no es estática; cambia con su salud, sus sistemas de apoyo y su situación socioeconómica.
Un examen comparativo de estas teorías de la vulnerabilidad más representativas en distintos campos de la ciencia permite extraer una serie de conclusiones. La vulnerabilidad es un aspecto inherente a la humanidad, específico de los seres vivos y relacional. Los desequilibrios de poder ocupan un lugar central en su conceptualización teórica, y existen dos enfoques para abordarla: la reparación de los daños de forma colectiva o el empoderamiento de los individuos. Por último, la ética y el derecho a menudo adoptan un enfoque de etiquetaje de la vulnerabilidad, proporcionando listas de poblaciones vulnerables. Sin embargo, como ha mencionado Luna, la estratificación por capas abre la puerta a un enfoque mucho más interseccional y enfatiza su potencial acumulativo y transitorio.
Las teorías vigentes sobre la vulnerabilidad frente a las tecnologías de IA: algunos ejemplos concretos
Para comprender mejor el impacto de las tecnologías de IA en la vulnerabilidad humana y si los enfoques existentes sobre este concepto son suficientes, es vital explorar al menos algunas de las teorías más relevantes sobre la vulnerabilidad y sustentarlas con ejemplos del mundo real. Estas teorías nos ofrecen un marco para comprender las distintas dimensiones y contextos de la vulnerabilidad.
El modelo de vulnerabilidad de Goodin
El modelo de Robert Goodin subraya la idea de que la vulnerabilidad está estrechamente ligada a la dependencia y la responsabilidad. Según Goodin, aquellos que son más vulnerables a nuestras acciones son aquellos de los que somos más responsables.
En el contexto de la IA, pensemos en los sistemas automatizados de toma de decisiones en la atención sanitaria. Los pacientes que confían en la IA para su diagnóstico y tratamiento son vulnerables a los errores y sesgos del sistema. Por tanto, los proveedores de asistencia sanitaria deben asumir una gran responsabilidad a la hora de garantizar la exactitud e imparcialidad de estos sistemas de IA para proteger a los pacientes vulnerables. Pero, ¿es éste el mejor camino?
La teoría del sujeto vulnerable de Fineman
La teoría de Martha Fineman postula que la vulnerabilidad es una condición humana universal. Sostiene que nuestras dependencias físicas y sociales inherentes nos hacen a todos vulnerables, y que la sociedad debe estructurarse para apoyar a todos y no sólo a grupos específicos.
Las plataformas de redes sociales que utilizan algoritmos y sistemas de IA para moderar contenidos pueden afectar a todos los usuarios, especialmente cuando los algoritmos no reconocen los matices de la comunicación humana. Esto puede conducir a una censura injusta o a la difusión de contenidos nocivos, afectando a la vulnerabilidad de todos ante la desinformación y el acoso. Sin embargo, ¿hasta qué punto permiten nuestros ordenamientos jurídicos asignar responsabilidades a estas plataformas?
Las capas de vulnerabilidad de Luna
El concepto de capas de vulnerabilidad de Florencia Luna sugiere que la vulnerabilidad no es estática, sino que varía en función de las circunstancias del individuo. Este enfoque por capas tiene en cuenta factores como el estatus, el tiempo y la ubicación.
Los trabajadores de la economía colaborativa que utilizan plataformas basadas en IA, como las aplicaciones para compartir desplazamientos (ride-sharing apps), pueden experimentar diferentes niveles de vulnerabilidad. Un conductor puede ser más vulnerable durante los turnos nocturnos debido a problemas de seguridad y a la fluctuación de la demanda. Su entorno laboral, su situación económica y el diseño de la plataforma de IA influyen en su vulnerabilidad. Sin embargo, ¿se tienen realmente en cuenta estas capas a la hora de diseñar este tipo de servicios comerciales? ¿Es la vulnerabilidad siquiera un factor que tengan en cuenta los propietarios de estas plataformas? ¿Debería serlo?
Las críticas y mejoras de Kohn
Nina Kohn criticó la teoría de Fineman por su potencial para dar lugar a políticas públicas excesivamente paternalistas y estigmatizadoras. Sugirió mejorar dicha teoría para defender mejor las libertades individuales sin dejar de abordar las vulnerabilidades. La autora aboga por un enfoque ponderado que tenga en cuenta tanto la protección como la autonomía.
Un ejemplo de su planteamiento sería el caso de los sistemas de vigilancia por IA que se están implantando ampliamente en los espacios públicos con fines de seguridad pública, lo que podría vulnerar los derechos individuales a la intimidad, haciendo que las personas se sientan constantemente vigiladas y pudiendo dar lugar a un uso indebido de los datos. Además, estos sistemas podrían dirigirse de forma desproporcionada a determinadas minorías raciales o étnicas, exacerbando los prejuicios existentes y dando lugar a un trato injusto. La perspectiva de Kohn haría hincapié, entre otras cosas, en la necesidad de (a) implantar obligaciones de transparencia sobre cómo se hace uso de la tecnología, qué datos se recopilan, cómo se almacenan y protegen; (b) establecer mecanismos de supervisión sólidos para garantizar que la vigilancia mediante IA se utiliza de forma ética y legítima; y (c) restringir el ámbito de uso a zonas públicas o situaciones en las que sea realmente necesario por motivos de seguridad pública. Como resultado, la implantación de un sistema de vigilancia por IA en un espacio público podría incluir un rótulo claro que informe a los ciudadanos sobre la vigilancia y el uso de los datos, un sitio web dedicado para el acceso público a información detallada, auditorías independientes periódicas y mecanismos para que las personas puedan dar su opinión o presentar quejas. Este equilibrio entre protección y autonomía es crucial a la hora de diseñar normativas sobre IA que respeten tanto la seguridad como la libertad.
Las vulnerabilidades potenciales y ocurrentes de Mackenzie
La filósofa Catriona Mackenzie introdujo la distinción entre vulnerabilidades potenciales o disposicionales y ocurrentes. Las vulnerabilidades potenciales se refieren a un estado con riesgo de daño, pero tal riesgo no es de momento concreto y tangible. Implica que existen ciertas condiciones que podrían provocar daños, pero que en la actualidad no causan ningún peligro inmediato. Por otro lado, la vulnerabilidad ocurrente es un estado de vulnerabilidad concreto y tangible en el que el riesgo se ha hecho inminente o se está produciendo un daño real. Este tipo de vulnerabilidad requiere una acción inmediata para prevenir o mitigar el daño. Su distinción es significativa porque ayuda a identificar si las vulnerabilidades requieren una intervención inmediata o medidas preventivas para evitar daños futuros. También permite dar respuestas más específicas y eficaces a los distintos tipos de vulnerabilidades.
En este sentido, pensemos en los sistemas de IA utilizados en la vigilancia policial predictiva. Las vulnerabilidades potenciales podrían incluir el riesgo de que comunidades específicas sean objeto de ataques injustos basados en IA predictiva entrenada con datos históricos. Las vulnerabilidades ocurrentes tienen lugar cuando las prácticas policiales existentes dan lugar a un exceso de vigilancia y control de estas comunidades, lo que genera desconfianza y perjuicios. Otro ejemplo de vulnerabilidad potencial podría ser un sistema de IA diseñado para procesos de contratación que utilice un conjunto de datos procedentes de datos de entrenamiento que contengan sesgos sutiles, como preferencias históricas por determinados grupos demográficos en detrimento de otros. El uso de un sistema de este tipo puede dar lugar a una vulnerabilidad disposicional al tomar sus usuarios decisiones sesgadas, con el consiguiente potencial de discriminación. En el caso de las vulnerabilidades ocurrentes, se podría considerar un sistema de IA diseñado para gestionar transacciones financieras, que detecte un patrón inusual que indique un ciberataque en curso. Los protocolos de seguridad del sistema se están viendo activamente comprometidos, lo que permite el acceso no autorizado a datos financieros sensibles. Los usuarios de este sistema de IA son en ese momento vulnerables porque el riesgo se ha materializado y necesitan una acción inmediata para mitigar el daño.
Implicaciones prácticas de estas teorías
Entender estas teorías nos ayuda a reconocer las formas multidimensionales en que las tecnologías de IA pueden afectar a la vulnerabilidad humana. Por ejemplo, la identificación de vulnerabilidades potenciales puede informar el diseño proactivo de sistemas de IA para mitigar los riesgos antes de que se materialicen. Además, reconocer la naturaleza en capas de la vulnerabilidad garantiza que las aplicaciones de IA tengan en cuenta las diversas circunstancias de los distintos grupos de usuarios.
Una propuesta de taxonomía para entender la vulnerabilidad en el contexto de las tecnologías de IA
Los ejemplos anteriores demuestran que es esencial desarrollar una taxonomía exhaustiva para abordar la naturaleza compleja y polifacética de la vulnerabilidad en el contexto de la IA. Esta taxonomía debería tener en cuenta diversos factores que contribuyen a la vulnerabilidad humana y ofrecer un enfoque estructurado para identificar y mitigar estas vulnerabilidades. Sobre la base de las teorías debatidas y de las ideas extraídas de la literatura, he aquí una serie de factores que, si se tienen en cuenta, pueden ayudar a descubrir mejor la vulnerabilidad humana en el contexto de las tecnologías de IA.
Condiciones demográficas y socioeconómicas
Las condiciones demográficas y socioeconómicas desempeñan un papel importante a la hora de determinar la vulnerabilidad en el espacio digital. Ciertos grupos pueden ser más susceptibles de sufrir daños debido a su edad, sexo, nivel educativo, ingresos o etnia. Estos factores pueden crear desventajas que se ven exacerbadas por las tecnologías de IA. Los ciudadanos de más edad pueden tener dificultades con los servicios bancarios en línea basados en IA debido a su falta de alfabetización digital, lo que les hace más vulnerables al fraude o a los errores.
Aspectos psicosociales
Las características psicosociales, como la salud mental, el estado emocional y las capacidades cognitivas, influyen en la forma en que las personas interactúan con los sistemas de IA y pueden afectar a su susceptibilidad a la manipulación o al daño por parte de las tecnologías de IA. Las personas con problemas de salud mental pueden ser más vulnerables a los algoritmos de IA que se dirigen a ellas con anuncios de productos potencialmente nocivos, como el juego o el alcohol.
Competencias y alfabetización relacionadas con la IA
Los conocimientos y habilidades de un usuario relacionados con la IA pueden influir significativamente en su vulnerabilidad. Las personas con conocimientos limitados sobre el funcionamiento de la IA o sobre cómo navegar por los sistemas basados en IA pueden correr un mayor riesgo de explotación o daño. Los consumidores que necesitan ayuda para entender cómo funcionan los algoritmos de recomendación pueden ser más propensos a caer en sugerencias de productos engañosas o información sesgada.
Factores contextuales, relacionales y situacionales
El contexto en el que se utilizan las tecnologías de IA puede crear vulnerabilidades situacionales. Estos factores incluyen el entorno, el tiempo y las circunstancias específicas en las que se emplea un sistema de IA. Los trabajadores de la economía colaborativa que utilizan plataformas basadas en IA pueden enfrentarse a vulnerabilidades relacionadas con la seguridad del empleo y las condiciones de trabajo, que pueden variar significativamente en función de la ubicación y la demanda.
Desequilibrios de poder y asimetrías de información
Los desequilibrios de poder entre desarrolladores y usuarios de IA, así como las asimetrías de información, contribuyen a la vulnerabilidad. A menudo, los usuarios carecen de los conocimientos o los recursos necesarios para comprender plenamente o cuestionar los sistemas de IA, lo que les coloca en desventaja. Las plataformas de redes sociales que utilizan IA para seleccionar contenidos pueden manipular el comportamiento de los usuarios mediante la maximización algorítmica de la participación sin que los usuarios comprendan plenamente el alcance de esta influencia.
Factores temporales
El momento y la duración de las interacciones con la IA pueden influir en la vulnerabilidad. Algunas vulnerabilidades pueden ser coyunturales y a corto plazo, mientras que otras pueden ser duraderas y crónicas. La vulnerabilidad financiera temporal debida a la pérdida del empleo puede hacer que las personas sean más susceptibles a los servicios de préstamos predatorios controlados por sistemas de IA.
Conclusiones: ¿Necesitamos replantearnos qué es la vulnerabilidad humana en el contexto de la IA?
La clasificación anterior es un primer intento de abordar de forma estructurada la cuestión de la vulnerabilidad en el contexto de la IA. Está abierta a correcciones y modificaciones en el transcurso de este proyecto de investigación y está abierta a comentarios externos. Aunque es posible que esta taxonomía no resuelva el problema principal de si necesitamos replantearnos el concepto de vulnerabilidad en el contexto de las tecnologías de IA, puede ayudar a identificar nuevas situaciones y proporcionar orientación tanto a emprendedores innovadores como a responsables políticos en términos de diseño inclusivo y evaluación de riesgos.
Aun así, queda una pregunta sin respuesta: A la luz de la rápida evolución de las tecnologías de IA, ¿necesitamos revisar la conceptualización jurídica de la vulnerabilidad humana a nivel internacional? Esta cuestión jurídica es objeto de un proyecto de investigación independiente que pronto se materializará en un trabajo de investigación.
En resumen... continuará.