¿La inteligencia artificial puede tener conciencia moral? ¿Podemos dejarle decisiones tan delicadas como diagnosticar una depresión o decidir si alguien merece ser despedido? Estas fueron algunas de las preguntas que rondaron el Taller de la Cátedra Interuniversitaria Tomás Moro 2025, que tuvimos el honor de dirigir implementando el “Método del Caso”.
Dicho taller efectuado en mayo pasado reunió a jóvenes estudiantes de diversas universidades de América Latina y España para que, mediante el análisis de casos prácticos, identificaran tensiones entre innovación tecnológica, derechos humanos y dignidad. Lo que concluyeron es tan poderoso como preocupante.
Más artículos del autor
Cuando la IA se convierte en terapeuta (y falla)
Imagina que estás pasando por una crisis emocional, abres una app de apoyo llamada “Mindly” y lo único que obtienes es un mensaje automático tipo: “Recuerda que todo pasa”. No ayuda, ¿cierto? Justamente esto debatieron los estudiantes de la Universidad Tres Culturas UTC: la IA no tiene empatía real, y por eso no puede reemplazar a un ser humano en contextos de salud mental. Concluyeron algo que de tan obvio a veces se olvida: la IA puede apoyar, pero nunca debe sustituir a un profesional humano en temas de salud emocional.
La empatía no es programable, por lo que se deben establecer protocolos de derivación humana y el diseño ético debe contemplar salvaguardas técnicas, jurídicas y humanas.
¿Despido por algoritmo?
Otro caso discutido fue el de TalentScore (OmniWork), una herramienta que evalúa empleados y puede incluso recomendar su despido. ¿El problema? Que lo hace sin considerar si una trabajadora está embarazada, si alguien se enfermó o si fue víctima de acoso. Varias universidades, como el Politécnico Grancolombiano de Colombia POLI1, el Centro Universitario UTEG y la Universidad Latinoamericana ULA, analizaron este caso a fondo y concluyeron que ningún algoritmo debe decidir el futuro laboral de una persona, porque estas prácticas no solo deshumanizan el entorno de trabajo, sino que también pueden vulnerar derechos fundamentales consagrados en la legislación laboral, como el derecho a ser escuchado, a una defensa previa y al debido proceso. Además, se identificaron riesgos de discriminación algorítmica al aplicar métricas que no reconocen la complejidad de la vida humana ni las condiciones específicas de los trabajadores.
Esto no es una exageración: estudios como los de Virginia Eubanks en Automating Inequality han documentado cómo los sistemas automáticos pueden reforzar desigualdades en lugar de resolverlas.
Justicia predictiva: ¿Ciencia ficción o pesadilla real?
Una de las discusiones más intensas fue sobre “JustIA”, Caso presentado por los equipos de la Universidad Americana del Noreste UANE y la Escuela de Gobierno y Transformación Pública SKR de España, sobre un sistema que sugiere prisión preventiva basándose en la probabilidad de reincidencia. Básicamente: si tu perfil “pinta mal”, podrías terminar en la cárcel sin haber cometido nada. ¿Te suena a “Minority Report”? Pues ya está ocurriendo. Como denunció ProPublica en su famoso artículo “Machine Bias”, estos sistemas suelen ser más duros con ciertos grupos sociales.
Se denunció que estos algoritmos refuerzan sesgos estructurales, vulneran la presunción de inocencia y promueven una justicia estadística despersonalizada.
La conclusión fue clara: la justicia no puede estar en manos de un algoritmo sin corazón ni contexto.
¿Qué pasa con la diversidad?
Los sesgos no solo afectan a individuos, sino a comunidades enteras. El caso “NovaAI” presentado por el Politécnico Grancolombiano de Colombia POLI2, mostró cómo las culturas indígenas o minorías pueden ser invisibilizadas por una IA entrenada solo con datos del “mundo dominante”. Esto lo alertó también Safiya Noble en su libro Algorithms of Oppression, al denunciar cómo Google reforzaba estereotipos raciales sin darse cuenta.
La presentación resaltó la urgencia de diseñar IA con enfoque intercultural, justicia algorítmica e inclusión deliberada
Los participantes propusieron algo novedoso: una Carta de Derechos Algorítmicos. ¿Suena utópico? Quizá, pero toda buena sociedad empieza por imaginar lo justo.
La IA no es neutral: lo dicen los datos y los estudiantes
Una de las frases más potentes del taller fue: “La IA no es neutral. Está hecha por personas, con datos sesgados y estructuras de poder detrás.” Y es verdad. La propia UNESCO, en su Recomendación sobre la ética de la inteligencia artificial, reconoce que el desarrollo de estas tecnologías debe estar guiado por principios de justicia, equidad y respeto a los derechos humanos.
¿Utopía tecnocrática o sociedad con alma?
Inspirados por el sentido de justicia de Tomás Moro, los estudiantes no solo señalaron los riesgos, sino que propusieron una visión positiva: usar la IA para construir una sociedad más justa, no solo más eficiente. Esto implica poner freno al “tecnosolucionismo” —esa idea de que todo se resuelve con tecnología— y recuperar el sentido humano de las decisiones.
Como ocurrió con la bioética en el siglo XX, ahora urge una “tecnoética” que ponga límites claros y valores compartidos a este nuevo poder.
Conclusión
La inteligencia artificial está transformando nuestra forma de vivir, trabajar y tomar decisiones. Pero como mostraron los jóvenes participantes en el Taller de la Cátedra Interuniversitaria Tomás Moro 2025, esta transformación no puede desvincularse de una profunda reflexión ética. La IA no es neutral: lleva impresas nuestras intenciones, nuestros sesgos y nuestras estructuras sociales. Por eso, más que preguntarnos qué puede hacer la tecnología, debemos preguntarnos qué sociedad queremos construir con ella.
El futuro no está escrito por algoritmos, sino por decisiones humanas conscientes. Como afirma la Recomendación sobre la Ética de la Inteligencia Artificial de la UNESCO (2021), “la IA debe desarrollarse con base en principios de derechos humanos, inclusión y sostenibilidad”. Esto implica una acción decidida: desde diseñadores hasta legisladores, desde educadores hasta ciudadanos, todos estamos llamados a participar en el rumbo ético de la tecnología.
Inspirados por un pensamiento humanista, como el de Tomás Moro y guiados por los principios de justicia, dignidad y solidaridad, podemos optar por un camino distinto al del tecnosolucionismo acrítico. Como advierte Cathy O’Neil en Weapons of Math Destruction (2016), los algoritmos sin control pueden volverse “bombas de opresión matemática”. Pero si se diseñan con participación, transparencia y supervisión, pueden ser herramientas de equidad.
La esperanza está en nuestras manos: no se trata de rechazar la IA, sino de domesticarla al servicio del bien común. Así como la bioética nació para enfrentar los abusos científicos del siglo XX, hoy necesitamos una ética algorítmica que defienda la dignidad humana frente a los códigos invisibles del siglo XXI.
Porque una IA al servicio de todos solo será posible si la construimos entre todos.
Antes de despedirme, les invito a escuchar el podcast de “Laicos en la Vida Pública” sobre este artículo en la siguiente liga:
Referencias
Costanza-Chock, S. (2020). Design justice: Community-led practices to build the worlds we need. MIT Press.
Eubanks, V. (2018). Automating inequality: How high-tech tools profile, police, and punish the poor. St. Martin’s Press.
Noble, S. U. (2018). Algorithms of oppression: How search engines reinforce racism. New York University Press.
O’Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown Publishing Group.
ProPublica. (2016, May 23). Machine bias: There’s software used across the country to predict future criminals. And it’s biased against blacks.
UNESCO. (2021). Recomendación sobre la ética de la inteligencia artificial. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura.
Anaya, C. (2025). Conclusiones Generales del Taller de la Catedra Interuniversitaria Tomás Moro 2025 - Transformando el Futuro: El Rol Ético de la Inteligencia Artificial en la Sociedad.