“Apple y Google ofrecen docenas de aplicaciones capaces de quitarles la ropa a las personas que aparecen en fotografías o colocarlas en poses sexualizadas, sin implementar protecciones eficaces para evitar la creación de imágenes no consensuadas. Nuestros hallazgos sugieren que estas empresas no están supervisando adecuadamente sus plataformas ni aplicando de forma estricta sus propias políticas en lo que respecta a este tipo de aplicaciones”, concluye el informe.
imágenes de mujeres generadas con IA, probaron las apps que aparecieron entre los primeros resultados de búsqueda.El análisis se centró en dos categorías de aplicaciones, definidas según sus capacidades técnicas. Por un lado, se evaluaron herramientas que utilizan IA para generar imágenes y videos a partir de solicitudes de texto, como DreamFace, Collart y WonderSnap. En estos casos, el equipo de TTP cargó la imagen de una mujer completamente vestida y pidió a las aplicaciones que la mostraran total o parcialmente desnuda.
Por otro lado, se examinaron aplicaciones de “intercambio de rostros”, como RemakeFace y Swapify. Estos sistemas emplean IA para superponer el rostro de una persona sobre el cuerpo de otra. En esta categoría, los investigadores verificaron si las apps permitían colocar el rostro de una mujer vestida sobre el cuerpo desnudo de otra persona, generando así imágenes sexualizadas sin consentimiento.
Los resultados demostraron que las aplicaciones identificadas carecen de mecanismos de seguridad eficaces para impedir la generación de contenido sexual sugerente, incluso cuando sus propios términos de uso prohíben explícitamente este tipo de material. En la práctica, dichas restricciones resultan fácilmente eludibles o son simplemente inexistentes.
explicó que “las leyes de retención de datos en China establecen que el gobierno chino tiene derecho a acceder a la información de cualquier empresa local. Por lo tanto, si alguien está creando desnudos falsos de ti con estas aplicaciones, esas imágenes podrían quedar en manos del gobierno chino”.La paradoja de la IA en América LatinaDe LatamGPT a regulaciones pioneras, la región enfrenta la pregunta definitoria: ¿moldeará la tecnología de IA o será moldeada por ella?
ArrowEl reporte también señala que los sistemas de control implementados por Apple y Google resultan ineficientes. La App Store prohíbe aplicaciones que generen “contenido ofensivo, insensible, perturbador, con intención de causar repugnancia, de muy mal gusto o abiertamente sexual o pornográfico”. De forma similar, la Play Store veta las representaciones de desnudez, las poses sexualmente sugerentes y las aplicaciones que degraden o cosifiquen a las personas.
Sin embargo, como subraya el TTP, estas políticas “no han logrado mantenerse al ritmo de la proliferación de aplicaciones deepfake impulsadas por IA que pueden ‘desnudar’ a personas sin su permiso. Aunque ambas compañías afirman estar comprometidas con la seguridad de sus usuarios, continúan albergando un conjunto de aplicaciones capaces de transformar una fotografía inocente de una mujer en una imagen abusiva y sexualizada".
Deepfakes sexuales creados con IA a la alza
Tras la publicación del informe, Apple eliminó 28 de las aplicaciones señaladas, mientras que Google retiró 31. No obstante, los expertos advierten que estas acciones no resuelven el problema de fondo, ya que las apps eliminadas suelen reaparecer bajo otros nombres o con descripciones aparentemente inofensivas. El estudio recomienda que ambas empresas refuercen sus mecanismos para detectar funciones de “desnudo” ocultas detrás de títulos engañosos, como supuestos editores de anime o probadores virtuales de ropa. Asimismo, sugiere cambios estructurales en los sistemas de revisión de las tiendas de aplicaciones para desalentar la proliferación de herramientas con alto atractivo comercial pero con riesgos significativos.
El informe se da a conocer después de que decenas de usuarios de X (antes Twitter) explotaran las capacidades de Grok para generar versiones sexualizadas de fotografías de mujeres y menores de edad sin su consentimiento. De acuerdo con diversos reportes, el chatbot de IA habría generado cerca de 3 millones de imágenes sexualizadas y más de 22,000 que involucraban a niños en un periodo de apenas 11 días.
Recibe en tu correo lo más relevante sobre innovación e inteligencia artificial con el newsletter de WIRED en español.ArrowEspecialistas en tecnología y derechos digitales advierten que el contenido sexual generado con IA ha experimentado un crecimiento acelerado conforme se amplía el acceso a herramientas de inteligencia artificial generativa. Solo en los primeros nueve meses de 2023, se subieron aproximadamente 113,000 videos de este tipo a sitios web para adultos, frente a los 73,000 registrados en todo 2022. También se estima que los videos sexualmente explícitos creados con IA representan el 98% de todo el contenido deepfake que circula en línea. Durante el último año, este material aumentó un 400% y alcanzó un tráfico mensual superior a los 34 millones de usuarios en 2023.
Ante este escenario, OpenAI, Google, Meta, Microsoft, Amazon y otras cinco empresas tecnológicas anunciaron un compromiso conjunto para combatir la creación y difusión de material sexual abusivo generado con IA. Como parte de este esfuerzo, acordaron adoptar los principios de Safety by Design, un enfoque que sitúa la seguridad y los derechos de los usuarios en el centro del diseño y desarrollo de productos y servicios. No obstante, la eficacia real de este mecanismo ha sido cuestionada en repetidas ocasiones.