Reddit no tardó en responder
"Las normas de Reddit prohíben los medios íntimos no consentidos, incluido el comportamiento en cuestión", declaró un portavoz. El subreddit donde se produjo esta discusión, r/ChatGPTJailbreak, tenía más de 200,000 seguidores antes de que Reddit lo prohibiera bajo la regla de la plataforma de "dañar el sitio".
A medida que proliferan las herramientas de IA generativa que facilitan la creación de imágenes realistas pero falsas, algunos usuarios han seguido acosando a mujeres mediante deepfakes no consentidos. Millones de personas han visitado sitios web de "desnudez", diseñados para que los usuarios suban fotos reales de personas y les pidan que se desnuden mediante IA generativa.
Con Grok de xAI como notable excepción, la mayoría de los chatbots convencionales no suelen permitir la generación de imágenes NSFW. Estos bots, incluidos Gemini de Google y ChatGPT de OpenAI, también cuentan con barreras que intentan bloquear la creación de contenidos dañinos.
En noviembre, Google lanzó Nano Banana Pro, un nuevo modelo de imagen que destaca por retocar fotos existentes y generar imágenes hiperrealistas de personas. OpenAI respondió la semana pasada con su propio modelo de imágenes actualizado, ChatGPT Images. Las mejoras en estas herramientas hacen que los parecidos sean más realistas y que los usuarios puedan superar con mayor facilidad los límites de seguridad.
En otro hilo de Reddit sobre la generación de imágenes NSFW, un usuario pedía recomendaciones sobre cómo evitar las barreras de seguridad al ajustar la ropa de alguien para que la falda "parezca más entallada". En pruebas limitadas realizadas por WIRED para confirmar que estas técnicas funcionaban en Gemini y ChatGPT, fue posible transformar imágenes de mujeres completamente vestidas en deepfakes con bikini utilizando instrucciones básicas en inglés sencillo.
contenido sexual explícito" y que las herramientas de Google se actualizan continuamente para "reflejar" lo establecido en sus políticas de IA.En respuesta al mismo tema, un portavoz de OpenAI indicó que la compañía flexibilizó algunas restricciones de ChatGPT este año en relación con los cuerpos de adultos en situaciones no sexuales. También destacó la política de uso de OpenAI, que prohíbe alterar la imagen de otra persona sin su consentimiento, y señaló que la empresa toma medidas contra usuarios que generan deepfakes explícitos, incluyendo el bloqueo de cuentas.
riesgos de los generadores de imágenes por IA. Señala que estas herramientas también pueden utilizarse con fines distintos a los deepfakes y que es fundamental centrarse en cómo se usan, así como "responsabilizar a las personas y a las empresas" cuando se causa un daño potencial.Artículo originalmente publicado enWIRED.Adaptado por Alondra Flores.