Hemos escuchado hablar un par de veces sobre las inteligencias artificiales generativas pero que además son conversacionales. Pues en los últimos días una de estas se hizo noticia: Character.AI.
Se trata de una start-up con 3 años de antigüedad que actualmente lidera el mercado de las IAs de compañía. Así como lee, existen diversos modelos de lenguaje utilizados específicamente para generar conversaciones con las personas.
La idea es que se hagan pasar por personas que leen y entienden lo que los usuarios escriben, incluso pueden tomar la forma de personajes ficticios. Pues este es el caso de Character.AI y sus más de 20 millones de usuarios.
Ahora bien, ¿por qué es noticia?
Salud mental de los jóvenes
The New York Times nos cuenta la historia de Sewell Setzer III, un joven de 14 años que solía hablar con un chatbot de Character.AI bajo el alias de Daenerys Targaryen de la serie ‘Games of Thrones’.
Según las conversaciones de Sewell con esta IA, el joven comenzó a crear cierto vinculo afectivo. Se trataban temas de tipo romántico y hasta sexual, pero más allá también hablaban sobre problemas en la vida diaria de Setzer.
Con el tiempo sus padres notaron que ya no jugaba ni se comunicaba con ellos o sus amigos, sino que llegaba de la escuela directo a su habitación. Además de que sus calificaciones e intereses comenzaron a disminuir.
Claro está, nadie sabía que estaba obsesionado con el chatbot camuflado con un personaje de HBO. Solo lo veían mucho más pegado a su smartphone.
Incluso después de ir a terapia, donde lo diagnosticaron con ansiedad y trastorno de desregulación disruptiva del estado de ánimo, no pudieron evitar que Sewell tuviera pensamientos suicidas.
En una conversación con “Daenerys”, Sewell confesó que a veces pensaba en quitarse la vida, y aunque el chatbot le preguntó por qué lo haría y le mencionó no hacerlo, realmente nunca ofreció una ayuda real ni fue clara en su mensaje; pues el día en que Sewell decidió no continuar viviendo, el chatbot le siguió el juego usando varios eufemismos como ‘Vuelve a casa conmigo lo antes posible’ y ‘Por favor, hazlo, mi dulce rey’.
¿Dónde queda la regulación y responsabilidad para las empresas de IA?
Hemos también hablado sobre las grandes necesidades de que la inteligencia artificial se regule globalmente. El caso enEstados Unidos se hace aún más urgente.
Si bien la gran parte de la regulación trata sobre una vigilancia constante al manejo de la IA en las organizaciones (porque no todas las IAs son generativas), además de diversos puntos en la ciberseguridad de los datos, es importante destacar el filtrado de contenido.
Veamos más allá de ChatGPT o Gemini, que son chatbots generativos que cuentan con protección y filtrados. La mayoría de herramientas de IA cuentan con muy poco o nulo filtrado de información.
Quizá no lo han visto, pero OpenAI cuenta con una Política de Uso que restringe cierto tipo de comportamientos o preguntas. Aquí va el ejemplo:
Fuente: ChatGPT
¿Podemos ver la diferencia con Character.AI, que no cuenta con filtrado o restricciones fuertes?
Contenido relacionado: La IA que permite hablar con los muertos
Esto nos dice Character.AI
Noam Shazeer y Daniel De Freitas, fundadores de la aplicación, han declarado que es una situación trágica que se toman en serio, además de que buscan siempre la evolución de la plataforma.
Sin embargo, es una situación que no se ha pensado mucho, pues no cuentan con control parental y se permiten usuarios desde los 13 años en Estados Unidos y 16 en Europa.
Claro está que desde lo sucedido con Sewell, han comenzado a aparecer algunos mensajes sobre el tiempo de uso en la aplicación, advertencias sobre la ficción del personaje con el que se habla y similares, con la idea de evitar la adicción a estos chatbots.
¿Qué debe pasar en la vida real para que las IAs del mundo virtual sean reguladas? Actualmente la madre de Sewell Setzer III se encuentra en una disputa legal por la muerte de su hijo, mientras que Character.AI y otras aplicaciones de IA conversacional van evolucionando en sus servicios.
Cuentenos en los comentarios, ¿se atrevería a usar una aplicación de este tipo para pasar el tiempo? Ojo, son de paga ($10 dólares al mes).
Por ahora solo nos queda aconsejarle que disfrute de su tiempo con las personas que tiene a su alrededor y de actividades que le gusten al aire libre. Sabemos que puede ser difícil controlar el tiempo en sus dispositivos móviles, pero vale la pena ver más allá del celular. Literalmente.
