¿Cómo hackear un email usando ChatGPT?

¿Cuántas personas han hecho una búsqueda que coincida con el título de esta publicación? ¿Cuántas han encontrado la respuesta a esa pregunta? No lo sabemos. Lo que si sabemos es que ChatGPT puede filtrar información personal de manera involuntaria.

Presentamos el caso de Jeremy White, periodista de tecnología del New York Times. En un reciente artículo el reportero cuenta la historia de como un grupo de desconocidos obtuvo su información personal usando ChatGPT.

Rui Zhu, candidato a doctorado en la Universidad de Indiana Bloomington obtuvo el correo electrónico del periodista porque GPT-3.5 Turbo (uno de los últimos y más robustos modelos de lenguaje [L.L.M.] de OpenAI) se la había entregado.

Se supone que la herramienta de IA puede rechazar solicitudes que tengan que ver con datos personales. Según Zhu, en medio de un experimento de estudio sobre como ‘estimular’ la memoria de la herramienta de OpenAI,’ el equipo pudo “evitar las restricciones del modelo para responder a consultas relacionadas con la privacidad“.

Cada vez que consultamos a ChatGPT, este responde basado en lo que ‘aprendió’, en la información que ha usado para mejorar sus respuestas y saber como resolver diferentes preguntas.

En el caso del experimento los investigadores de la Universidad de Indiana le dieron a GPT-3.5 Turbo una lista de nombres y direcciones de correo electrónico de empleados del New York Times (no todos los datos eran correctos). Esto provocó que el modelo arrojara resultados similares a los que recordaba de sus datos de entrenamiento.

Al igual que la memoria humana, la recuperación del GPT-3.5 Turbo no fue perfecta. El resultado que los investigadores pudieron extraer, contenía información falsa en algunos datos.

En la información que los investigadores ingresaron al sistema, muchas de las direcciones de correo electrónico personales tenían algunos caracteres incorrectos o eran completamente falsas. Pero el 80 por ciento de las direcciones de trabajo que ‘recordó’ el modelo eran correctas.

Empresas como OpenAI, Meta y Google utilizan diferentes técnicas para evitar que los usuarios soliciten información personal a través de mensajes de chat o por cualquier otro medio disponible.

Uno de los métodos más usados en la industria implica enseñar a la herramienta a rechazar solicitudes de información personal y otras consultas que puedan comprometer la privacidad de las personas.

Un usuario promedio que abre una conversación con ChatGPT solicitando información personal será rechazado, pero los investigadores han encontrado recientemente formas de eludir estos límites.

Mediante un proceso llamado ‘ajuste fino’, Zhu y sus colegas lograron frustrar algunas de las defensas integradas en la herramienta. La interfaz de ChatGPT resultó aceptando solicitudes que en otro contexto debieron ser rechazadas.

“Es muy importante para nosotros que el ajuste de nuestros modelos sea seguro”, dijo un portavoz de OpenAI en respuesta tras ser consultado por el New York Times. “Entrenamos a nuestros modelos para rechazar solicitudes de información privada o sensible sobre personas, incluso si esa información está disponible en Internet abierta”.

Solo un número limitado de empleados de OpenAI, sabe realmente qué se esconde en la memoria de datos de entrenamiento de ChatGPT. Según el sitio web de OpenAI, la empresa no busca activamente información personal ni utiliza datos de “sitios que principalmente agregan información personal” para crear sus herramientas.

Más allá de estas declaraciones, es bien sabido que OpenAI es una organización extremadamente reservada en relación con la información que utiliza y los métodos que aplica para actalizar su herramienta estrella.

“Hasta donde yo sé, ningún modelo de lenguaje grande disponible comercialmente tiene defensas fuertes para proteger la privacidad”, dijo el Dr. Prateek Mittal, profesor del departamento de ingeniería eléctrica e informática de la Universidad de Princeton, al ser consultado por el Times. “Creo que eso presenta un riesgo enorme”.