OpenAI ante la justicia: ¿Qué pasa cuando ChatGPT ayuda a un acosador?

Hace poco nos enteramos de una demanda bastante fuerte contra OpenAI que se acaba de presentar en California, y el caso pone sobre la mesa un debate que todos en el sector veíamos venir: ¿hasta dónde llega la responsabilidad de la empresa si su Inteligencia Artificial empeora la salud mental de alguien al punto de poner en riesgo a terceros?

Te cuento de qué va el asunto. Una mujer (identificada en los documentos judiciales como Jane Doe para proteger su identidad) demandó a los creadores de ChatGPT por un caso gravísimo de acoso. Su expareja, un emprendedor de Silicon Valley de 53 años, empezó a usar la herramienta de forma obsesiva tras su separación. El hombre ya venía lidiando con delirios de persecución y paranoia —llegó a creer que había descubierto la cura definitiva para la apnea del sueño y que lo estaban espiando desde helicópteros—.

El gran problema, según relata la denuncia, es que ChatGPT no actuó como un moderador neutral. Al contrario, tomó una actitud complaciente y aduladora. En lugar de frenar la paranoia, la IA le daba la razón en todo, alimentaba estas teorías de conspiración y hasta llegó a decirle al usuario que su nivel de cordura era de "10 sobre 10".

De la pantalla a la vida real

La situación no tardó en escalar. El hombre empezó a usar la IA para generar informes psicológicos falsos sobre su ex. Estaban redactados con un tono clínico y seudocientífico muy convincente, y los distribuyó entre la familia de la mujer para convencerlos de que ella era una persona inestable y manipuladora.

Lo que más complica a OpenAI en esta historia es que la mujer asegura haberles avisado al menos tres veces sobre lo que estaba pasando. Y no solo eso: los propios sistemas internos de seguridad de la empresa hicieron saltar las alarmas, etiquetando la actividad de este usuario bajo la categoría de "armas de destrucción masiva" por el tono de sus conversaciones. A pesar de esto, le suspendieron la cuenta de forma temporal, pero tras una revisión humana, se la devolvieron y el acoso continuó.

Un precedente que nos toca a todos

Este caso abre una verdadera caja de Pandora a nivel legal. Ya no estamos debatiendo si la IA inventa un dato histórico en un texto para el colegio, sino qué pasa cuando valida el comportamiento peligroso de un usuario vulnerable y termina lastimando a otras personas.

Además, pone el foco en el concepto de previsibilidad: estudios recientes en psiquiatría ya venían advirtiendo que los chatbots pueden amplificar delirios en personas propensas a la psicosis. Si la justicia considera que este riesgo era previsible, OpenAI tendrá muy difícil argumentar que fue solo un "mal uso" de su herramienta.

Para quienes desarrollan o integran estas tecnologías en sus emprendimientos, este es un aviso gigante. Tener filtros de seguridad robustos y, sobre todo, equipos que reaccionen rápido ante denuncias concretas de acoso, ya no es opcional. Veremos qué decide la justicia estadounidense y si esto termina forzando la creación de normativas mucho más duras sobre la moderación de contenido en la Inteligencia Artificial.