El abogado estadounidense Steven Schwartz tiene más de 30 años ejerciendo en su estudio de Nueva York. Y cuando llegó un caso nuevo a sus manos, decidió que podía aprovechar las bondades de ChatGPT, la herramienta de inteligencia artificial generativa que está de moda, y que estudiantes de todo el mundo están aprovechando para sus tareas.

En el caso de Schwartz, trabaja junto a un colega Peter LoDuca, en un bufete de abogados, al que llegó Roberto Mata: esta persona demandó a la aerolínea colombiana Avianca por haber sido lastimado a bordo de uno de sus aviones en 2019 por uno de los carritos de comida que los asistentes de abordo empujan por sus pasillos.

Como prueba para demostrar que tenía sentido que la demanda prosperara dentro del sistema judicial estadounidense y que no fuera descartada, el estudio de LoDuca y Schwartz presentó varios casos que sentaban jurisprudencia, un precedente que para la Justicia es clave a la hora de analizar un caso.

Varghese v. China South Airlines, Martinez v. Delta Airlines, Shaboon v. EgyptAir, Petersen v. Iran Air, Miller v. United Airlines, and Estate of Durden v. KLM Royal Dutch Airlines. Los datos se apilaban en el informe que presentaron los abogados.

Pero surgió un problema: el juez Kevin Castel, al intentar analizar la evidencia, se encontró con que no existía. Seis de los casos presentados eran falsos, según informa la BBC.

¿Cómo podía ser eso posible?, le preguntó LoDuca a su compañero Schwartz. Este abogado le informó, entonces, que había usado ChatGPT para armar el caso y buscar jurisprudencia, y que nunca se le había ocurrido chequear la veracidad de la información.

Schwartz debió admitir que no estaba enterado que ChatGPT podía brindar información falsa (lo que en el rubro se conoce como “alucinación” de la inteligencia artificial) debió pedir disculpas a la corte, y deberán comparecer ante la Justicia el próximo 8 de junio para explicar por qué se trata de un error inocente y no de un intento de manipular las pruebas a su favor.

Lo que Schwartz debería haber tenido en cuenta es que uno de los mayores peligros al usar ChatGPT (incluso en tareas relativamente inocentes como un trabajo escolar) es que la herramienta es bastante propensa a inventar respuestas (entre otros problemas que tiene), una práctica conocida en el ámbito de la inteligencia artificial generativa como “alucinación”, y que no es excluyente de ChatGPT.

Estos chatbots intentan por todos los medios cumplir con el pedido de los usuarios, y por eso tienden a caer en la fabulación cuando no tienen información certera o verificada sobre un tema; tanto OpenAI (desarrolladora de ChatGPT) como Google (que salió a competir con su propio chatbot, llamado Bard) están implementando mecanismos para evitar esto.

Los chatbots, además, no tienen noción de lo que dicen: son modelos estadísticos que encadenan palabras según la probabilidad de que una siga a la otra, basados en un enorme cúmulo de contenido con el que fueron educados, pero que a su vez puede contener errores.

Tal como explica Cade Metz en esta nota, los nuevos chatbots tienen como base una tecnología que los científicos llaman modelos lingüísticos de gran tamaño (LLM, por su sigla en inglés). Estos sistemas aprenden analizando enormes cantidades de texto digital extraído del internet, que incluye volúmenes de material falso, tendencioso y, por lo demás, tóxico. El texto del que aprenden los chatbots también está un poco pasado de moda, porque deben analizarlo durante meses antes de que el público pueda usarlos.

Mientras analiza ese mar de información buena y mala de todo el internet, un LLM aprende a hacer una cosa en particular: adivinar la siguiente palabra de una secuencia de palabras.

Funciona como una versión gigante de la tecnología de autocompletar que te sugiere la siguiente palabra cuando escribís un correo electrónico o un mensaje instantáneo.

Cuando conversás con un chatbot, este no solo recurre a todo lo que ha aprendido de internet. Utiliza todo lo que vos le has dicho y todo lo que te ha respondido. No solo adivina la siguiente palabra de su frase. Está adivinando la siguiente palabra del largo bloque de texto que incluye tanto tus palabras como las suyas.

Mientras más larga se vuelve la conversación, mayor la influencia que tiene el usuario sobre lo que dice el chatbot sin saberlo.

Cuando generan texto, estos sistemas no repiten palabra por palabra lo que hay en Internet. Producen texto nuevo por sí mismos combinando miles de millones de patrones.

Incluso si los investigadores entrenaran a estos sistemas únicamente con literatura científica revisada por pares, podrían producir afirmaciones científicamente ridículas. Incluso si aprendieran únicamente de textos verídicos, podrían producir falsedades. Incluso si solo aprendieran de textos íntegros, podrían producir algo espeluznante.