¿Qué hacer con las becas jurídicas generadas por IA?: Parte 2

Como expliqué en mi publicación anterior, recientemente encargué a AI que comparara dos transcripciones del juicio por traición de Aaron Burr en 1807. Mi pregunta final es, ¿qué hago con el documento resultante? Y eso se divide en dos subpartes. Primero, ¿publico esto, ya sea en línea de manera informal o en algún tipo de revista? Y segundo, ¿cómo describo cuál es mi relación con él? ¿Soy coautor? ¿El autor? ¿Solo un apuntador?

Permítanme comenzar explicando cómo se creó el memorándum y luego pasar a las preguntas que tengo.

I. Cómo se creó el memorando de IA

Necesito comenzar con lo que hice para ayudar a crear el memorándum, ya que eso podría ser relevante para mis preguntas. Las transcripciones que debían compararse eran archivos .pdf de libros de dos volúmenes de 1807 y 1808 que abarcan cientos de páginas, aunque las únicas partes que me importaron fueron las que trataban del privilegio contra la autoincriminación. Utilicé Claude (Opus 4.6 ampliado) y le encargué comparar las discusiones de los argumentos legales sobre el privilegio contra la autoincriminación para tener una mejor idea de si mi artículo de 2021 sobre esos argumentos basados ​​en la transcripción de Robertson era exacto a la luz de la transcripción de Carpenter.

Sin embargo, decir que “le encargué a Claude” cubre muchos detalles. Realicé alrededor de 30 rondas de indicaciones con Claude en el transcurso de unas pocas horas. A medida que avanzaba, aprendí lo que Claude podía y no podía hacer y lo presioné para que hiciera un mejor trabajo cuando se resistía a hacer más. Por ejemplo, cuando le pedí por primera vez a Claude que comparara los documentos, se negó, diciendo que era una tarea demasiado grande tomar dos archivos PDF largos, hacerlos legibles y luego compararlos. Así que comencé con una tarea más fácil: tomar mi artículo de 2021, leerlo y comprender lo que afirma sobre el juicio de Burr, luego leer la transcripción de Carpenter y escribir un artículo que presente una comparación. El primer borrador de respuesta fue un comienzo y me hizo pensar que la empresa podría resultar útil en última instancia. Pero dejó mucho que desear.

Con el tiempo, me di cuenta de que lograr que Claude hiciera las comparaciones que necesitaba era todo un arte. Al final, acordó hacer una comparación directa de las dos transcripciones basándose en las afirmaciones que hice en mi artículo de 2021. Y rápidamente me di cuenta de que la comparación realmente necesitaba muchas citas directas y referencias de páginas para todo, por lo que tomó mucho tiempo extra: entre otras cosas, Claude tuvo dificultades sorprendentes con los números de página, en parte porque uno de los dos archivos .pdf tenía dos volúmenes consecutivos y Claude no podía descifrar la paginación. Tuve que realizar comprobaciones puntuales y seguí encontrando errores, que Claude tuvo que seguir corrigiendo.

Se produjo un gran avance cuando me di cuenta, mediante prueba y error, de que Claude podía hacer capturas de pantalla comparativas. Es decir, en lugar de simplemente decirme lo que decían las dos transcripciones, Claude podría tomar capturas de pantalla de las discusiones relevantes y mostrarlas una al lado de la otra. De esa manera podría estar más seguro de que estaba obteniendo una comparación real. Incluso entonces, las capturas de pantalla necesitaban mucha corrección: Claude comenzó dándome solo alrededor de 1/3 de las comparaciones correctamente, y tuve que seguir diciéndole que regresara y me asegurara de que estuviera capturando las secciones exactamente equivalentes.

A medida que me acercaba al final, también agregué más tareas. Por ejemplo, le pedí a Claude que leyera la transcripción de Carpenter y me dijera si mi artículo de 2021 había resumido con precisión los argumentos, así como si había alguna parte del argumento de la transcripción de Robertson que me había perdido. También le pedí a Claude que dijera si había alguna fuente legal que Robertson hubiera informado que Carpenter no y viceversa, y algún argumento legal de que uno había informado y el otro no.

Después de unas 30 rondas de indicaciones, terminé con un memorando comparativo de 22 páginas. Una página típica de la nota se ve así:

La buena noticia, al menos según Claude, es que todos los puntos sustanciales coincidieron muy bien. Las variaciones entre las transcripciones de Carpenter son aparentemente muy pequeñas, el tipo de cosas que se podrían esperar de dos seres humanos independientes que intentan escribir horas de procedimientos judiciales y escuchan algunas cosas pequeñas de manera diferente. Las partes que me importaban coincidían.

II. ¿Debería publicar esto, al menos de alguna manera?

Esto me lleva finalmente a la gran pregunta que tengo: ¿qué hago con este memorando de 22 páginas generado por IA? Por un lado, si está interesado en mi artículo de 2021, creo que la comparación de la IA es de interés académico. La comparación es bastante notable, al menos para el pequeño número de nerds que se preocupan por el tema de fondo. Por otro lado, el memorándum generado por IA no encaja en ninguna comprensión tradicional que tengo de lo académico o no académico. Entonces no sé qué hacer a continuación.

Mi incertidumbre se divide en dos preguntas. Primero, ¿publico esto? Y segundo, si lo publico de alguna manera, ¿qué debo indicar como mi relación con él? Permítanme explicar mi opinión sobre ambas preguntas.

En primer lugar, en cuanto a la cuestión de si publicar esto, estoy en conflicto.

Una parte de mí piensa que este memorando debería ser sólo para mi uso interno. En algún momento, debería simplemente hacer el trabajo de leer la transcripción de Robertson nuevamente y leer la transcripción de Carpenter por primera vez, y debería escribir una comparación yo mismo. Quizás la nota debería ser simplemente una guía útil sobre lo que podría esperar encontrar, una especie de mapa que indique el camino y acelere un poco la tarea. Esto es similar a cómo tiendo a utilizar asistentes de investigación: escríbame un memorando de antecedentes, que luego me da una idea útil de lo que debo buscar cuando hago el trabajo yo mismo.

Alternativamente, podría publicar el memorando generado por IA en SSRN.com, donde se publican muchos borradores de artículos, pero no intentar publicarlo en ninguna revista real. Una vez que esté en SSRN.com, cualquiera podrá encontrarlo con una búsqueda en Google. Desde una perspectiva académica, esa es la parte importante; de esa manera, las personas interesadas en el tema pueden ver la comparación. Pero no es necesario publicar el ensayo en una revista. Ni siquiera es el producto de mi trabajo, sino el producto del trabajo de Claude, por lo que no tiene mucho sentido publicarlo formalmente.

¿O tal vez podría (al menos intentar) publicarlo? Me parece un documento académicamente interesante. Quizás haya alguna revista que esté interesada en publicarlo y, de ser así, ¿por qué no? Eso le daría al memorando un lugar más permanente y podría atraer más atención a mi artículo de 2021 y a los problemas que estaba tratando de abordar.

III. ¿Cuál es mi relación con el memorando? ¿Soy el autor? ¿Un autor? ¿Ni?

Finalmente, está el conjunto de preguntas sobre la autoría. Si mantengo esto como una nota interna, claro, no tengo que preocuparme por eso. Pero si lo publico en SSRN, o (ciertamente) si intento publicarlo, lo hago. ¿Soy un autor? ¿Un coautor? ¿Un apuntador? ¿Qué soy yo?

Una cosa que me parece clara es que no debo publicar la nota como un artículo de mi única autoría. Quizás tengo una noción demasiado romántica de la autoría, pero siento que la autoría implica el momento de sentarme frente a una página en blanco y poner mis palabras en ella. Tiene que haber autenticidad detrás de eso, y pedirle a Claude que escriba algo (incluso muchas veces) no parece que me convierta en el autor. Incluso si lo revisé, no lo escribí.

Otra posibilidad es que tal vez sea coautor. Quizás mi dirección del proyecto y mis repetidas indicaciones me convirtieron en coautor junto con el Sr. Claude Opus, el escritor real. Eso parece mejor que decir que soy el autor, ya que al menos estoy tratando de revelar cómo surgió el memorándum. Aunque un enfoque de coautoría es un poco extraño: no es que Claude y yo seamos dos académicos que trabajamos juntos en el artículo. Ni siquiera sé si SSRN me permitiría declarar a “Claude Opus” como coautor. Así que no estoy seguro de que eso encaje.

Una tercera posibilidad es que roles como el mío sean algo nuevo y necesitemos encontrar un nuevo vocabulario para ello. Quizás no fui el autor del artículo, sino que soy el autor del mismo. Quizás no escribí el artículo, sino que lo dirigí. Quizás, en mi rol de apuntador/director, debería escribir una introducción que explique mis objetivos y cómo surgió el memorando generado por la IA. Básicamente, debo resumir lo que he escrito en estas publicaciones de blog hasta ahora. Y luego adjunto el memorándum generado por IA, del cual no me atribuyo ningún mérito de autoría. De esa manera, el lector sabe quién hizo qué y de dónde vino el memorando, así como sus límites. Ahora no existe el rol de director-instructor, pero ¿quizás debería haberlo?

En este momento, al menos, mi instinto me dice que primero necesito evaluar cuánto tiempo me llevaría hacerlo yo mismo. Si no me lleva mucho tiempo, y si tengo tiempo, debería usar la nota generada por IA para mi uso interno como guía para cuando haga el proyecto a la antigua usanza. Lo que verá la luz será mi propio artículo escrito y razonado por humanos. Alternativamente, si creo que el compromiso de tiempo es demasiado dadas otras obligaciones, creo que intentaré asumir el rol de director-incitador: escribiré la introducción y adjuntaré el memorando, publicándolos juntos en SSRN, con la portada diciendo “introducción e indicaciones hechas por mí”, pero el artículo claramente etiquetado como escrito por AI.

Esos son mis instintos, al menos. Pero no lo sé. ¿Cuáles son tus pensamientos?