De la orden del viernes por la jueza magistrada Susan Van Keulen en Concord Music Group, Inc. v. PBC antrópico (Nd cal.)
Al principio, el tribunal señala que durante la audiencia, los editores pidieron a este tribunal que examinara a la experta de Anthrope, la Sra. Chen y atacara su declaración porque al menos una de las citas parecía haber sido una “alucinación de IA”: una cita a un artículo que no existía y cuyos supuestos autores nunca habían trabajado juntos. El tribunal dio tiempo antrópico para investigar las circunstancias que rodean la cita impugnada. Habiendo considerado la declaración del abogado y la respuesta de los editores de Anthrope, el tribunal considera que este problema es grave, si no es tan grave como apareció al principio.
El abogado de Anthrope protesta que esto era “un error de cita honesto”, pero admite que Claude.ai se usó para “formatear adecuadamente” al menos tres citas y, al hacerlo, generó un nombre de artículo ficticio con autores inexactos (que nunca han trabajado juntos) para la cita en el tema. Esa es una alucinación de IA simple y simple. Sin embargo, el artículo subyacente existe, estaba debidamente vinculado y estaba ubicado por un ser humano que usaba la búsqueda de Google; Entonces, este no es un caso en el que “abogados y expertos [have] abdicar[d] Su juicio independiente y sus habilidades de pensamiento crítico a favor de las respuestas listas generadas por IA … “.
Sin embargo, una preocupación seria restante es la certificación de Anthrope de que se realizó un “control de citas manual”, pero “no atrapó el[e] Error. “No está claro cómo tal error, incluido un cambio completo en el título del artículo, podría haber escapado de la corrección durante la verificación manual de cita por parte de un ser humano. Además, aunque los subsignos [i.e., the Magistrate Judge’s] La orden permanente no aborda expresamente el uso de IA por parte de las partes o el abogado, Sección VIII.G de [District] La orden permanente civil del juez Lee requiere una certificación “que el abogado de juicio principal haya verificado personalmente la precisión del contenido”. Ni la certificación ni la verificación se han producido aquí. En resumen, el tribunal Huelgas Declaración de la Sra. Chen, llamativo párrafo 9 [which contains the footnote that contains the citation with the hallucination]y señala para el registro que este problema socava la credibilidad general de la declaración escrita de la Sra. Chen, un factor en la conclusión de la corte.
Gracias a Chatgpt está comiendo el mundo para el puntero; También discute más sobre el papel sustantivo del párrafo 9 en la declaración. Aquí hay más historia de fondo (de un publicación anterior)
La declaración presentada por un “científico de datos en antrópico” en Concord Music Group, Inc. v. PBC antrópico Incluye esta cita:
Pero el artículo citado no parece existir en esa cita o en esa URL, y Google no encontró otras referencias a ningún artículo por ese título …
Aquí está el explicaciónde uno de los abogados de Anthrope (énfasis agregado):
Nuestra investigación del asunto confirma que este fue un error de cita honesto y no una fabricación de autoridad. La primera cita en la nota 3 de DKTS. 340-3 (sellado) y 341-2 (público) incluyen un autor y título erróneos, al tiempo que proporciona un enlace correcto e identifica correctamente la publicación, el volumen, los números de página y el año de publicación de, el artículo mencionado por la Sra. Chen como parte de la base de su declaración en el párrafo 9. Nos disculpamos por la inexactitud y cualquier confusión que este error causó.
El artículo estadístico estadounidense revisado y confiado por la Sra. Chen [the Anthropic expert]y accesible en el primer enlace proporcionado en la nota 3 de DKTS. 340-3 y 341-2 se titula Intervalos de confianza binomiales para eventos raros: importancia de definir el margen de error en relación con la magnitud de la proporciónpor Owen McGrath y Kevin Burke. Un asociado de Latham & Watkins ubicó ese artículo como posible soporte adicional para el testimonio de la Sra. Chen utilizando una búsqueda en Google. El artículo existe y apoya el testimonio de la Sra. Chen en su declaración y en la audiencia del 13 de mayo de 2025, que ofreció en función de su conocimiento preexistente sobre el margen de error relativo apropiado para eventos raros. Una copia del artículo completo se adjunta como Anexo A.
Específicamente, “en el contexto de probabilidades de éxito de eventos pequeños o raros”, los autores “sugieren restringir el rango de valores a εr ∈ [0.1, 0.5]”—Seaning, un margen relativo de error entre el 10% al 50%,” ya que los valores más altos conducen a imprecisión y una cobertura de intervalos deficiente, mientras que los valores más bajos conducen a tamaños de muestra que probablemente sean impactamente grandes para muchos estudios “. Ver Anexo A, en 446. Esta recomendación es completamente consistente con el testimonio de la Sra. Chen, que propone usar un margen de error relativo del 25% basado en su experiencia.
Después de que el equipo de Latham & Watkins identificó la fuente como un posible soporte adicional para el testimonio de la Sra. Chen, le pedí a Claude.ai que proporcionara una cita legal con formato adecuadamente para esa fuente utilizando el enlace al artículo correcto. Desafortunadamente, aunque proporciona el título de publicación correcto, el año de publicación y el enlace a la fuente proporcionada, la cita devuelta incluyó un título inexacto y autores incorrectos. Nuestra verificación de citas manuales no captó ese error. Nuestra verificación de citas también perdió errores de redacción adicionales introducidos en las citas durante el proceso de formato utilizando Claude.ai. Estos errores de redacción son: (1) que el título correcto de la fuente en la nota 2 de la declaración de la Sra. Chen es Calculación del tamaño de la muestra necesariono, como se enumera en la nota 2, Estimación del tamaño de la muestray (2) el autor/preparador de la tercera fuente citada en la nota 3 es “LLC ambiental de barlovento”, no “LLC ambiental de barlovento inferior”. Nuevamente, nos disculpamos por estos errores de cita.
La Sra. Chen, así como el abogado, revisó el texto completo del testimonio de la Sra. Chen y también revisó cada una de las referencias citadas antes de presentar la declaración de la Sra. Chen al tribunal. Al revisar su declaración tanto antes de la presentación como en preparación para la audiencia el 13 de mayo de 2025, la Sra. Chen revisó el artículo real disponible en el primer enlace en la nota 3 de su declaración y el presente presente como Anexo A, y el artículo respalda la proposición expresada en su Declaración con respecto al margen apropiado de error.
Durante el proceso de producción y verificación de CITE para la declaración de la Sra. Chen, el equipo de Latham & Watkins revisando y editando la declaración verificó que la sustancia del documento citado respaldaba la propuesta en la declaración, y también corrigió los números de volumen y página en la cita, pero no se dio cuenta del título y autores incorrectos, a pesar de hacer clic en el enlace proporcionado en la nota y revisión del artículo. El equipo de Latham & Watkins tampoco notó los errores de redacción adicionales en las notas al pie 2 y 3 de la declaración de la Sra. Chen, como se describió anteriormente en el párrafo 6.
Este fue un error vergonzoso e involuntario. El artículo en cuestión existe genuinamente, fue revisado por la Sra. Chen y apoya su opinión sobre el margen de error adecuado para usar para el muestreo. La insinuación de que la opinión de la Sra. Chen fue influenciada por información falsa o fabricada es, por lo tanto, incorrecta. Como es la insinuación de que la Sra. Chen carece de apoyo para su opinión. Además, el enlace proporcionado tanto a este Tribunal como a los demandantes era preciso y, cuando se pegó en un navegador, llama al artículo correcto sobre el cual la Sra. Chen había confiado. Si el abogado de los demandantes hubiera planteado el problema de la cita cuando lo descubrieron por primera vez, podríamos y habríamos confirmado que el artículo citado fue el que la Sra. Chen confiaba y corrigió el error de cita.
Hemos implementado procedimientos, incluidos múltiples niveles de revisión adicional, para trabajar para garantizar que esto no vuelva a ocurrir y haya preservado, en la dirección del tribunal, toda la información relacionada con la declaración de la Sra. Chen. Entiendo que Anthrope también ha preservado toda la información relacionada con la declaración de la Sra. Chen también …