En febrero de 2023, el bufete de abogados internacional Allen & Overy dio a sus abogados acceso a un chatbot de IA para ayudarles a redactar contratos. Casi de inmediato, este sistema de inteligencia artificial comenzó a ahorrar a los 3500 abogados de la empresa aproximadamente 2 horas por semana. Más adelante en el año, la compañía anunció un sistema de inteligencia artificial capaz de negociar contratos, ahorrando hasta siete horas por negociación.
Pero lo que no está tan claro es cuán significativos son realmente estos ahorros. En particular, ¿cómo se compara el trabajo de un modelo de lenguaje grande con el trabajo de un abogado junior en tareas estándar como redactar o revisar un contrato?
IA contra humanos
Ahora obtenemos una especie de respuesta gracias al trabajo de Lauren Martin y sus colegas en el Centro de Excelencia de IA de la empresa de tecnología legal Onit. Martin y sus compañeros han comparado directamente el trabajo de los abogados jóvenes con los modelos de lenguaje grande y dicen que las máquinas superan significativamente a sus homólogos humanos. “Los modelos de lenguaje grande están preparados para revolucionar la industria legal, mejorando la accesibilidad y la eficiencia de los servicios legales”, dicen Martin y compañía.
El equipo llegó a esta conclusión pidiendo a abogados experimentados que señalaran cuestiones legales importantes en un conjunto de contratos de adquisiciones del mundo real y luego pidiendo a Large Language Models y abogados junior que evaluaran los mismos contratos.
Los resultados fueron reveladores. Grandes modelos de lenguaje como Claude y GPT-4 igualaron o incluso superaron la precisión humana en la identificación de asuntos legales. Al identificar las partes específicas de los contratos relacionadas con estos temas, la IA quedó ligeramente por detrás de los humanos.
Pero en cuanto a la velocidad, el contraste fue asombroso. El modelo de lenguaje grande más rápido realizó revisiones de contratos en menos de un minuto, mientras que los abogados junior tardaron 56 minutos en promedio.
Martin y compañía dicen que esto no incluye las aproximadamente 16 horas que se necesitan para entrenar un sistema de IA. Pero señalan que este tiempo es aproximadamente igual al tiempo que lleva instruir a un abogado junior para que realice la misma tarea. “Esta equivalencia en el tiempo de preparación desafía la noción de que la ventaja de velocidad de los modelos de lenguaje grande se ve compensada por sus requisitos de configuración”, dicen Martin y compañía.
Y los posibles ahorros de costos fueron igualmente inmensos. “Mientras que un abogado junior incurre en un coste medio de 74 dólares por revisión de contrato, el modelo de lenguaje grande más rápido realizó la misma tarea por aproximadamente 2 céntimos”, afirman.
Proceda con precaución
“Las implicaciones para la industria legal son profundas y multifacéticas”, dicen los investigadores, ya que los abogados jóvenes probablemente recibirán trabajos de mayor valor al principio de sus carreras y las tareas rutinarias probablemente se asignarán a sistemas de inteligencia artificial.
Pero no todo es color de rosa. El análisis advierte que la IA todavía está por debajo de los humanos en una comprensión legal matizada. Los modelos también pueden “alucinar” al plantear cuestiones inexistentes en los contratos. Por eso, la supervisión de abogados experimentados sigue siendo crucial.
Aún queda mucho trabajo por hacer para evaluar los modelos de lenguajes grandes en más jurisdicciones y más tipos de contratos. Pero la investigación revela claramente la viabilidad de la IA para tareas legales fundamentales. La ley está cambiando rápidamente, como ya lo están demostrando Allen & Overy. Esta investigación, financiada por la firma de tecnología legal Onit, arroja más cifras al respecto. La era de los abogados robots claramente ha llegado.
Ref: Better Call GPT, comparación de modelos de lenguajes grandes con abogados: https://arxiv.org/abs/2401.16212
Esta publicación fue preparada con la ayuda de Claude.AI.