Se han desarrollado varios puntos de referencia importantes para evaluar la comprensión del lenguaje y las aplicaciones específicas de los grandes modelos lingüísticos (LLM). Entre los puntos de referencia más destacados se incluyen GLUE, SuperGLUE, ANLI, LAMA, TruthfulQA y Persuasion for Good, que evalúan los LLM en tareas como el análisis de sentimientos, el razonamiento basado en el sentido común y la precisión fáctica. Sin embargo, se han realizado trabajos limitados que se han centrado específicamente en la detección de fraudes y abusos mediante el uso de LLM, con desafíos derivados de la disponibilidad restringida de datos y la prevalencia de conjuntos de datos numéricos no adecuados para la formación en LLM.
La escasez de conjuntos de datos públicos y la dificultad de representar textualmente los patrones de fraude han puesto de relieve la necesidad de un marco de evaluación especializado. Estas limitaciones han impulsado el desarrollo de investigaciones y recursos más específicos para mejorar la detección y mitigación del lenguaje malicioso mediante el uso de LLM. Una nueva investigación de inteligencia artificial de Amazon presenta un enfoque novedoso para abordar estas deficiencias y mejorar las capacidades de LLM en la detección de fraudes y abusos.
Los investigadores presentan “DetoxBench”, una evaluación integral de los LLM para la detección de fraudes y abusos, que aborda su potencial y desafíos. El documento enfatiza las capacidades de los LLM en el procesamiento del lenguaje natural, pero destaca la necesidad de una mayor exploración en aplicaciones de alto riesgo como la detección de fraudes. El documento subraya el daño social causado por el fraude, la dependencia actual de los modelos tradicionales y la falta de puntos de referencia holísticos para los LLM en este dominio. El conjunto de puntos de referencia tiene como objetivo evaluar la eficacia de los LLM, promover el desarrollo ético de la IA y mitigar el daño en el mundo real.
La metodología de DetoxBench implica el desarrollo de un conjunto de herramientas de evaluación comparativa diseñadas para evaluar la capacidad de los LLM para detectar y mitigar el lenguaje fraudulento y abusivo. El conjunto incluye tareas como la detección de spam, la identificación de lenguaje de odio y lenguaje misógino, que reflejan los desafíos del mundo real. Se seleccionaron varios LLM de última generación, incluidos los de Anthropic, Mistral AI y AI21, para su evaluación, lo que garantiza una evaluación integral de las capacidades de los diferentes modelos para la detección de fraude y abuso.
La experimentación enfatiza la diversidad de tareas para evaluar la generalización de los LLM en varios escenarios de detección de fraude y abuso. Se analizan las métricas de desempeño para identificar las fortalezas y debilidades del modelo, particularmente en tareas que requieren una comprensión matizada. El análisis comparativo revela variabilidad en el desempeño de los LLM, lo que indica la necesidad de un mayor refinamiento para aplicaciones de alto riesgo. Los hallazgos resaltan la importancia del desarrollo continuo y la implementación responsable de los LLM en áreas críticas como la detección de fraude.
La evaluación de DetoxBench de ocho modelos de lenguaje grandes (LLM) en varias tareas de detección de fraude y abuso reveló diferencias significativas en el rendimiento. El modelo Mistral Large logró las puntuaciones F1 más altas en cinco de las ocho tareas, lo que demuestra su eficacia. Los modelos Anthropic Claude exhibieron una alta precisión, superando el 90% en algunas tareas, pero tuvieron una recuperación notablemente baja, cayendo por debajo del 10% para la detección de chat tóxico y discurso de odio. Los modelos Cohere mostraron una alta recuperación, con un 98% para la detección de correo electrónico fraudulento, pero una precisión menor, del 64%, lo que llevó a una mayor tasa de falsos positivos. Los tiempos de inferencia variaron, siendo los modelos AI21 los más rápidos con 1,5 segundos por instancia, mientras que los modelos Mistral Large y Anthropic Claude tomaron aproximadamente 10 segundos por instancia.
El uso de pocas pruebas ofreció una mejora limitada en comparación con el uso de cero pruebas, con ganancias específicas en tareas como la detección de trabajos falsos y la detección de misoginia. Los conjuntos de datos desequilibrados, que tenían menos casos de abuso, se abordaron mediante un submuestreo aleatorio, lo que creó conjuntos de prueba equilibrados para una mejor evaluación. Los problemas de cumplimiento del formato excluyeron modelos como Command R de Cohere de los resultados finales. Estos hallazgos resaltan la importancia de la selección de modelos específicos para cada tarea y sugieren que el ajuste fino de los LLM podría mejorar aún más su desempeño en la detección de fraude y abuso.
En conclusión, DetoxBench establece el primer punto de referencia sistemático para evaluar los LLM en la detección de fraudes y abusos, y revela información clave sobre el rendimiento del modelo. Los modelos más grandes, como las familias de IA 200 Billion Anthropic y 176 Billion Mistral, se destacaron, particularmente en la comprensión contextual. El estudio descubrió que la incitación de pocos intentos a menudo no superó a la incitación de cero intentos, lo que sugiere variabilidad en la efectividad de la incitación. Las investigaciones futuras apuntan a perfeccionar los LLM y explorar técnicas avanzadas, enfatizando la importancia de una cuidadosa selección de modelos y una estrategia para mejorar las capacidades de detección en esta área crítica.
Echa un vistazo a la Papel. Todo el crédito por esta investigación corresponde a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y LinkedInÚnete a nuestro Canal de Telegram. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..
No olvides unirte a nuestro Subreddit con más de 50 000 millones de usuarios
Shoaib Nazir es pasante de consultoría en MarktechPost y ha completado su doble titulación de máster en tecnología en el Instituto Indio de Tecnología (IIT) de Kharagpur. Siendo un apasionado de la ciencia de datos, le interesan especialmente las diversas aplicaciones de la inteligencia artificial en diversos ámbitos. Shoaib está impulsado por el deseo de explorar los últimos avances tecnológicos y sus implicaciones prácticas en la vida cotidiana. Su entusiasmo por la innovación y la resolución de problemas del mundo real alimenta su continuo aprendizaje y contribución al campo de la IA.
