El razonamiento de sentido común es una faceta esencial de la cognición humana que permite la interpretación intuitiva y la interacción con el mundo. En PNL, esto se traduce en la capacidad de los LLM y los modelos multimodales de lenguaje grande (MLLM) para interpretar el lenguaje humano y las señales visuales de manera realista. A pesar de los avances, estos modelos a menudo tienen dificultades para imitar el razonamiento matizado de sentido común innato a los humanos, que abarca conocimientos básicos, interacciones sociales, razonamiento moral e interpretación visual.
El desafío en la investigación de la PNL gira en torno a la capacidad de los modelos para emplear conocimiento de sentido común. Este aspecto crítico de la inteligencia implica no sólo la interpretación del lenguaje sino también la integración de señales visuales y la comprensión contextual. El problema central radica en la capacidad limitada de los modelos para un razonamiento de sentido común similar al humano, esencial para comprender conceptos básicos, matices sociales, juicios morales y procesamiento de información visual.
Los desarrollos recientes se han centrado en evaluar varios LLM y MLLM en cuanto a su eficacia en tareas de razonamiento de sentido común. Estos modelos se someten a pruebas rigurosas en diversos conjuntos de datos diseñados para investigar diferentes dimensiones del razonamiento de sentido común. A pesar de sus capacidades sofisticadas, estos modelos a menudo necesitan mejorar en tareas que requieren una comprensión contextual profunda o pensamiento abstracto.
Los investigadores de la Universidad de Stanford y Meta presentan modelos como Gemini Pro y Gemini Pro Vision para abordar estos desafíos. Estos modelos están diseñados para la integración multimodal y marcan un progreso significativo, mostrando resultados impresionantes en tareas de razonamiento de sentido común en múltiples dominios. Sin embargo, todavía luchan por comprender escenarios complejos e ideas abstractas, que abarcan un área crítica para mejorar.
El estudio implicó evaluaciones integrales utilizando 12 conjuntos de datos diversos de razonamiento de sentido común que cubren razonamiento general, físico, social y temporal. Se evaluó el rendimiento de modelos como Gemini Pro y Gemini Pro Vision en escenarios multimodales y basados en lenguaje. La metodología incluyó la evaluación de modelos como Llama2-70b, Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo utilizando conjuntos de datos de lenguaje y Gemini Pro Vision y GPT-4V para el conjunto de datos multimodal. Los hallazgos clave indicaron que, si bien el rendimiento del Gemini Pro era comparable al del GPT-3.5 Turbo, estaba por detrás del GPT-4 Turbo en precisión, especialmente en el razonamiento temporal y social.
En evaluaciones de sentido común visual, Gemini Pro Vision demostró competencia en el análisis de escenas gráficas y en la predicción de posibles consecuencias, lo cual es un aspecto crucial del razonamiento visual de sentido común. Sin embargo, todos los modelos presentaron desafíos en áreas específicas, particularmente aquellas que involucran aspectos temporales y sociales del razonamiento de sentido común.
En conclusión, los puntos clave se pueden resumir de la siguiente manera:
- El estudio destaca la necesidad de que los sistemas de IA imiten mejor el razonamiento de sentido común humano.
- A pesar de los avances, es necesario mejorar la capacidad de los modelos para comprender plenamente conceptos complejos y abstractos inherentes a la cognición humana.
- Las investigaciones futuras pueden centrarse en perfeccionar las capacidades de los modelos en dominios especializados y mejorar el reconocimiento matizado de estados mentales y emociones en contextos multimodales.
Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte. nuestro SubReddit de más de 35.000 ml, 41k+ comunidad de Facebook, Canal de discordia, LinkedIn Grarriba, Gorjeoy Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.
Si te gusta nuestro trabajo, te encantará nuestra newsletter.
Hola, mi nombre es Adnan Hassan. Soy pasante de consultoría en Marktechpost y pronto seré aprendiz de gestión en American Express. Actualmente estoy cursando una doble titulación en el Instituto Indio de Tecnología, Kharagpur. Me apasiona la tecnología y quiero crear nuevos productos que marquen la diferencia.