El procesamiento del lenguaje natural (PNL) se centra en la construcción de modelos computacionales para interpretar y generar el lenguaje humano. Con los avances en los modelos basados en transformadores, los modelos de lenguaje grande (LLM) han demostrado capacidades impresionantes de PNL en inglés, lo que permite aplicaciones que van desde resúmenes de texto y análisis de sentimientos hasta tareas complejas de razonamiento. Sin embargo, la PNL para hindi aún debe mejorarse, principalmente debido a la necesidad de datos hindi de alta calidad y modelos específicos del idioma. Dado que el hindi es el cuarto idioma más hablado a nivel mundial, con más de 572 millones de hablantes, un modelo dedicado y de alto rendimiento centrado en el hindi tiene un potencial significativo para aplicaciones del mundo real.
Un desafío crucial en el desarrollo de herramientas de PNL para hindi es la limitada información disponible en comparación con el inglés, que tiene corpus extensos que superan los 15 billones de tokens. Debido a esta escasez, los modelos multilingües como Llama-2 y Falcon se usan comúnmente para hindi, pero necesitan ayuda con problemas de rendimiento ya que distribuyen recursos en muchos idiomas. A pesar de cubrir más de 50 idiomas, estos modelos tienen un rendimiento inferior en tareas específicas del hindi porque no pueden centrarse lo suficiente en el hindi sin afectar a otros idiomas. Esto limita la precisión y fluidez de estos modelos en hindi, lo que dificulta el desarrollo de aplicaciones diseñadas para audiencias de habla hindi. Por lo tanto, la comunidad de investigación ha identificado una necesidad urgente de un modelo diseñado exclusivamente para hindi, utilizando conjuntos de datos hindi de alta calidad y gran escala y una arquitectura de modelo optimizada.
Los modelos de PNL en hindi existentes a menudo se basan en modelos de lenguaje multilingüe de propósito general con datos limitados de preentrenamiento en hindi. Por ejemplo, modelos como Llama-2, que utilizan tokenizadores de codificación de pares de bytes, segmentan palabras que no están en inglés en múltiples subpalabras, lo que genera ineficiencias en el procesamiento del hindi. Si bien estos modelos funcionan razonablemente bien en inglés, necesitan ayuda con el hindi debido a los desequilibrios de los tokens, que inflan los costos de procesamiento y reducen la precisión. Los LLM multilingües también se enfrentan con frecuencia a la “maldición del multilingüismo”, donde el rendimiento se deteriora cuando intentan admitir una amplia gama de idiomas. Por lo tanto, es esencial un enfoque más centrado que aborde los desafíos únicos del procesamiento hindi para mejorar el rendimiento y la aplicabilidad.
Se presentan los investigadores de la Universidad de Inteligencia Artificial Mohamed bin Zayed de los Emiratos Árabes Unidos, Inception UAE y Cerebras Systems Llama-3-Nanda-10B-Chat (Nanda)un LLM centrado en hindi y ajustado a instrucciones con 10 mil millones de parámetros. Desarrollado a partir del modelo Llama-3-8B, Nanda incorpora una amplia capacitación previa en 65 mil millones de tokens hindi e integra selectivamente el inglés para soporte bilingüe. A diferencia de los modelos multilingües más amplios, Nanda dedica su arquitectura principalmente al hindi, combinando una combinación de conjuntos de datos hindi-inglés en una proporción de 1:1 durante el entrenamiento para equilibrar las capacidades lingüísticas. A través de una capacitación previa continua, este modelo refina su dominio del hindi mientras mantiene la eficacia en inglés, lo que lo convierte en un fuerte candidato para aplicaciones que requieren PNL bilingüe.
La arquitectura del modelo se basa en un diseño de solo decodificador con 40 bloques transformadores, en comparación con los 32 estándar en Llama-3. Esta expansión permite una adaptación lingüística eficiente, lo que reduce la sobrecarga de capacitación en comparación con comenzar desde cero. La infraestructura de capacitación utilizó la supercomputadora de inteligencia artificial Condor Galaxy 2, que ejecuta 16 sistemas CS-2 para manejar los amplios requisitos de datos. Los investigadores utilizaron la optimización AdamW con una tasa de aprendizaje de 1,5e-5 y tamaños de lote de 4 millones, optimizando el modelo mediante un ajuste cuidadoso de los hiperparámetros. Para maximizar la utilización de los datos, la capacitación de Nanda incluyó secuencias de hasta 8192 tokens, y cada secuencia marcaba los límites de los documentos, minimizando así la interferencia entre documentos y garantizando un procesamiento del lenguaje cohesivo.
Las evaluaciones de Nanda mostraron resultados sobresalientes en los puntos de referencia tanto en hindi como en inglés, estableciendo un nuevo estándar para los LLM en hindi. En puntos de referencia específicos del hindi como MMLU, HellaSwag, ARC-Easy y TruthfulQA, Nanda obtuvo un promedio de 47,88 en tareas de cero disparos, superando a competidores como AryaBhatta-Gemma y Nemotron. El modelo se mantuvo competitivo en las evaluaciones en inglés, logrando una puntuación de 59,45, que es sólo ligeramente inferior a los modelos dedicados en inglés como el Qwen2.5-14B. Estos resultados subrayan la adaptabilidad de Nanda y demuestran cómo un modelo centrado en hindi puede funcionar eficazmente en todos los idiomas sin sacrificar las capacidades centrales en hindi.
Las conclusiones clave de la investigación son las siguientes:
- Curación de datos: Nanda recibió capacitación previa en un vasto conjunto de datos en hindi de 65 mil millones de tokens, derivados de fuentes de alta calidad como Wikipedia, artículos de noticias y libros, junto con 21,5 millones de tokens en inglés para soporte bilingüe. Estas fuentes de datos garantizan que el modelo tenga profundidad en hindi y flexibilidad bilingüe.
- Arquitectura eficiente: Con 40 bloques transformadores, la arquitectura de Nanda está optimizada para el procesamiento del idioma hindi. Aprovechar la expansión de bloques para una mejor adaptación del idioma puede superar a los modelos multilingües en tareas en hindi.
- Desempeño en puntos de referencia: Nanda logró 47,88 en tareas de tiro cero en hindi y 59,45 en inglés, lo que demuestra que su especialización en hindi no compromete sus capacidades bilingües.
- Ajuste de seguridad e instrucción: Con un sólido conjunto de datos centrado en la seguridad que cubre más de 50.000 mensajes de ataque, Nanda está equipada para manejar contenido confidencial en hindi, lo que reduce el riesgo de generar contenido sesgado o dañino.
- Eficiencia de tokenización: Al desarrollar un tokenizador equilibrado hindi-inglés con baja fertilidad (1.19 para hindi), Nanda logró un procesamiento eficiente, reduciendo los costos de tokenización y mejorando la velocidad de respuesta en comparación con los tokenizadores multilingües genéricos.
En conclusión, Nanda representa un avance significativo en la PNL hindi, ya que cierra brechas críticas en el procesamiento del lenguaje y proporciona un modelo especializado que sobresale en tareas tanto en hindi como en inglés. Al centrarse en datos centrados en hindi y adoptar arquitecturas optimizadas, Nanda aborda los desafíos de larga data en PNL hindi, estableciendo un nuevo estándar para aplicaciones de lenguaje bilingüe. Este modelo ofrece a investigadores, desarrolladores y empresas una herramienta poderosa para ampliar las capacidades del idioma hindi, respaldando una demanda creciente de aplicaciones de IA inclusivas y culturalmente sensibles.
Mira el Modelo abrazando la cara y Papel.. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[Trending] LLMWare presenta Model Depot: una amplia colección de modelos de lenguaje pequeño (SLM) para PC Intel
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.