A pesar de los rápidos avances en la tecnología lingüística, persisten importantes brechas en la representación de muchas lenguas. La mayor parte del progreso en el procesamiento del lenguaje natural (PNL) se ha centrado en idiomas con buenos recursos, como el inglés, dejando a muchos otros subrepresentados. Este desequilibrio significa que sólo una pequeña porción de la población mundial puede beneficiarse plenamente de las herramientas de IA. La ausencia de modelos lingüísticos sólidos para las lenguas de bajos recursos, junto con el acceso desigual a la IA, exacerba las disparidades en educación, accesibilidad a la información y empoderamiento tecnológico. Abordar estos desafíos requiere un esfuerzo concertado para desarrollar e implementar modelos lingüísticos que sirvan a todas las comunidades de manera equitativa.
Cohere for AI presenta Aya Expanse: una familia de modelos de última generación de peso abierto para ayudar a cerrar la brecha lingüística con la IA. Aya Expanse está diseñado para ampliar la cobertura lingüística y la inclusión en el panorama de la IA al proporcionar modelos abiertos a los que investigadores y desarrolladores de todo el mundo pueden acceder y desarrollar. Disponibles en varios tamaños, incluidos Aya Expanse-8B y Aya Expanse-32B, estos modelos se adaptan a una amplia gama de tareas de lenguaje natural, como generación, traducción y resumen de texto. Los diferentes tamaños de modelo ofrecen flexibilidad para diversos casos de uso, desde aplicaciones a gran escala hasta implementaciones más ligeras. Aya Expanse utiliza una arquitectura transformadora avanzada para capturar matices lingüísticos y riqueza semántica, y está optimizada para manejar escenarios multilingües de manera efectiva. Los modelos aprovechan diversos conjuntos de datos de idiomas de bajos recursos como el suajili, el bengalí y el galés para garantizar un rendimiento equitativo en todos los contextos lingüísticos.
Aya Expanse desempeña un papel crucial a la hora de cerrar las brechas lingüísticas, garantizando que los idiomas subrepresentados tengan las herramientas necesarias para beneficiarse de los avances de la IA. El modelo Aya Expanse-32B, en particular, ha demostrado mejoras significativas en los puntos de referencia de comprensión multilingüe, superando a modelos como Gemma 2 27B, Mistral 8x22B y Llama 3.1 70B, un modelo que duplica su tamaño. En las evaluaciones, Aya Expanse-32B logró una precisión promedio un 25% mayor en pruebas comparativas de lenguajes de bajos recursos en comparación con otros modelos líderes. De manera similar, Aya Expanse-8B supera a los modelos líderes en su clase de parámetros, incluidos Gemma 2 9B, Llama 3.1 8B y el Ministral 8B lanzado recientemente, con tasas de ganancia que oscilan entre el 60,4% y el 70,6%. Estos resultados resaltan el potencial de Aya Expanse para apoyar a las comunidades desatendidas y fomentar una mejor inclusión lingüística.
Las mejoras en Aya Expanse surgen del enfoque sostenido de Cohere for AI en expandir la forma en que la IA sirve a los idiomas en todo el mundo. Al repensar los componentes básicos de los avances en el aprendizaje automático, incluido el arbitraje de datos, el entrenamiento de preferencias para el rendimiento general y la seguridad, y la fusión de modelos, Cohere for AI ha hecho una contribución significativa para cerrar la brecha lingüística. Hacer que los pesos del modelo estén disponibles abiertamente fomenta un ecosistema inclusivo de investigadores y desarrolladores, lo que garantiza que el modelado del lenguaje se convierta en un esfuerzo impulsado por la comunidad en lugar de uno controlado por unas pocas entidades.
En conclusión, Aya Expanse representa un paso significativo hacia la democratización de la IA y abordar la brecha lingüística en la PNL. Al proporcionar potentes modelos de lenguaje multilingües con pesos abiertos, Cohere for AI avanza la tecnología del lenguaje al tiempo que promueve la inclusión y la colaboración. Aya Expanse permite a desarrolladores, educadores e innovadores de diversos orígenes lingüísticos crear aplicaciones que sean accesibles y beneficiosas para una población más amplia, contribuyendo en última instancia a un mundo más conectado y equitativo. Esta medida se alinea bien con los valores fundamentales de la inteligencia artificial: accesibilidad, inclusión e innovación sin fronteras.
Mira el Detalles, Modelo 8B y Modelo 32B. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.
[Upcoming Live Webinar- Oct 29, 2024] La mejor plataforma para ofrecer modelos optimizados: motor de inferencia Predibase (promocionado)
Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.