Crear grandes modelos lingüísticos para idiomas europeos que pueden tener menos datos que el inglés es un desafío para la inteligencia artificial. Las empresas del mundo tecnológico han estado trabajando en esto y, recientemente, una startup de Helsinki, Finlandia, introdujo una nueva solución a este problema.
Antes de esto, algunos modelos de lenguaje estaban disponibles, pero a menudo eran específicos de un idioma y podrían haber funcionado mejor para idiomas con menos datos. El problema era que estos modelos debían capturar las características, la cultura y la base de valores únicas de cada lengua europea. Las soluciones existentes eran limitadas y era necesario algo más inclusivo.
Ahora, un Startup finlandesa de IA ha desarrollado una solución de código abierto llamada poro. Es un gran modelo lingüístico que pretende cubrir los 24 idiomas oficiales de la Unión Europea. La idea es crear una familia de modelos que comprendan y representen la diversidad de lenguas europeas. La startup cree que esto es importante para la soberanía digital, asegurando que el valor creado por estos modelos permanezca dentro de Europa.
Poro está diseñado para afrontar el desafío de entrenar modelos lingüísticos para idiomas con menos datos disponibles, como el finlandés. Utiliza un enfoque de capacitación multilingüe, lo que significa que aprende de datos en idiomas con mayores recursos, como el inglés, para mejorar su desempeño en idiomas con menores recursos.
El El modelo Poro 34B tiene 34,2 mil millones de parámetros y utiliza una arquitectura única llamada transformador BLOOM con incrustaciones ALiBi.. Está capacitado en un conjunto de datos multilingüe masivo, que cubre lenguajes y lenguajes de programación como Python y Java. La formación se realiza en uno de los superordenadores más rápidos de Europa, que proporciona una enorme potencia informática.
La startup publica puntos de control a lo largo del proceso de capacitación del modelo, mostrando su progreso. Incluso con un avance del 30%, Poro está mostrando resultados de última generación. En las pruebas, supera a los modelos existentes para finlandeses y está en camino de igualar o superar el rendimiento inglés.
En conclusión, Poro representa un paso adelante en la IA, específicamente para las lenguas europeas. No se trata sólo de crear un modelo lingüístico potente, sino de hacerlo de una manera abierta y transparente y que respete la diversidad de lenguas y culturas en Europa. Si tiene éxito, Poro podría cambiar las reglas del juego y ofrecer una alternativa local a los modelos lingüísticos de las principales empresas tecnológicas.
Niharika es pasante de consultoría técnica en Marktechpost. Es estudiante de tercer año y actualmente cursa su licenciatura en tecnología en el Instituto Indio de Tecnología (IIT), Kharagpur. Es una persona muy entusiasta con un gran interés en el aprendizaje automático, la ciencia de datos y la inteligencia artificial y una ávida lectora de los últimos avances en estos campos.