Los últimos meses han sido un momento emocionante para la familia de modelos abiertos de Gemma. Presentamos Gemma 3 y Gemma 3 Qatentregando un rendimiento de vanguardia para aceleradores de una sola nube y escritorio. Luego, anunciamos el lanzamiento completo de Gemma 3nuna arquitectura móvil primero que trae una poderosa IA multimodal en tiempo real directamente a los dispositivos Edge. Nuestro objetivo ha sido proporcionar herramientas útiles para que los desarrolladores construyan con IA, y seguimos siendo asombrado por el vibrante Gemmaverse Estás ayudando a crear, celebrando juntos a medida que las descargas superaron los 200 millones la semana pasada.
Hoy, estamos agregando una nueva herramienta altamente especializada al kit de herramientas Gemma 3: Gemma 3 270mun modelo compacto de parámetros de 270 millones diseñado desde la tierra para el ajuste fino específico de la tarea con fuertes capacidades de seguimiento de instrucciones y estructuración de texto que ya están capacitadas.
Gemma 3 270m aporta fuertes capacidades de seguimiento de instrucciones a un modelo de huella pequeña. Como se muestra en el punto de referencia Ifeval (que prueba la capacidad de un modelo para seguir las instrucciones verificables), establece un nuevo nivel de rendimiento para su tamaño, lo que hace que las capacidades de IA sofisticadas sean más accesibles para aplicaciones de investigación y en dispositivos.
Capacidades centrales de Gemma 3 270m
- Arquitectura compacta y capaz: Nuestro nuevo modelo tiene un total de 270 millones de parámetros: 170 millones de parámetros de incrustación debido a un gran tamaño de vocabulario y 100 millones para nuestros bloques de transformadores. Gracias al gran vocabulario de los tokens 256k, el modelo puede manejar tokens específicos y raros, lo que lo convierte en un modelo base sólido para estar ajustado aún más en dominios e idiomas específicos.
- Eficiencia energética extrema: Una ventaja clave de Gemma 3 270m es su bajo consumo de energía. Las pruebas internas en un Pixel 9 Pro SoC muestran que el modelo cantiado con INT4 usó solo el 0,75% de la batería para 25 conversaciones, lo que lo convierte en nuestro modelo GEMMA más eficiente en energía.
- Instrucción siguiente: Se lanza un modelo de instrucciones junto con un punto de control previamente capacitado. Si bien este modelo no está diseñado para casos de uso conversacionales complejos, es un modelo fuerte que sigue las instrucciones generales desde el principio.
En ingeniería, el éxito se define por la eficiencia, no solo la potencia cruda. No usarías un mazo para colgar un marco de imagen. El mismo principio se aplica al edificio con AI.
Gemma 3 270m encarna esta filosofía de “herramienta adecuada para el trabajo”. Es un modelo de base de alta calidad que sigue las instrucciones bien fuera de la caja, y su verdadero poder se desbloquea a través del ajuste. Una vez especializado, puede ejecutar tareas como la clasificación de texto y la extracción de datos con una notable precisión, velocidad y rentabilidad. Al comenzar con un modelo compacto y capaz, puede construir sistemas de producción que sean delgados, rápidos y dramáticamente más baratos de operar.
Un plan del mundo real para el éxito
El poder de este enfoque ya ha brindado resultados increíbles en el mundo real. Un ejemplo perfecto es El trabajo realizado por Adaptive ML con SK Telecom. Enfrentando el desafío de la moderación matizada de contenido multilingüe, optaron por especializarse. En lugar de utilizar un modelo masivo de uso general, ML adaptada ML ajustó un modelo Gemma 3 4B. Los resultados fueron impresionantes: el modelo especializado de Gemma no solo cumplió sino que excedió el rendimiento de modelos patentados mucho más grandes en su tarea específica.
Gemma 3 270m está diseñado para permitir que los desarrolladores adopten este enfoque aún más lejos, desbloqueando una eficiencia aún mayor para tareas bien definidas. Es el punto de partida perfecto para crear una flota de pequeños modelos especializados, cada uno de los cuales es un experto en su propia tarea.
Pero este poder de especialización no es solo para tareas empresariales; También permite aplicaciones creativas poderosas. Por ejemplo, mira Esta aplicación web del generador de cuentos antes de acostarse:
Gemma 3 270m solía alimentar una aplicación web del generador de cuentos antes de dormir usando Transformers.js. El tamaño y el rendimiento del modelo lo hacen adecuado para tareas creativas fuera de línea, basadas en la web. (Crédito: Joshua (@xenovacom en X) del equipo de abrazaderas)
Cuándo elegir Gemma 3 270m
GEMMA 3 270M hereda la arquitectura avanzada y la pre-entrenamiento robusto de la colección Gemma 3, proporcionando una base sólida para sus aplicaciones personalizadas.
Aquí es cuando es la elección perfecta:
- Tienes una tarea de alto volumen y bien definida. Ideal para funciones como análisis de sentimientos, extracción de entidad, enrutamiento de consultas, no estructurado a procesamiento de texto estructurado, escritura creativa y controles de cumplimiento.
- Debe hacer que cada milisegundo y microcinte cuenten. Reducir o eliminar drásticamente sus costos de inferencia en la producción y entregar respuestas más rápidas a sus usuarios. Un modelo de 270 m sintonizado puede ejecutarse en infraestructura ligera y económica o directamente en el dispositivo.
- Necesita iterar e implementar rápidamente. El pequeño tamaño de Gemma 3 270m permite experimentos rápidos de ajuste fino, lo que le ayuda a encontrar la configuración perfecta para su caso de uso en horas, no días.
- Debe garantizar la privacidad del usuario. Debido a que el modelo puede ejecutarse completamente en el dispositivo, puede crear aplicaciones que manejen información confidencial sin enviar datos a la nube.
- Desea una flota de modelos de tareas especializados. Construya e implementa múltiples modelos personalizados, cada uno capacitado de manera experta para una tarea diferente, sin romper su presupuesto.
Empiece con un ajuste fino
Queremos que sea lo más fácil posible convertir Gemma 3 270m en su propia solución personalizada. Se basa en la misma arquitectura que el resto de los modelos Gemma 3, con recetas y herramientas para comenzar rápidamente. Puedes encontrar nuestra guía en ajuste completo Usando Gemma 3 270m como parte de los documentos de Gemma.
El Gemmaverse se basa en la idea de que la innovación viene en todos los tamaños. Con Gemma 3 270m, estamos capacitando a los desarrolladores para construir soluciones de IA más inteligentes, más rápidas y más eficientes. No podemos esperar a ver los modelos especializados que crea.