Modelos Falcon 3 ahora disponibles en Amazon Sagemaker JumpStart

Hoy nos complace anunciar que la familia de modelos Falcon 3 de TII está disponible en Amazon Sagemaker Jumpstart. En esta publicación, exploramos cómo implementar este modelo de manera eficiente en Amazon Sagemaker AI.

Descripción general de la familia de modelos Falcon 3

La familia Falcon 3, desarrollada por Technology Innovation Institute (TII) en Abu Dhabi, representa un avance significativo en los modelos de lenguaje de código abierto. Esta colección incluye cinco modelos base que van desde 1 mil millones a 10 mil millones de parámetros, con un enfoque en mejorar las capacidades de ciencias, matemáticas y codificación. La familia consiste en Falcon3-1b-Base, Falcon3-3b-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base y Falcon3-10B-Base junto con sus variantes de instrucciones.

Estos modelos muestran innovaciones, como técnicas eficientes de prioridad, escala para un mejor razonamiento y la destilación de conocimiento para un mejor rendimiento en modelos más pequeños. En particular, el modelo Falcon3-10B-base logra un rendimiento de última generación para modelos de menos de 13 mil millones de parámetros en tareas de disparo cero y pocos disparos. La familia Falcon 3 también incluye varias versiones ajustadas como modelos de instrucciones y admite diferentes formatos de cuantificación, lo que los hace versátiles para una amplia gama de aplicaciones.

Actualmente, Sagemaker JumpStart ofrece las versiones base de Falcon3-3b, Falcon3-7b y Falcon3-10b, junto con sus variantes de instrucciones correspondientes, así como Falcon3-1b-Instructo.

Comience con Sagemaker Jumpstart

Sagemaker Jumpstart es un centro de aprendizaje automático (ML) que puede ayudar a acelerar su viaje de ML. Con Sagemaker Jumpstart, puede evaluar, comparar y seleccionar modelos de base previamente capacitados (FMS), incluidos los modelos Falcon 3. Estos modelos son totalmente personalizables para su caso de uso con sus datos.

La implementación de un modelo Falcon 3 a través de Sagemaker JumpStart ofrece dos enfoques convenientes: usar la interfaz de usuario intuitiva de Sagemaker JumpStart o implementar programáticamente a través del Sagemaker Python SDK. Exploremos ambos métodos para ayudarlo a elegir el enfoque que mejor se adapte a sus necesidades.

Implementar Falcon 3 usando la usuario de Sagemaker JumpStart

Complete los siguientes pasos para implementar Falcon 3 a través de la interfaz de usuario de JumpStart:

1. Para acceder a Sagemaker Jumpstart, use uno de los siguientes métodos:
   1. En Amazon Sagemaker Unified Studio, en el Construir Menú, elija Modelos Jumpstart bajo Desarrollo modelo.
      
   2. Alternativamente, en Amazon Sagemaker Studioelegir Salpicar En el panel de navegación.
      

2. Busque la base Falcon3-10B en el navegador modelo.
   
3. Elija el modelo y elija Desplegar.
   
4. Para Tipo de instanciause la instancia predeterminada o elija una instancia diferente.
5. Elegir Desplegar.
   Después de un tiempo, el estado de punto final se mostrará como Intermediar Y podrás ejecutar inferencia contra ella.
   

Implementar Falcon 3 mediante programación utilizando el Sagemaker Python SDK

Para los equipos que buscan automatizar la implementación o integrarse con las tuberías de MLOPS existentes, puede usar el Sagemaker Python SDK:

from sagemaker.serve.builder.model_builder import ModelBuilder
from sagemaker.serve.builder.schema_builder import SchemaBuilder
from sagemaker.jumpstart.model import ModelAccessConfig
from sagemaker.session import Session
import logging

sagemaker_session = Session()

artifacts_bucket_name = sagemaker_session.default_bucket()
execution_role_arn = sagemaker_session.get_caller_identity_arn()


js_model_id = "huggingface-llm-falcon-3-10B-base"

gpu_instance_type = "ml.g5.12xlarge"  

response = "Hello, I'm a language model, and I'm here to help you with your English."

sample_input = {
    "inputs": "Hello, I'm a language model,",
    "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
}

sample_output = [{"generated_text": response}]

schema_builder = SchemaBuilder(sample_input, sample_output)

model_builder = ModelBuilder(
    model=js_model_id,
    schema_builder=schema_builder,
    sagemaker_session=sagemaker_session,
    role_arn=execution_role_arn,
    log_level=logging.ERROR
)

model= model_builder.build()

predictor = model.deploy(model_access_configs={js_model_id:ModelAccessConfig(accept_eula=True)}, accept_eula=True)

Ejecutar inferencia en el predictor:

predictor.predict(sample_input)

Si desea configurar la capacidad de escalar a cero después de la implementación, consulte Desbloquear los ahorros de costos con la nueva función de escala hasta cero en la inferencia de Sagemaker.

Limpiar

Para limpiar el modelo y el punto final, use el siguiente código:

predictor.delete_model()
predictor.delete_endpoint()

Conclusión

En esta publicación, exploramos cómo Sagemaker JumpStart empodera a los científicos de datos y a los ingenieros de ML para descubrir, acceder y ejecutar una amplia gama de FMS previamente capacitados para la inferencia, incluida la familia de modelos Falcon 3. Visite Sagemaker Jumpstart en Sagemaker Studio ahora para comenzar. Para obtener más información, consulte Sagemaker JumpStart Models Pretraned, Modelos de la Fundación JumpStart de Amazon Sagemakery Comenzando con Amazon Sagemaker Jumpstart.

Sobre los autores

Niithiyn vijeaswaran es un arquitecto generativo de soluciones especialistas en IA con el equipo de ciencias de modelos de terceros en AWS. Su área de enfoque son los aceleradores generativos de IA y AWS AI. Tiene una licenciatura en informática y bioinformática.

Marc Karp es un arquitecto de ML con el equipo de servicio de Amazon Sagemaker. Se enfoca en ayudar a los clientes a diseñar, desplegar y administrar cargas de trabajo de ML a escala. En su tiempo libre, le gusta viajar y explorar nuevos lugares.

Raghu Ramesha es un arquitecto senior de soluciones de ML con el equipo de servicio de Amazon Sagemaker. Se enfoca en ayudar a los clientes a construir, desplegar y migrar ML de producción de ML a Sagemaker a escala. Se especializa en el aprendizaje automático, la IA y los dominios de visión por computadora, y posee una maestría en informática de UT Dallas. En su tiempo libre, le gusta viajar y fotografiar.

Banu nagasundaram Lidera las asociaciones de productos, ingeniería y estratégicos para Sagemaker JumpStart, Sagemaker’s Machine Learning y Genai Hub. Le apasiona construir soluciones que ayuden a los clientes a acelerar su viaje de IA y desbloquear el valor comercial.