Los nodos de código en línea ahora compatibles con los flujos de roca madre de Amazon en la vista previa pública

Hoy nos complace anunciar la vista previa pública del apoyo para nodos de código en línea en Flujos de roca madre de Amazon. Con esta nueva capacidad poderosa, puede escribir scripts de Python directamente dentro de su flujo de trabajo, aliviando la necesidad de separarse AWS Lambda Funciones para lógica simple. Esta característica optimiza las tareas de preprocesamiento y posprocesamiento (como la normalización de datos y el formato de respuesta), simplificando el desarrollo generativo de aplicaciones de IA y haciéndolo más accesible en todas las organizaciones. Al eliminar las barreras de adopción y reducir la sobrecarga de mantenimiento, la función de código en línea acelera la adopción empresarial de soluciones generativas de IA, lo que resulta en ciclos de iteración más rápidos y una participación más amplia en la construcción de aplicaciones de IA.

Las organizaciones que usan flujos de roca madre de Amazon ahora pueden usar nodos de código en línea para diseñar e implementar flujos de trabajo para construir aplicaciones de IA generativas más escalables y eficientes en el entorno de roca madre de Amazon mientras logran lo siguiente:

• Preprocesamiento – Transformar los datos de entrada antes de enviarlos a un modelo de lenguaje grande (LLM) sin tener que configurar una función lambda separada. Por ejemplo, extraer campos específicos de JSON, formatear datos de texto o normalizar valores.
• Posprocesamiento – Realización de operaciones en salidas de modelo directamente dentro del flujo. Por ejemplo, extraer entidades de respuestas, formatear JSON para sistemas aguas abajo o aplicar reglas comerciales a los resultados.
• Casos de uso complejos -Gestión de la ejecución de flujos de trabajo de IA generativos complejos de varios pasos que pueden llamar paquetes populares como OpenCV, SciPy, de PYPDF.
• De constructor – Crear y administrar el código en línea a través de ambos API Bedrock de Amazon y el Consola de gestión de AWS.
• Observabilidad – Experiencia de usuario perfecta con la capacidad de rastrear las entradas y salidas desde cada nodo.

En esta publicación, discutimos los beneficios de esta nueva característica y mostramos cómo usar nodos de código en línea en los flujos de roca madre de Amazon.

Beneficios del código en línea en los flujos de roca madre de Amazon

Thomson Reutersuna compañía global de servicios de información que proporciona noticias, ideas y soluciones tecnológicas esenciales para profesionales en sectores legal, de impuestos, contabilidad, medios y corporativos, maneja casos complejos de uso generativo de IA generativo que requieren un preprocesamiento y posprocesamiento simples como parte del flujo de trabajo. Con la función de código en línea en los flujos de roca madre de Amazon, Thomson Reuters ahora puede beneficiarse de lo siguiente:

• Gestión de flujo simplificado – Alivie la necesidad de crear y mantener funciones de Lambda individuales para cada bloque de código personalizado, lo que hace que sea sencillo administrar miles de flujos de trabajo en una gran base de usuarios (más de 16,000 usuarios y 6,000 cadenas) con menos gastos generales operativos.
• Procesamiento de datos flexible -Habilite el preprocesamiento directo de los datos antes de las llamadas de LLM y el posprocesamiento de las respuestas de LLM, incluida la capacidad de interactuar con los servicios internos de AWS y las API de terceros a través de una sola interfaz.
• Creación de flujo de bricolaje -Ayuda a los usuarios a construir flujos de trabajo complejos con bloques de código personalizados a través de una interfaz de autoservicio, sin exponerlos a las complejidades de infraestructura subyacentes o que requieren la gestión de funciones LAMBDA.

Descripción general de la solución

En las siguientes secciones, mostramos cómo crear un flujo de roca madre de Amazon simple y agregar nodos de código en línea. Nuestro ejemplo muestra una aplicación práctica en la que construiremos un flujo que procese las solicitudes de los usuarios para listas de reproducción de música, incorporando los nodos de código en línea de preprocesamiento y posprocesamiento para manejar la validación de datos y el formateo de la respuesta.

Requisitos previos

Antes de implementar las nuevas capacidades, asegúrese de tener lo siguiente:

Después de que estos componentes estén en su lugar, puede continuar con el uso de flujos de roca madre de Amazon con capacidades de código en línea en su caso de uso generativo de IA.

Crea tu flujo usando nodos de código en línea

Complete los siguientes pasos para crear su flujo:

1. En la consola de rock de Amazon, elija Flujos bajo Herramientas de constructor En el panel de navegación.
2. Cree un flujo nuevo, por ejemplo, un flujo de código fácil en línea. Para obtener instrucciones detalladas sobre la creación de un flujo, ver Los flujos de roca madre de Amazon ahora están generalmente disponibles con mayor seguridad y trazabilidad.
3. Agregue un nodo de código en línea. (Para este ejemplo, creamos dos nodos para dos indicaciones separadas).

Amazon Bedrock proporciona diferente tipos de nodos Para construir su rápido flujo. Para este ejemplo, utilizamos un nodo de código en línea en lugar de llamar a una función Lambda para un código personalizado para una aplicación generativa con AI. Hay dos nodos de código en línea en el flujo. Hemos extendido la muestra de la documentación Crear un flujo con un solo mensaje. El nuevo tipo de nodo Código en línea esta en el Nodos pestaña en el panel izquierdo.

4. Agregue algún código para procesar en el Preprocessing_InlineCode nodo antes de enviarlo al nodo de inmediato prompt_1. Python 3 solo es compatible con el momento de escribir. En este ejemplo, verificamos si el número de canciones solicitadas por el usuario es de más de 10 y está configurada en 10.

También hay un editor de código de Python y plantillas de código de muestra para escribir el código.

Usamos el siguiente código:

import json
def __func():
    try:
        if userprompt['number'] > 10:
            userprompt['number']=10
            return userprompt
        else:
            return userprompt
            
    except Exception as e:
        return {
            "error": "Invalid input format",
            "details": str(e)
        }
__func()

5. En el nodo de código postprocessing_inline, verificamos el número de palabras en la respuesta y alimentamos los datos al siguiente nodo de inmediato, prompt_2.

def __func():
    # Remove extra whitespace and count
    cleaned_text=" ".join(playlist.split())
    word_count = len(cleaned_text.split())
    return{
        "playlist": playlist,     "word_count": word_count
    }
__func()

6. Pruebe el flujo con el siguiente mensaje:

Sample input for the Flow Input node 
{
  "genre": "pop",
    "number": 8
  }

La entrada al nodo de código en línea (función de Python) debe tratarse como la entrada del usuario no confiable, y se debe implementar el análisis, la validación y el manejo de datos apropiados.

Puede ver la salida como se muestra en la siguiente captura de pantalla. El sistema también proporciona acceso a trazas de ejecución de nodos, ofreciendo ideas detalladas sobre cada paso de procesamiento, métricas de rendimiento en tiempo real y destacando cualquier problema que ocurriera durante la ejecución del flujo. Las trazas se pueden habilitar utilizando un API y enviado a un Amazon CloudWatch registro. En la API, configure el enableTrace campo a verdad en un InvokeFlow pedido. Cada flowOutputEvent en la respuesta se devuelve junto a un flowTraceEvent.

Ahora ha creado y ejecutado con éxito un flujo de roca madre de Amazon utilizando nodos de código en línea. También puedes usar APIA DEL BANDROCK DE AMANON para ejecutar programáticamente este flujo. Para obtener detalles adicionales sobre cómo configurar flujos con mayor seguridad y trazabilidad, ver Los flujos de roca madre de Amazon ahora están generalmente disponibles con mayor seguridad y trazabilidad.

Consideraciones

Cuando se trabaja con nodos de código en línea en los flujos de roca madre de Amazon, las siguientes son las cosas importantes a tener en cuenta:

• El código se ejecuta en un entorno de Sandbox administrado, seguro y administrado de AWS que no se comparte con nadie y no tiene acceso a Internet
• La función admite Python 3.12 y superior
• Maneja eficientemente el código con un tamaño binario de hasta 4 MB, que son aproximadamente 4 millones de caracteres.
• Admite paquetes populares como OpenCV, Scipy y Pypdf
• Admite 25 sesiones de ejecución de código concurrente por cuenta de AWS

Conclusión

La integración de los nodos de código en línea en los flujos de roca madre de Amazon marca un avance significativo en la democratización del desarrollo generativo de IA, reduciendo la complejidad de la gestión de funciones de Lambda separadas para tareas de procesamiento básico. Esta mejora responde directamente a las necesidades de los clientes empresariales de una experiencia de desarrollo más simplificada, lo que ayuda a los desarrolladores a centrarse en construir flujos de trabajo de IA sofisticados en lugar de administrar la infraestructura.

El código en línea en Amazon Bedrock Flows ya está disponible en Vista previa pública a continuación Regiones de AWS: US East (N. Virginia, Ohio), US West (Oregon) y Europa (Frankfurt). Para comenzar, abra la consola de roca madre de Amazon o las apis de la roca madre de Amazon para comenzar a construir flujos con flujos de roca madre de Amazon. Para obtener más información, consulte Crea tu primer flujo en Amazon Bedrock y Rastree cada paso en su flujo viendo su rastro en Amazon Bedrock.

Estamos emocionados de ver las aplicaciones innovadoras que construirá con estas nuevas capacidades. Como siempre, damos la bienvenida a sus comentarios a través de AWS Re: Post para Amazon Bedrock o sus contactos de AWS habituales. Únase a la comunidad generativa de constructor de IA en Comunidad. AWS Para compartir sus experiencias y aprender de los demás.

Sobre los autores

Shubhankar sumar es un arquitecto senior de soluciones en AWS, donde se especializa en la arquitectura de soluciones generativas de IA para software empresarial y compañías SaaS en todo el Reino Unido. Con una sólida experiencia en ingeniería de software, Shubhankar se destaca en el diseño de sistemas de inquilinos seguros, escalables y rentables en la nube. Su experiencia radica en integrar sin problemas las capacidades de IA generativas de vanguardia en las aplicaciones SaaS existentes, lo que ayuda a los clientes a mantenerse a la vanguardia de la innovación tecnológica.

Jesse Manders es gerente de productos senior en Amazon Bedrock, el servicio de desarrollador de IA Generation AWS. Trabaja en la intersección de la IA y la interacción humana con el objetivo de crear y mejorar los productos y servicios generativos de IA para satisfacer nuestras necesidades. Anteriormente, Jesse tenía roles de liderazgo del equipo de ingeniería en Apple y Lumileds, y era científico senior en una startup de Silicon Valley. Tiene una EM y Ph.D. de la Universidad de Florida, y un MBA de la Facultad de Negocios de la Universidad de California, Berkeley, Haas.