Integre las capacidades generativas de IA en Microsoft Office con el rock de Amazon

IA generativa está transformando rápidamente el lugar de trabajo moderno, ofreciendo capacidades sin precedentes que aumentan la forma en que interactuamos con el texto y los datos. En Amazon Web Services (AWS), reconocemos que muchos de nuestros clientes confían en el conjunto de aplicaciones familiares de Microsoft Office, incluidas Word, Excel y Outlook, como la columna vertebral de sus flujos de trabajo diarios. En esta publicación de blog, mostramos una poderosa solución que integra perfectamente las capacidades de IA generativas de AWS en forma de modelos de idiomas grandes (LLM) basados ​​en Amazon Bedrock en la experiencia de la oficina. Al aprovechar los últimos avances en la IA generativa, capacitamos a los empleados para desbloquear nuevos niveles de eficiencia y creatividad dentro de las herramientas que ya usan todos los días. Ya sea redactando un texto convincente, analizar conjuntos de datos complejos o obtener más información en profundidad de la información, integrar la IA generativa con la suite de oficinas transforma la forma en que los equipos abordan su trabajo esencial. Únase a nosotros mientras exploramos cómo su organización puede aprovechar esta tecnología transformadora para impulsar la innovación y aumentar la productividad de los empleados.

Descripción general de la solución

Figura 1: Descripción general de la arquitectura de soluciones

La arquitectura de soluciones en la Figura 1 muestra cómo las aplicaciones de oficina interactúan con un backend sin servidor alojado en la nube de AWS a través de un complemento. Esta arquitectura permite a los usuarios aprovechar las capacidades generativas de IA generativas de Amazon Bedrock directamente desde el suite de Office, lo que permite una mayor productividad y conocimientos dentro de sus flujos de trabajo existentes.

Componentes de profundidad

Complementos de oficina

Complementos de oficina Permita extender productos de oficina con extensiones personalizadas construidas en tecnologías web estándar. Usando AWS, las organizaciones pueden alojar y servir a los complementos de oficina para usuarios en todo el mundo con una sobrecarga de infraestructura mínima.

Un complemento de la oficina está compuesto por dos elementos:

El fragmento de código a continuación demuestra parte de una función que podría ejecutarse cada vez que un usuario invoca el complemento, realizando las siguientes acciones:

1. Inicie una solicitud al backend generativo de IA, proporcionando el contexto de la solicitud del usuario y disponible en el cuerpo de la solicitud
2. Integre los resultados de la respuesta de backend en el documento Word usando API de Microsoft Office JavaScript. Tenga en cuenta que estas API usan objetos como espacios de nombres, aliviando la necesidad de importaciones explícitas. En su lugar, utilizamos los espacios de nombres disponibles a nivel mundial, como Wordpara acceder directamente a las API relevantes, como se muestra en el siguiente fragmento de ejemplo.

// Initiate backend request (optional context)
const response = await sendPrompt({ user_message: prompt, context: selectedContext });

// Modify Word content with responses from the Backend
await Word.run(async (context) => {
  let documentBody;

  // Target for the document modifications
  if (response.location === 'Replace') {
    documentBody = context.document.getSelection(); // active text selection
  } else {
    documentBody = context.document.body; // entire document body
  }

  // Markdown support for preserving original content layout
  // Dependencies used: React markdown
  const content = renderToString(<Markdown>{ response.content } < /Markdown>);
  const operation = documentBody.insertHtml(content, response.location);

  // set properties for the output content (font, size, color, etc.)
  operation.font.set({ name: 'Arial' });

  // flush changes to the Word document
  await context.sync();
});

Infraestructura de backend de IA generativa

El backend de la nube de AWS consta de tres componentes:

1. Puerta de entrada de la API de Amazon actúa como punto de entrada, recibiendo solicitudes del complemento de las solicitudes de la oficina. API Gateway Soporte múltiples mecanismos para controlar y administrar el acceso a una API.
2. AWS Lambda Maneja la integración de API REST, procesando las solicitudes e invocando los servicios AWS apropiados.
3. Roca madre de Amazon es un servicio totalmente administrado que hace que los modelos de base (FMS) sean las principales startups de IA y Amazon disponible a través de una API, por lo que puede elegir entre una amplia gama de FMS para encontrar el modelo que se adapte mejor a su caso de uso. Con la experiencia sin servidor de Bedrock, puede comenzar a personalizar de manera rápida y privada FMS con sus propios datos e integrarlos e implementarlos rápidamente en sus aplicaciones utilizando las herramientas AWS sin tener que administrar la infraestructura.

LLM Signicing

Amazon Bedrock le permite elegir entre un amplia selección de modelos de base para solicitar. Aquí, usamos Soneto Claude 3.5 de Anthrope en Amazon Bedrock para completar. El indicador del sistema que utilizamos en este ejemplo es el siguiente:

You are an office assistant helping humans to write text for their documents.

[When preparing the answer, take into account the following text: <text>{context}</text>]
Before answering the question, think through it step-by-step within the <thinking></thinking> tags.
Then, detect the user's language from their question and store it in the form of an ISO 639-1 code within the <user_language></user_language> tags.
Then, develop your answer in the user’s language within the <response></response> tags.

En el aviso, primero le damos a la LLM una persona, lo que indica que es un asistente de oficina que ayuda a los humanos. La segunda línea opcional contiene texto que ha sido seleccionado por el usuario en el documento y se proporciona como contexto para el LLM. Instruimos específicamente al LLM que primero imite un proceso de pensamiento paso a paso para llegar a la respuesta (razonamiento de la cadena de pensamiento), una medida efectiva de ingeniería rápida Para mejorar la calidad de la salida. A continuación, le indicamos que detecte el idioma del usuario de su pregunta para que luego podamos referirnos a él. Finalmente, instruimos a la LLM que desarrolle su respuesta utilizando el lenguaje de usuario detectado previamente dentro de las etiquetas de respuesta, que se utilizan como respuesta final. Mientras aquí, usamos la configuración predeterminada para parámetros de inferencia como la temperatura, que puede ser rápidamente configurado con cada aviso de LLM. Luego se agrega la entrada del usuario como mensaje de usuario a la solicitud y se envía a través de Amazon Bedrock API de mensajes al LLM.

Detalles de implementación y configuración de demostración en una cuenta de AWS

Como requisito previo, debemos asegurarnos de que estamos trabajando en una región de AWS con Soporte de roca madre de Amazon para el modelo Foundation (Aquí, usamos el soneto Claude 3.5 de Anthrope). También, Acceso a los modelos relevantes de Amazon Bedrock Foundation requeridos necesita ser agregado. Para esta configuración de demostración, describimos los pasos manuales tomados en la consola AWS. Si es necesario, esta configuración también se puede definir en Infraestructura como código.

Para configurar la integración, siga estos pasos:

1. Cree una función AWS Lambda con el tiempo de ejecución de Python y el código inferior para ser el backend para la API. Asegúrese de que tengamos PowerTools para AWS Lambda (Python) Disponible en nuestro tiempo de ejecución, por ejemplo, adjuntando unCapa de lambda a nuestra función. Asegúrese de que el rol IAM de la función Lambda proporcione acceso al FM requerido, por ejemplo:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "bedrock:InvokeModel",
               "Resource": [
                   "arn:aws:bedrock:*::foundation-model/anthropic.claude-3-5-sonnet-20240620-v1:0"
               ]
           }
       ]
   }
   

   El siguiente bloque de código muestra una implementación de muestra para la integración LAMBDA API REST basada en un PowerTools para AWS Lambda (Python) Rest API Event Handler:

   import json
   import re
   from typing import Optional
   
   import boto3
   from aws_lambda_powertools import Logger
   from aws_lambda_powertools.event_handler import APIGatewayRestResolver, CORSConfig
   from aws_lambda_powertools.logging import correlation_paths
   from aws_lambda_powertools.utilities.typing import LambdaContext
   from pydantic import BaseModel
   
   logger = Logger()
   app = APIGatewayRestResolver(
       enable_validation=True,
       cors=CORSConfig(allow_origin="http://localhost:3000"),  # for testing purposes
   )
   
   bedrock_runtime_client = boto3.client("bedrock-runtime")
   
   
   SYSTEM_PROMPT = """
   You are an office assistant helping humans to write text for their documents.
   
   {context}
   Before answering the question, think through it step-by-step within the <thinking></thinking> tags.
   Then, detect the user's language from their question and store it in the form of an ISO 639-1 code within the <user_language></user_language> tags.
   Then, develop your answer in the user's language in markdown format within the <response></response> tags.
   """
   
   class Query(BaseModel):
       user_message: str  # required
       context: Optional[str] = None  # optional
       max_tokens: int = 1000  # default value
       model_id: str = "anthropic.claude-3-5-sonnet-20240620-v1:0"  # default value
   
   def wrap_context(context: Optional[str]) -> str:
       if context is None:
           return ""
       else:
           return f"When preparing the answer take into account the following text: <text>{context}</text>"
   
   def parse_completion(completion: str) -> dict:
       response = {"completion": completion}
       try:
           tags = ["thinking", "user_language", "response"]
           tag_matches = re.finditer(
               f"<(?P<tag>{'|'.join(tags)})>(?P<content>.*?)</(?P=tag)>",
               completion,
               re.MULTILINE | re.DOTALL,
           )
           for match in tag_matches:
               response[match.group("tag")] = match.group("content").strip()
       except Exception:
           logger.exception("Unable to parse LLM response")
           response["response"] = completion
   
       return response
   
   
   @app.post("/query")
   def query(query: Query):
       bedrock_response = bedrock_runtime_client.invoke_model(
           modelId=query.model_id,
           body=json.dumps(
               {
                   "anthropic_version": "bedrock-2023-05-31",
                   "max_tokens": query.max_tokens,
                   "system": SYSTEM_PROMPT.format(context=wrap_context(query.context)),
                   "messages": [{"role": "user", "content": query.user_message}],
               }
           ),
       )
       response_body = json.loads(bedrock_response.get("body").read())
       logger.info("Received LLM response", response_body=response_body)
       response_text = response_body.get("content", [{}])[0].get(
           "text", "LLM did not respond with text"
       )
       return parse_completion(response_text)
   
   @logger.inject_lambda_context(correlation_id_path=correlation_paths.API_GATEWAY_REST)
   def lambda_handler(event: dict, context: LambdaContext) -> dict:
       return app.resolve(event, context)
   

2. Cree una API API Gateway REST con una integración de proxy Lambda para exponer la función Lambda a través de una API REST. Puedes seguir este tutorial para crear una API REST para la función Lambda utilizando la consola API Gateway. Creando un Integración de proxy lambda con un recurso proxypodemos enrutar las solicitudes a los recursos a la función Lambda. Sigue el tutorial para implementar la API Y tome nota de la URL Invoke de la API. Asegúrese de configurar adecuados Control de acceso para la API REST.

Podemos ahora Invocar y probar nuestra función a través de la URL Invoke de la API. El siguiente ejemplo usa curl Para enviar una solicitud (asegúrese de reemplazar a todos los marcadores de posición en aparatos ortopédicos rizados según sea necesario) y la respuesta generada por el LLM:

$ curl --header "Authorization: {token}" \
     --header "Content-Type: application/json" \
     --request POST \
     --data '{"user_message": "Write a 2 sentence summary about AWS."}' \
     https://{restapi_id}.execute-api.{region}.amazonaws.com/{stage_name}/query | jq .
{
 "completion": "<thinking>\nTo summarize AWS in 2 sentences:\n1. AWS (Amazon Web Services) is a comprehensive cloud computing platform offering a wide range of services like computing power, database storage, content delivery, and more.\n2. It allows organizations and individuals to access these services over the internet on a pay-as-you-go basis without needing to invest in on-premises infrastructure.\n</thinking>\n\n<user_language>en</user_language>\n\n<response>\n\nAWS (Amazon Web Services) is a cloud computing platform that offers a broad set of global services including computing, storage, databases, analytics, machine learning, and more. It enables companies of all sizes to access these services over the internet on a pay-as-you-go pricing model, eliminating the need for upfront capital expenditure or on-premises infrastructure management.\n\n</response>",
 "thinking": "To summarize AWS in 2 sentences:\n1. AWS (Amazon Web Services) is a comprehensive cloud computing platform offering a wide range of services like computing power, database storage, content delivery, and more.\n2. It allows organizations and individuals to access these services over the internet on a pay-as-you-go basis without needing to invest in on-premises infrastructure.",
 "user_language": "en",
 "response": "AWS (Amazon Web Services) is a cloud computing platform that offers a broad set of global services including computing, storage, databases, analytics, machine learning, and more. It enables companies of all sizes to access these services over the internet on a pay-as-you-go pricing model, eliminating the need for upfront capital expenditure or on-premises infrastructure management."
} 

Si es necesario, los recursos creados se pueden limpiar 1) Eliminar la API API Gateway REST API, y 2) Eliminar la función REST API Lambda y el papel IAM asociado.

Ejemplo de casos de uso

Para crear una experiencia interactiva, el complemento de la oficina se integra con el back-end de la nube que implementa capacidades de conversación con soporte para un contexto adicional recuperado del API JavaScript de oficina.

A continuación, demostramos dos casos de uso diferentes compatibles con la solución propuesta, la generación de texto y el refinamiento de texto.

Generación de texto

Figura 2: Demo de caso de uso de la generación de texto

En la demostración de la Figura 2, mostramos cómo el complemento está pidiendo al LLM que produzca un texto desde cero. El usuario ingresa a su consulta con algún contexto en el área de entrada de texto de complemento. Al enviar, el backend le pedirá a la LLM que genere un texto respectivo y lo devuelva a la frontend. Desde el complemento, se inserta en el documento Word en la posición del cursor utilizando la API de Office JavaScript.

Refinamiento de texto

Figura 3: Demo de caso de uso de refinamiento de texto

En la Figura 3, el usuario resaltó un segmento de texto en el área de trabajo e ingresó una solicitud en el área de entrada de texto complementaria para reformular el segmento de texto. Una vez más, la entrada del usuario y el texto resaltado son procesados ​​por el backend y se devuelven al complemento, reemplazando así el texto previamente resaltado.

Conclusión

Esta publicación de blog muestra cómo el poder transformador de la IA generativa puede incorporarse a los procesos de oficina. Describimos una muestra de extremo a extremo de integración de productos de oficina con un complemento para la generación y manipulación de texto con el poder de los LLM. En nuestro ejemplo, utilizamos LLM de administración en Amazon Bedrock para la generación de texto. El backend se aloja como una aplicación totalmente sin servidor en la nube de AWS.

La generación de texto con LLMS en la oficina apoya a los empleados al racionalizar su proceso de escritura y aumentar la productividad. Los empleados pueden aprovechar el poder de la IA generativa para generar y editar contenido de alta calidad rápidamente, liberando el tiempo para otras tareas. Además, la integración con una herramienta familiar como Word proporciona una experiencia de usuario perfecta, minimizando las interrupciones en los flujos de trabajo existentes.

Para obtener más información sobre cómo aumentar la productividad, construir experiencias diferenciadas e innovar más rápido con AWS, visite el AI generativa en AWS página.

Sobre los autores

Martin Maritsch es un arquitecto de IA generativo en AWS Proserve centrándose en la IA generativa y las MLOP. Ayuda a los clientes empresariales a lograr resultados comerciales al desbloquear todo el potencial de los servicios de IA/ML en la nube de AWS.

Miguel Pestana es un arquitecto de aplicaciones en la nube en el equipo de servicios profesionales de AWS con más de 4 años de experiencia en la industria automotriz que ofrece soluciones nativas en la nube. Fuera del trabajo, a Miguel disfruta pasar sus días en la playa o con una raqueta padel en una mano y un vaso de sangría en la otra.

Carlos Antonio Perea Gómez es un constructor con servicios profesionales de AWS. Permite a los clientes volverse impresionantes durante su viaje a la nube. Cuando no está en la nube, disfruta de bucear en las aguas.