Jackie Rocca, vicepresidenta de producto e inteligencia artificial de Slack, es coautora de esta publicación.
Slack es donde ocurre el trabajo. Es la plataforma de trabajo impulsada por IA que conecta personas, conversaciones, aplicaciones y sistemas en un solo lugar. Con el recién lanzado IA floja—una experiencia de inteligencia artificial (IA) generativa, nativa y confiable disponible directamente en Slack—los usuarios pueden descubrir y priorizar información para poder encontrar su enfoque y realizar su trabajo más productivo.
Nos complace anunciar que Slack, una empresa de Salesforce, ha colaborado con Inicio rápido de Amazon SageMaker para potenciar las funciones de búsqueda y resumen iniciales de Slack AI y proporcionar garantías para que Slack utilice modelos de lenguaje grandes (LLM) de forma más segura. Slack trabajó con SageMaker JumpStart para alojar LLM de terceros líderes en la industria para que los datos no se compartan con la infraestructura propiedad de proveedores de modelos externos.
Esto mantiene los datos de los clientes en Slack en todo momento y mantiene las mismas prácticas de seguridad y estándares de cumplimiento que los clientes esperan del propio Slack. Slack también está usando Amazon SageMaker Capacidades de inferencia para estrategias de enrutamiento avanzadas para escalar la solución a los clientes con rendimiento, latencia y rendimiento óptimos.
“Con Amazon SageMaker JumpStart, Slack puede acceder a modelos básicos de última generación para impulsar la IA de Slack, al tiempo que prioriza la seguridad y la privacidad. Los clientes de Slack ahora pueden realizar búsquedas de forma más inteligente, resumir conversaciones al instante y ser más productivos”.
– Jackie Rocca, vicepresidenta de producto, IA en Slack
Modelos de cimentación en SageMaker JumpStart
SageMaker JumpStart es un centro de aprendizaje automático (ML) que puede ayudarlo a acelerar su viaje al ML. Con SageMaker JumpStart, puede evaluar, comparar y seleccionar modelos básicos (FM) rápidamente en función de métricas de calidad y responsabilidad predefinidas para realizar tareas como resumen de artículos y generación de imágenes. Los modelos previamente entrenados son totalmente personalizables para su caso de uso con sus datos y puede implementarlos sin esfuerzo en producción con la interfaz de usuario o el SDK. Además, puede acceder a soluciones prediseñadas para resolver casos de uso comunes y compartir artefactos de ML, incluidos modelos y cuadernos de ML, dentro de su organización para acelerar la creación y la implementación de modelos de ML. Ninguno de sus datos se utiliza para entrenar los modelos subyacentes. Todos los datos están cifrados y nunca se comparten con proveedores externos, por lo que puede confiar en que sus datos permanecerán privados y confidenciales.
Revisar la Página del modelo SageMaker JumpStart para modelos disponibles.
IA floja
Slack lanzó Slack AI para proporcionar capacidades nativas de IA generativa para que los clientes puedan encontrar y consumir fácilmente grandes volúmenes de información rápidamente, permitiéndoles obtener aún más valor de su conocimiento compartido en Slack. Por ejemplo, los usuarios pueden hacer una pregunta en un lenguaje sencillo y obtener instantáneamente respuestas claras y concisas con una búsqueda mejorada. Pueden ponerse al día con canales e hilos con un solo clic con resúmenes de conversaciones. Y pueden acceder a resúmenes diarios personalizados de lo que sucede en canales seleccionados con los resúmenes recientemente lanzados.
Debido a que la confianza es el valor más importante de Slack, Slack AI se ejecuta en una infraestructura de nivel empresarial que construyeron en AWS, manteniendo el mismo prácticas de seguridad y estándares de cumplimiento que los clientes esperan. Slack AI está diseñado para clientes preocupados por la seguridad y está diseñado para ser seguro desde el diseño: los datos de los clientes permanecen internos, los datos no se utilizan para fines de capacitación de LLM y los datos permanecen aislados.
Descripción general de la solución
SageMaker JumpStart brinda acceso a muchos LLM y Slack selecciona los FM adecuados que se adaptan a sus casos de uso. Debido a que estos modelos están alojados en la infraestructura AWS propiedad de Slack, los datos enviados a los modelos durante la invocación no salen de la infraestructura AWS de Slack. Además, para proporcionar una solución segura, los datos enviados para invocar modelos de SageMaker se cifran en tránsito. Los datos enviados a los puntos finales de SageMaker JumpStart para invocar modelos no se utilizan para entrenar modelos base. SageMaker JumpStart permite que Slack admita altos estándares de seguridad y privacidad de datos, al mismo tiempo que utiliza modelos de última generación que ayudan a Slack AI a funcionar de manera óptima para los clientes de Slack.
Los puntos finales de SageMaker JumpStart que sirven aplicaciones empresariales de Slack funcionan con instancias de AWS. SageMaker admite una amplia gama de tipos de instancias para la implementación del modelo, lo que permite a Slack elegir la instancia que mejor se adapte a los requisitos de latencia y escalabilidad de los casos de uso de IA de Slack. Slack AI tiene acceso a instancias basadas en múltiples GPU para alojar sus modelos SageMaker JumpStart. Múltiples instancias de GPU permiten que cada instancia que respalda el punto final de Slack AI aloje múltiples copias de un modelo. Esto ayuda a mejorar la utilización de recursos y reducir el costo de implementación del modelo. Para obtener más información, consulte Amazon SageMaker agrega nuevas capacidades de inferencia para ayudar a reducir la latencia y los costos de implementación del modelo básico.
El siguiente diagrama ilustra la arquitectura de la solución.
Para utilizar las instancias de manera más efectiva y respaldar los requisitos de simultaneidad y latencia, Slack utilizó estrategias de enrutamiento ofrecidas por SageMaker con sus puntos finales de SageMaker. De forma predeterminada, un punto final de SageMaker distribuye uniformemente las solicitudes entrantes a instancias de ML mediante una estrategia de enrutamiento de algoritmo de operación por turnos llamada RANDOM
. Sin embargo, con las cargas de trabajo de IA generativa, las solicitudes y respuestas pueden ser extremadamente variables, y es deseable equilibrar la carga considerando la capacidad y la utilización de la instancia en lugar de un equilibrio de carga aleatorio. Para distribuir eficazmente las solicitudes entre instancias que respaldan los puntos finales, Slack utiliza el LEAST_OUTSTANDING_REQUESTS
(LAR) estrategia de enrutamiento. Esta estrategia enruta solicitudes a instancias específicas que tienen más capacidad para procesar solicitudes en lugar de seleccionar aleatoriamente cualquier instancia disponible. La estrategia LAR proporciona un equilibrio de carga y una utilización de recursos más uniformes. Como resultado, Slack AI notó una disminución de latencia de más del 39 % en sus números de latencia p95 al habilitar LEAST_OUTSTANDING_REQUESTS
en comparación con ALEATORIO.
Para obtener más detalles sobre las estrategias de enrutamiento de SageMaker, consulte Minimice la latencia de inferencia en tiempo real mediante el uso de estrategias de enrutamiento de Amazon SageMaker.
Conclusión
Slack ofrece capacidades nativas de IA generativa que ayudarán a sus clientes a ser más productivos y aprovechar fácilmente el conocimiento colectivo integrado en sus conversaciones de Slack. Con acceso rápido a una gran selección de FM y capacidades avanzadas de equilibrio de carga alojadas en instancias dedicadas a través de SageMaker JumpStart, Slack AI puede proporcionar funciones ricas de IA generativa de una manera más sólida y rápida, manteniendo al mismo tiempo los estándares de confianza y seguridad de Slack.
Aprender más acerca de Inicio rápido de SageMaker, IA floja y cómo el equipo de Slack creó Slack AI para que fuera seguro y privado. Deje sus pensamientos y preguntas en la sección de comentarios.
Sobre los autores
Jackie Rocca es vicepresidenta de producto en Slack, donde supervisa la visión y ejecución de Slack AI, que incorpora IA generativa de forma nativa y segura a la experiencia del usuario de Slack. Ahora tiene la misión de ayudar a los clientes a acelerar su productividad y obtener aún más valor de sus conversaciones, datos y conocimiento colectivo con IA generativa. Antes de trabajar en Slack, Jackie fue gerente de producto en Google durante más de seis años, donde ayudó a lanzar y hacer crecer Youtube TV. Jackie tiene su sede en el área de la Bahía de San Francisco.
Rachna Chadha es arquitecto principal de soluciones AI/ML en Cuentas Estratégicas en AWS. Rachna es una optimista que cree que el uso ético y responsable de la IA puede mejorar la sociedad en el futuro y generar prosperidad económica y social. En su tiempo libre, a Rachna le gusta pasar tiempo con su familia, hacer senderismo y escuchar música.
marc karp es un arquitecto de aprendizaje automático en el equipo de servicio de Amazon SageMaker. Se centra en ayudar a los clientes a diseñar, implementar y gestionar cargas de trabajo de aprendizaje automático a escala. En su tiempo libre le gusta viajar y explorar nuevos lugares.
Maninder (Mani) Kaur es el líder especialista en IA/ML para ISV estratégicos en AWS. Con su enfoque de dar prioridad al cliente, Mani ayuda a los clientes estratégicos a dar forma a su estrategia de IA/ML, impulsar la innovación y acelerar su viaje de IA/ML. Mani cree firmemente en la IA ética y responsable, y se esfuerza por garantizar que las soluciones de IA de sus clientes se alineen con estos principios.
gen ting es arquitecto principal de soluciones en AWS. Su objetivo es ayudar a los clientes empresariales a crear y operar cargas de trabajo de forma segura en AWS. En su tiempo libre, a Gene le gusta enseñar a los niños tecnología y deportes, además de seguir las últimas novedades en ciberseguridad.
Alan Tan es gerente senior de productos en SageMaker y lidera los esfuerzos en la inferencia de modelos grandes. Le apasiona aplicar el aprendizaje automático al área de análisis. Fuera del trabajo, disfruta del aire libre.