Pz5b9x6aqr6bppde 8okiq.png

Los modelos de IA se han vuelto esenciales para mejorar la eficiencia informática, la productividad y las experiencias de los usuarios. El desarrollo de modelos de lenguaje pequeño (SLM) es un enfoque clave, que permite un procesamiento más eficiente en dispositivos informáticos personales.

El problema que abordan los investigadores es la alta demanda computacional de los modelos de IA, que a menudo requieren potencia y recursos sustanciales, lo que limita su implementación en dispositivos más pequeños como las computadoras personales. Reducir el consumo de recursos y al mismo tiempo mantener un alto rendimiento es crucial para integrar la IA sin problemas en la informática diaria.

Los métodos existentes implican el uso de modelos de IA más grandes que consumen una potencia computacional significativa, lo que puede afectar el rendimiento general de las computadoras personales. Estos modelos dependen en gran medida de la unidad central de procesamiento (CPU) y la unidad de procesamiento de gráficos (GPU), lo que puede ralentizar otras tareas y reducir la eficiencia.

Los investigadores de Microsoft presentaron sílice phi, un modelo de lenguaje pequeño diseñado específicamente para las Unidades de Procesamiento Neural (NPU) en sus nuevas PC Copilot+. Phi Silica es parte de la familia de modelos Phi y está destinado a ofrecer capacidades de inteligencia artificial de alto rendimiento con un consumo mínimo de energía. Este diseño permite que la CPU y la GPU permanezcan disponibles para otras tareas, mejorando la experiencia informática general.

Phi Silica destaca por sus 3.300 millones de parámetros, lo que lo convierte en el modelo más pequeño de la familia Phi. A pesar de su tamaño compacto, Phi Silica logra métricas de rendimiento impresionantes. Cuenta con una latencia del primer token de 650 tokens por segundo y consume sólo 1,5 vatios de energía. Esta eficiencia garantiza que la CPU y la GPU de la PC no estén sobrecargadas, lo que permite un funcionamiento más fluido de otras aplicaciones. La generación de tokens de Phi Silica también reutiliza la caché KV de la NPU y se ejecuta en la CPU, produciendo aproximadamente 27 tokens por segundo.

Los desarrolladores pueden acceder a la API de Phi Silica a través del SDK de la aplicación de Windows y otras funcionalidades impulsadas por IA, como el reconocimiento óptico de caracteres (OCR), efectos de estudio, subtítulos en vivo y API de recuperación de actividad del usuario. Esta integración permite a los desarrolladores crear experiencias innovadoras que aprovechan la IA dentro del ecosistema de Windows. Microsoft planea lanzar API adicionales, incluidas Vector Embedding, RAG API y Text Summarization, ampliando aún más las capacidades disponibles para los desarrolladores.

Phi Silica se une a las filas de otros modelos de la serie Phi-3, incluido el Phi-3-mini con 3.8 mil millones de parámetros, el Phi-3-small con 7 mil millones de parámetros, el Phi-3-medium con 14 mil millones de parámetros y el recientemente anunciado Phi-3-vision con 4,2 mil millones de parámetros. Sin embargo, Phi Silica es único como el primer SLM de última generación que se envía con Windows, lo que marca un hito importante al llevar capacidades avanzadas de IA directamente a los usuarios finales.

La introducción de Phi Silica sigue al anuncio de Microsoft de la PC Copilot+, que promete ofrecer PC con Windows equipadas con procesadores de IA dedicados. Las primeras PC Copilot+ se lanzarán a mediados de junio y contarán con los chips Snapdragon X Elite y Plus basados ​​en Arm de Qualcomm. Microsoft ofrecerá estas computadoras portátiles con tecnología de inteligencia artificial en colaboración con los principales fabricantes de PC durante todo el verano. Intel también está desarrollando su procesador para PC Copilot+, cuyo nombre en código es Lunar Lake, cuyo lanzamiento está previsto para el tercer trimestre de 2024.

Características clave de Phi Silica:

  • Tamaño y eficiencia del modelo: Phi Silica es el modelo más pequeño de la familia Phi, con 3.300 millones de parámetros. Ofrece un alto rendimiento con una latencia del primer token de 650 tokens por segundo y consume solo 1,5 vatios de energía, lo que garantiza un uso mínimo de recursos en la CPU y GPU de la PC.
  • Generación de tokens: Esta función utiliza la caché KV de la NPU y se ejecuta en la CPU, produciendo aproximadamente 27 tokens por segundo, lo que mejora la experiencia informática general.
  • Integración de desarrolladores: Los desarrolladores pueden acceder a la API de Phi Silica a través del SDK de la aplicación de Windows. Incluye funcionalidades como OCR, efectos de estudio, subtítulos en vivo y API de recuperación de actividad del usuario, lo que permite aplicaciones innovadoras de inteligencia artificial dentro del ecosistema de Windows.
  • Capacidades avanzadas de IA: Phi Silica es el primer modelo de lenguaje pequeño de última generación que se incluye con Windows, lo que marca un hito importante en la accesibilidad de la IA para usuarios finales y desarrolladores.
  • Esfuerzos colaborativos: Se lanzó junto con las PC Copilot+ de Microsoft, que cuentan con los chips Snapdragon X Elite y Plus de Qualcomm, y los próximos procesadores Lunar Lake de Intel. Estas computadoras portátiles con tecnología de inteligencia artificial estarán disponibles a partir de mediados de junio de 2024.
  • Rendimiento y uso de energía: Diseñado para ejecutarse de manera eficiente en las NPU de las PC Copilot+, lo que garantiza una rápida inferencia local mientras se mantiene un bajo consumo de energía, lo que eleva significativamente la productividad y la accesibilidad dentro de la plataforma Windows.

En conclusión, el desarrollo de Phi Silica por parte de Microsoft aborda el desafío crítico del consumo de recursos en los modelos de IA. Al proporcionar un modelo eficiente y de alto rendimiento que opera dentro de las limitaciones de los dispositivos informáticos personales, Phi Silica mejora la experiencia del usuario y allana el camino para aplicaciones más innovadoras. Este modelo permite la integración de la IA en la informática cotidiana, ofreciendo herramientas potentes sin comprometer el rendimiento del sistema.


Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como emprendedor e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.