Deepseek está enviando ondas de choque en todo el mundo. He aquí por qué. : Sciencealert

Chino inteligencia artificial (Ai) La empresa Deepseek ha enviado Whockwaves a través de la comunidad tecnológicacon el lanzamiento de modelos de IA extremadamente eficientes que pueden competir con productos de vanguardia de compañías estadounidenses como OpenAi y Anthrope.


Fundado en 2023, Deepseek ha logró sus resultados con una fracción del efectivo y poder informático de sus competidores.


El modelo R1 de “razonamiento” de Deepseek, lanzado la semana pasada, provocó entusiasmo entre los investigadores, la conmoción entre los inversores y las respuestas de los pesos pesados ​​de la inteligencia artificial. La compañía siguió el 28 de enero con un modelo Eso puede funcionar con imágenes y texto.


Entonces, ¿qué ha hecho Deepseek y cómo lo hizo?

(Justin Sullivan/Getty Images)

Que hizo Deepseek

En diciembre, Deepseek lanzó su Modelo V3. Este es un modelo de lenguaje grande “estándar” muy potente que funciona en un nivel similar al GPT-4O de OpenAI y Claude 3.5 de Anthrope.


Mientras que estos modelos son propensos a los errores y a veces inventa sus propios hechospueden llevar a cabo tareas como responder preguntas, escribir ensayos y generar código de computadora. En Algunas pruebas de resolución de problemas y razonamiento matemático, obtienen mejor que el humano promedio.


V3 fue entrenado en un costo reportado de aproximadamente US $ 5.58 millones. Esto es dramáticamente más barato que GPT-4, por ejemplo, que cuesta Más de US $ 100 millones para desarrollar.


Deepseek también afirma haber entrenado V3 utilizando alrededor de 2,000 chips de computadora especializados, específicamente H800 GPU hechas por Nvidia. Esto es nuevamente mucho menos que otras compañías, que pueden haber usado hasta 16,000 de las chips H100 más potentes.


El 20 de enero, Deepseek lanzó otro modelo, llamado R1. Este es un llamado modelo de “razonamiento”, que trata de trabajar a través de problemas complejos paso a paso. Estos modelos parecen ser mejores en muchas tareas que requieren contexto y tienen múltiples partes interrelacionadas, como la comprensión de lectura y la planificación estratégica.


El modelo R1 es una versión ajustada de V3, modificada con una técnica llamada aprendizaje de refuerzo. R1 parece funcionar a un nivel similar a OPERAI’S O1lanzado el año pasado.


Deepseek también utilizó la misma técnica para hacer versiones de “razonamiento” de pequeños modelos de código abierto que pueden ejecutarse en computadoras domésticas.


Este lanzamiento ha provocado un gran aumento de interés en Deepseek, lo que aumenta la popularidad de su Aplicación de chatbot con motor V3 y activando un accidente de precio masivo en acciones tecnológicas como inversores reevalúan la industria de la IA. Al momento de escribir, Chipmaker Nvidia ha perdido alrededor de US $ 600 mil millones en valor.


¿Qué tan profundo lo hizo?

Los avances de Deepseek han sido para lograr una mayor eficiencia: obtener buenos resultados con menos recursos. En particular, los desarrolladores de Deepseek han sido pioneros en dos técnicas que los investigadores de IA pueden adoptar más ampliamente.


El primero tiene que ver con una idea matemática llamada “Sparsity”. Los modelos de IA tienen muchos parámetros que determinan sus respuestas a las entradas (V3 tiene alrededor de 671 mil millones), pero solo se usa una pequeña fracción de estos parámetros para cualquier entrada dada.


Sin embargo, predecir qué parámetros se necesitarán no es fácil. Deepseek utilizó una nueva técnica para hacer esto, y luego entrenó solo esos parámetros. Como resultado, sus modelos necesitaban mucho menos entrenamiento que un enfoque convencional.


El otro truco tiene que ver con cómo V3 almacena información en la memoria de la computadora. Deepseek ha encontrado una forma inteligente de comprimir los datos relevantes, por lo que es más fácil almacenar y acceder rápidamente.


Lo que significa

Los modelos y técnicas de Deepseek se han lanzado bajo el gratuito Licencia de MITlo que significa que cualquiera puede descargarlos y modificarlos.


Si bien esto puede ser una mala noticia para algunas compañías de IA, cuyas ganancias podrían ser erosionadas por la existencia de modelos poderosos y disponibles gratuitos, es una gran noticia para la comunidad de investigación de IA más amplia.


En la actualidad, una gran cantidad de investigación de IA requiere acceso a enormes cantidades de recursos informáticos. Investigadores como yo con sede en universidades (o en cualquier lugar excepto grandes compañías tecnológicas) han tenido una capacidad limitada para llevar a cabo pruebas y experimentos.


Los modelos y técnicas más eficientes cambian la situación. La experimentación y el desarrollo ahora pueden ser significativamente más fáciles para nosotros.


Para los consumidores, el acceso a la IA también puede volverse más barato. Se pueden ejecutar más modelos de IA en los propios dispositivos de los usuarios, como computadoras portátiles o teléfonos, en lugar de ejecutar “en la nube” para una tarifa de suscripción.

Para los investigadores que ya tienen muchos recursos, más eficiencia puede tener menos efecto. No está claro si el enfoque de Deepseek ayudará a hacer modelos con un mejor rendimiento en general, o simplemente modelos que sean más eficientes.La conversación

Tongliang liuProfesor asociado de Aprendizaje automático y director del Sydney AI Center, Universidad de Sydney

Este artículo se republicó de La conversación bajo una licencia Creative Commons. Leer el artículo original.