Antes de Q, K y V: reconstrucción del transformador
¿Claves, consultas, valores y atención al producto punto? "Se necesitan claves y consultas de tokens para comunicarse entre sí", dice la popular analogía de Internet. ¿Pero por qué? Hay muchas…
Construí una pequeña computadora dentro de un transformador
transformadores y esperamos que en su interior surjan circuitos útiles de reconocimiento de patrones. Pero ¿y si ya conociéramos el circuito? ¿Qué pasaría si, en lugar de aprender los pesos…
Una guía de implementación para ejecutar NVIDIA Transformer Engine con precisión mixta, comprobaciones FP8, evaluaciones comparativas y ejecución alternativa
En este tutorial, implementamos una implementación práctica y avanzada de NVIDIA Transformer Engine en Python, centrándonos en cómo se puede explorar la aceleración de precisión mixta en un flujo de…
Transformer vs LSTM para series temporales: ¿cuál funciona mejor?
En este artículo, aprenderá cómo construir, entrenar y comparar un LSTM y un transformador para realizar pronósticos de series temporales univariadas del día siguiente a partir de datos reales de…
InstaDeep presenta Nucleotide Transformer v3 (NTv3): un nuevo modelo básico de genómica de múltiples especies, diseñado para longitudes de contexto de 1 Mb con resolución de un solo nucleótido
La predicción y el diseño genómicos ahora requieren modelos que conecten motivos locales con el contexto regulatorio a escala de megabase y que operen en muchos organismos. Nucleotide Transformer v3,…
NVIDIA AI lanza Nemotron 3: una pila MoE híbrida de Mamba Transformer para IA agente de contexto prolongado
NVIDIA ha lanzado la familia Nemotron 3 de modelos abiertos como parte de una pila completa para IA agente, que incluye pesos de modelos, conjuntos de datos y herramientas de…
Cómo implementar componentes funcionales del modelo Transformer y Mini-GPT desde cero usando Tinygrad para comprender los aspectos internos del aprendizaje profundo
En este tutorial, exploramos cómo construir redes neuronales desde cero utilizando Tinygrad sin dejar de ser totalmente prácticos con tensores, autogrado, mecanismos de atención y arquitecturas de transformadores. Nosotros mismos…
Los investigadores de NVIDIA introducen la dispersión de memoria dinámica (DMS) para la compresión de caché de 8 × kV en Transformer LLMS
A medida que crece la demanda de tareas de razonamiento, se espera cada vez más que los modelos de lenguaje grande (LLM) generen secuencias más largas o cadenas paralelas de…
Vision Mamba: como un Vision Transformer, pero mejor | por Sascha Kirch | Sep, 2024
Esta es la parte 4 de mi nueva serie de varias partes. 🐍 Hacia los modelos espaciales de estados Mamba para imágenes, vídeos y series temporales. yoEl campo de la…
Transformer Explainer: una innovadora herramienta basada en la web para el aprendizaje interactivo y la visualización de modelos complejos de IA para no expertos
Los transformadores son una innovación revolucionaria en IA, en particular en el procesamiento del lenguaje natural y el aprendizaje automático. A pesar de su uso generalizado, la mecánica interna de…