Web de actualidad independiente
Nunchux AI ha lanzado VC-Attention, un núcleo de atención de bits bajos sin entrenamiento creado para transformadores de difusión de vídeo (DiT). Se enfoca en 2 problemas a la vez:…
importar torch.nn como nn importar torch.nn.functional como F desde clases de datos importar clase de datos torch.manual_seed(0) @dataclass class Cfg: d_model: int = 192 n_head: int = 6 n_layer: int…
print(“\n” + “=”*70 + “\n4. Lote empaquetado de longitud variable, sin desperdicio de relleno\n” + “=”*70) seqlens = total = suma(seqlens) H, K = 8, 64 q = torch.randn(1, total,…
El equipo de IA de NVIDIA ha lanzado Cosmos 3. Es una familia de modelos mundiales omnimodales para IA física. Los modelos combinan razonamiento físico, generación de mundos y generación…
print(“\n### SECCIÓN D: Transformador de extremo a extremo (vanilla fp32 vs Apex fusionado + AMP) ###”) VOCAB, D, NHEAD, LAYERS, SEQ, BATCH, STEPS = 2000, 256, 4, 4, 128, 32,…
presenté mi tesis de maestría sobre Reconocimiento de Emociones en la Conversación (ERC). El modelo, EmoNet, logró un F1 ponderado de 39,18 en EmoryNLP, competitivo con la tabla de clasificación…
def build_model(attn_type: str = “mla”, max_loop_iters: int = 8) -> tuple: “””Construye un pequeño modelo OpenMythos. Se admiten dos variantes de atención. MLA: atención multilatente (caché KV comprimido, estilo DeepSeek-V2)…
Introducción (X-45) La previsión cambia fundamentalmente cada vez que intentamos predecir un evento muy raro. Debemos cambiar fundamentalmente lo que estamos modelando para centrarnos en los eventos de cola. Desde…
La intersección de la física de muchos cuerpos y el aprendizaje profundo ha abierto una nueva frontera: los estados neuronales cuánticos (NQS). Mientras que los métodos tradicionales luchan con sistemas…
En este tutorial, creamos y ejecutamos un flujo de trabajo de Colab para Gemma 3 1B Instruct utilizando Hugging Face Transformers y HF Token, de una manera práctica, reproducible y…