Salesforce AI Research publicó Coda-1.7b, un modelo de lenguaje basado en difusión para el código que genera secuencias completas completas con un contexto bidireccional, actualizando múltiples tokens en la predicción paralela en lugar de la siguiente token de izquierda a derecha. El equipo de investigación publicó tanto los puntos de control de base e instruir y una pila de entrenamiento/evaluación/servicio de extremo a extremo.
Comprender la arquitectura y la capacitación
Coda adapta una red troncal de 1.7b-paraméter a la difusión discreta para el texto: las secuencias enmascaradas se denocan iterativamente utilizando atención de secuencia completa, lo que permite el relleno nativo y la decodificación no autorgresiva. La tarjeta modelo documenta una tubería de tres etapas (pre-entrenamiento con enmascaramiento bidireccional, post-entrenamiento supervisado y renovación progresiva a la inferencia) más scripts reproducibles para la pretruación de TPU, el ajuste fino de GPU y la evaluación.
Las características clave aparecieron en el lanzamiento:
Contexto bidireccional a través de la difusión Denoising (sin orden de generación fija). El muestreo guiado por la confianza (decodificación al estilo de entropía) a la calidad del comercio frente a la velocidad. Abra la tubería de capacitación con scripts de implementación y CLI.
¿Cómo funcionan en puntos de referencia?
En los suites de generación de código estándar, CODA-1.7B-Instructo Informes: Humaneval 54.3%, Humaneval+ 47.6%, MBPP 47.2%, MBPP+ 63.2%, Evalvus agregado 55.4%(pasar@1). Para el contexto, la tarjeta modelo se compara con líneas de base de difusión, incluido el instructo Dream-7B (57.9% Humaneval), lo que indica que la huella de 1.7B de Coda es competitiva con algunos modelos de difusión 7B en varias métricas mientras usa menos parámetros.
Comportamiento de inferencia
El costo de la generación se rige por el número de pasos de difusión; Coda expone perillas como pasos, alg = “entropía”, alg_temp y longitud de bloque para ajustar las compensaciones de latencia/calidad. Debido a que los tokens se actualizan en paralelo bajo toda la atención, Coda se dirige a una menor latencia de calcetín de pared a pequeña escala en comparación con modelos de difusión más grandes, a presupuestos de pasos comparables. (Cara abrazada)
Despliegue y licencias
El repositorio proporciona un servidor FASTAPI con API compatibles con OpenAI y una CLI interactiva para la inferencia local; Las instrucciones incluyen la configuración del entorno y un lanzador Start_server.sh. Tarjetas modelo y una colección de cara abrazada centralizan artefactos. Los puntos de control se publican en CC BY-NC 4.0 en la cara de abrazo.
Coda-1.7b se destaca como una referencia limpia para la generación de código de difusión discreta a pequeña escala: parámetros 1.7B, renovación bidireccional con actualizaciones de token paralelas y una tubería reproducible desde la capacitación previa a SFT y el servicio. El pase informado@1 resultados: Humaneval 54.3, Humaneval+ 47.6, MBPP 47.2, MBPP+ 63.2, Evalplus agregado 55.4: coloca competitiva con unas líneas de base 7b de difusión (por ejemplo, Dream-7b Humaneval 57.9) mientras usa menos parámetros. La latencia de inferencia se rige explícitamente por el recuento de pasos y las perillas de decodificación (pasos, guía de estilo entropía), que es operacionalmente útil para ajustar el rendimiento/calidad. El lanzamiento incluye pesas en la cara abrazada y un servidor/CLI de Fastapi para la implementación local.
Echa un vistazo al papel, el repositorio de GitHub y el modelo en la cara de abrazo. No dude en consultar nuestra página de GitHub para obtener tutoriales, códigos y cuadernos. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro subreddit de 100k+ ml y suscribirse a nuestro boletín. ¡Esperar! ¿Estás en Telegram? Ahora también puedes unirte a nosotros en Telegram.
Asif Razzaq es el CEO de MarktechPost Media Inc .. Como empresario e ingeniero visionario, ASIF se compromete a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, MarktechPost, que se destaca por su cobertura profunda de noticias de aprendizaje automático y de aprendizaje profundo que es técnicamente sólido y fácilmente comprensible por una audiencia amplia. La plataforma cuenta con más de 2 millones de vistas mensuales, ilustrando su popularidad entre el público.
🙌 Siga a MarkTechPost: agrégenos como una fuente preferida en Google.