Más allá de la IA de código abierto: cómo la arquitectura criptográfica, la plataforma de panadería y ZKLoRA de Bagel impulsan la monetización sostenible de la IA

Rosquilla es una novedosa arquitectura de modelo de IA que transforma el desarrollo de IA de código abierto al permitir contribuciones sin permiso y garantizar la atribución de ingresos para los contribuyentes. Su diseño integra criptografía avanzada con técnicas de aprendizaje automático para crear un ecosistema colaborativo, seguro y sin confianza. Su primera plataforma, Panaderíaes una plataforma única de monetización y ajuste de modelos de IA construida sobre Rosquilla arquitectura modelo. Crea un espacio de colaboración donde los desarrolladores pueden ajustar los modelos de IA sin comprometer la privacidad de sus recursos propietarios ni exponer parámetros sensibles del modelo.

Origen y Visión

la idea para Rosquilla surgió de su fundador, Bidhan Royque tiene una amplia experiencia en ingeniería y aprendizaje automático y ha contribuido a las infraestructuras de aprendizaje automático más grandes del mundo en Amazon Alexa, Cash App e Instacart. Al reconocer la insostenibilidad de la IA de código abierto como modelo caritativo, Roy imaginó un sistema que incentivaría a los contribuyentes haciendo que su trabajo fuera monetizable. Su introducción a la criptografía durante su trabajo en la plataforma de comercio Bitcoin de Cash App en 2017 se convirtió en la base de RosquillaEl enfoque innovador de combinar métodos criptográficos con el desarrollo de IA.

RosquillaLa propuesta de valor única de se basa en tres pilares fundamentales:

1. Atribución: Rosquilla garantiza que cada contribución estructural o paramétrica se atribuya de manera verificable utilizando su novedoso método ZKLoRA, proporcionando un rastro transparente del trabajo creativo y fomentando la responsabilidad en el desarrollo colaborativo de la IA.
2. Propiedad: Los contribuyentes conservan derechos perpetuos sobre sus innovaciones a través de contenedores que preservan la privacidad y la ofuscación de parámetros, eliminando la necesidad de acuerdos de licencia tradicionales y al mismo tiempo salvaguardando la propiedad intelectual.
3. Privacidad: La encapsulación segura del modelo y la ofuscación en capas protegen los componentes propietarios, evitando el acceso no autorizado incluso en entornos informáticos no confiables o subcontratados, garantizando la privacidad y la confianza durante todo el proceso de desarrollo.

Innovaciones principales de Bagel

• Contribuciones sin permiso: Rosquilla permite a los desarrolladores, investigadores y propietarios de recursos contribuir al desarrollo del modelo de IA sin requerir permisos explícitos ni acuerdos previos. Este enfoque descentralizado elimina las barreras de entrada.
• Atribución de ingresos: RosquillaLa característica única de es su capacidad para atribuir y distribuir ingresos a todos los contribuyentes del ecosistema de manera justa. La plataforma rastrea con precisión las contribuciones y las mejoras del modelo utilizando técnicas criptográficas, asegurando que los contribuyentes sean recompensados ​​proporcionalmente.
• La criptografía se encuentra Aprendizaje automático: RosquillaLa innovadora arquitectura de se basa en una fusión de métodos criptográficos y avances en el aprendizaje automático, que incluyen:
  • Ajuste fino eficiente de parámetros (PEFT): Optimiza los procesos de ajuste del modelo, reduciendo los requisitos de recursos y manteniendo el rendimiento.
  • ZKLoRA: La última innovación del Bagel Research Team: un protocolo de conocimiento cero que verifica las actualizaciones de LoRA para la compatibilidad del modelo base sin exponer datos propietarios, lo que garantiza una colaboración segura y eficiente.

RosquillaLa arquitectura de se implementa a través de su plataforma, Panadería. Permite el desarrollo de IA descentralizada al permitir a los desarrolladores contribuir con modelos y optimizaciones de forma segura, a los proveedores de conjuntos de datos compartir datos propietarios de forma privada utilizando métodos criptográficos y a los propietarios de recursos ofrecer potencia computacional manteniendo el control y la privacidad. En Panaderíavarios contribuyentes pueden participar en la creación de modelos de IA:

• Un colaborador puede proporcionar un modelo base.
• Un tercero podría ofrecer recursos de GPU desde una ubicación remota.

Ahora, analicemos sus últimas investigaciones sobre ZKLoRA. En esta investigación, el Rosquilla El equipo de investigación se centra en permitir una verificación eficiente y segura de las actualizaciones de Adaptación de bajo rango (LoRA) para LLM en entornos de capacitación distribuidos. Tradicionalmente, el ajuste de estos modelos implica que colaboradores externos proporcionen actualizaciones de LoRA, pero verificar que estas actualizaciones sean realmente compatibles con el modelo base y al mismo tiempo proteger los parámetros propietarios plantea desafíos.

Los métodos existentes, como volver a ejecutar un pase directo o inspeccionar manualmente grandes conjuntos de parámetros, son computacionalmente inviables, especialmente para modelos con miles de millones de parámetros. Los pesos LoRA patentados de los contribuyentes también deben protegerse, mientras que los propietarios del modelo base deben verificar la precisión y validez de las actualizaciones. Esto crea un doble desafío: mAIMantener la confianza en el desarrollo de IA descentralizado y colaborativo, preservando al mismo tiempo la propiedad intelectual y la eficiencia computacional. La falta de un mecanismo de verificación sólido y eficiente para las actualizaciones de LoRA limita su escalabilidad y uso seguro en aplicaciones del mundo real.

Para abordar el desafío mencionado anteriormente, el Rosquilla Presentación del equipo de investigación ZKLoRA. Este protocolo de conocimiento cero combina métodos criptográficos con técnicas de ajuste para garantizar la verificación segura de las actualizaciones de LoRA sin exponer pesos privados. ZKLoRA emplea pruebas de conocimiento cero, compromisos polinómicos y diseños criptográficos sucintos para verificar la compatibilidad de LoRA con los modelos base de manera eficiente. Esta innovación permite a los contribuyentes de LoRA proteger su propiedad intelectual y al mismo tiempo permite a los usuarios del modelo base validar las actualizaciones con confianza.

El protocolo ZKLoRA opera mediante un proceso estructurado. Primero, el usuario del modelo base proporciona activaciones parciales ejecutando capas del modelo inalteradas. Estas activaciones parciales luego son utilizadas por el propietario de LoRA, quien aplica sus actualizaciones patentadas y construye una prueba de conocimiento cero. Esta prueba garantiza que las actualizaciones de LoRA sean válidas y compatibles con el modelo base sin revelar información de propiedad exclusiva. La verificación, que tarda sólo entre 1 y 2 segundos por módulo, garantiza la integridad de cada actualización de LoRA, incluso para modelos con miles de millones de parámetros. Por ejemplo, un modelo de 70 mil millones de parámetros con 80 módulos LoRA se puede verificar en sólo unos minutos. Esta eficiencia convierte a ZKLoRA en una solución escalable para condiciones que requieren comprobaciones de compatibilidad frecuentes o a gran escala.

Además, ZKLoRA fue evaluado rigurosamente en varios LLM, incluidos modelos como distilgpt2, Llama-3.3-70B y Mixtral-8x7B. Los investigadores analizaron el tiempo total de verificación, el tiempo de generación de pruebas y el tiempo de configuración de la cantidad de módulos LoRA y sus tamaños promedio de parámetros. Los resultados mostraron que incluso con recuentos de LoRA más altos, el aumento en el tiempo de verificación fue modesto debido a la naturaleza concisa del diseño de ZKLoRA. Por ejemplo, un modelo con 80 módulos LoRA requirió menos de 2 segundos por módulo para la verificación, mientras que el tiempo total de generación de pruebas y configuración, aunque dependía del tamaño del módulo, seguía siendo manejable. Esto demuestra la capacidad de ZKLoRA para manejar escenarios de múltiples adaptadores en implementaciones a gran escala con una sobrecarga computacional mínima.

La investigación destaca varias conclusiones clave que subrayan el impacto de ZKLoRA:

1. El protocolo verifica los módulos LoRA en solo 1 o 2 segundos, incluso para modelos con miles de millones de parámetros, lo que garantiza su aplicabilidad en tiempo real.
2. ZKLoRA escala eficientemente con la cantidad de módulos LoRA, manteniendo tiempos manejables de generación de pruebas y verificación.
3. Al integrar técnicas criptográficas como pruebas de conocimiento cero y privacidad diferencial, ZKLoRA garantiza la seguridad de las actualizaciones y modelos base patentados de LoRA.
4. El protocolo permite colaboraciones basadas en la confianza entre equipos distribuidos geográficamente sin comprometer la integridad de los datos ni la propiedad intelectual.
5. Con una sobrecarga computacional mínima, ZKLoRA es adecuado para comprobaciones frecuentes de compatibilidad, escenarios de múltiples adaptadores y canales de capacitación basados ​​en contratos.

En conclusión, Bagel ha transformado el desarrollo de la IA descentralizada a través de su plataforma innovadora. Panaderíay el protocolo ZKLoRA. Han abordado desafíos críticos en el ajuste de los LLM, como verificar las actualizaciones de LoRA de forma segura y eficiente y al mismo tiempo preservar la propiedad intelectual. Rosquilla También ha proporcionado un marco sólido para la colaboración basada en la confianza. Panadería permite a los contribuyentes de código abierto monetizar su trabajo de manera efectiva. Al mismo tiempo, ZKLoRA aprovecha técnicas criptográficas avanzadas como pruebas de conocimiento cero y privacidad diferencial para garantizar comprobaciones de compatibilidad seguras y escalables. Con tiempos de verificación de tan solo 1 a 2 segundos por módulo, incluso para modelos de parámetros multimillonarios, ZKLoRA demuestra una eficiencia notable y lo convierte en una solución práctica para aplicaciones del mundo real. Finalmente, Panadería es el primer producto que utiliza el Rosquilla arquitectura modelo. Esta arquitectura representa un núcleo primitivo que puede ser aprovechado por futuros productos desarrollados por la Rosquilla equipo y otras empresas que buscan innovar en el espacio de la IA de código abierto.

Fuentes:

Gracias al equipo de Bagel AI por el liderazgo intelectual y los recursos para este artículo. El equipo de Bagel AI nos ha apoyado en este contenido/artículo.