Durante el año pasado, la industria ha impulsado avances significativos en las capacidades de la IA. A medida que esos avances se han acelerado, se requieren nuevas investigaciones académicas sobre la seguridad de la IA. Para abordar esta brecha, el Foro y sus socios filantrópicos están creando un nuevo Fondo de Seguridad de la IA, que apoyará a investigadores independientes de todo el mundo afiliados a instituciones académicas, instituciones de investigación y nuevas empresas. El compromiso de financiación inicial para el AI Safety Fund proviene de Anthropic, Google, Microsoft y OpenAI, y de la generosidad de nuestros socios filantrópicos, la Fundación Patrick J. McGovern, la Fundación David y Lucile Packard.[^footnote-1], Eric Schmidt y Jaan Tallin. En conjunto, esto equivale a más de 10 millones de dólares en financiación inicial. Esperamos contribuciones adicionales de otros socios.
A principios de este año, los miembros del Foro firmaron compromisos voluntarios de IA en la Casa Blanca, que incluían el compromiso de facilitar el descubrimiento por parte de terceros y la notificación de vulnerabilidades en nuestros sistemas de IA. El Foro considera que el Fondo de Seguridad de la IA es una parte importante para cumplir este compromiso al proporcionar financiación a la comunidad externa para evaluar y comprender mejor los sistemas fronterizos. El debate global sobre la seguridad de la IA y la base general de conocimientos sobre la IA se beneficiará de una gama más amplia de voces y perspectivas.
El objetivo principal del Fondo será apoyar el desarrollo de nuevas evaluaciones de modelos y técnicas para equipos rojos de modelos de IA para ayudar a desarrollar y probar técnicas de evaluación de capacidades potencialmente peligrosas de los sistemas fronterizos. Creemos que una mayor financiación en esta área ayudará a elevar los estándares de seguridad y protección y proporcionará información sobre las mitigaciones y controles que la industria, los gobiernos y la sociedad civil necesitan para responder a los desafíos que presentan los sistemas de IA.
El Fondo publicará una convocatoria de propuestas en los próximos meses. Meridian Institute administrará el Fondo; su trabajo contará con el respaldo de un comité asesor compuesto por expertos externos independientes, expertos de empresas de inteligencia artificial y personas con experiencia en la concesión de subvenciones.