Cómo nuestros principios ayudaron a definir el lanzamiento de AlphaFold

Reflexiones y lecciones sobre cómo compartir uno de nuestros mayores avances con el mundo

Poner en práctica nuestra misión de resolver la inteligencia para hacer avanzar la ciencia y beneficiar a la humanidad conlleva responsabilidades cruciales. Para ayudar a crear un impacto positivo para la sociedad, debemos evaluar proactivamente las implicaciones éticas de nuestra investigación y sus aplicaciones de manera rigurosa y cuidadosa. También sabemos que toda nueva tecnología tiene el potencial de ser perjudicial y nos tomamos en serio los riesgos a corto y largo plazo. Hemos construido nuestras bases sobre la base de ser pioneros de manera responsable desde el principio, especialmente centrados en la gobernanza, la investigación y el impacto responsables.

Esto comienza con el establecimiento de principios claros que ayuden a aprovechar los beneficios de la inteligencia artificial (IA), al tiempo que mitigan sus riesgos y posibles resultados negativos. Ser pionero de manera responsable es un esfuerzo colectivo, por lo que hemos contribuido a muchos estándares de la comunidad de IA, como los desarrollados por Googleel Asociación sobre IAy el OCDE (Organización para la cooperación económica y el desarrollo).

Nuestro Principios de operacion han llegado a definir tanto nuestro compromiso de priorizar el beneficio generalizado como las áreas de investigación y aplicaciones que nos negamos a realizar. Estos principios han estado en el centro de nuestra toma de decisiones desde que se fundó DeepMind y continúan perfeccionándose a medida que el panorama de la IA cambia y crece. Están diseñados para nuestro papel como empresa científica impulsada por la investigación y son coherentes con los principios de IA de Google.

De los principios a la práctica

Los principios escritos son sólo una parte del rompecabezas; la clave es cómo se ponen en práctica. Para las investigaciones complejas que se realizan en las fronteras de la IA, esto plantea desafíos importantes: ¿Cómo pueden los investigadores predecir los posibles beneficios y daños que pueden ocurrir en un futuro lejano? ¿Cómo podemos desarrollar una mejor previsión ética desde una amplia gama de perspectivas? ¿Y qué se necesita para explorar cuestiones difíciles junto con el progreso científico en tiempo real para evitar consecuencias negativas?

Hemos pasado muchos años desarrollando nuestras propias habilidades y procesos para la gobernanza, la investigación y el impacto responsables en DeepMind, desde la creación de kits de herramientas internos y la publicación de artículos sobre cuestiones sociotécnicas hasta el apoyo a los esfuerzos para aumentar la deliberación y la previsión en todo el campo de la IA. Para ayudar a empoderar a los equipos de DeepMind para que sean pioneros de manera responsable y se protejan contra daños, nuestro Comité de Revisión Institucional (IRC) interdisciplinario se reúne cada dos semanas para evaluar cuidadosamente los proyectos, artículos y colaboraciones de DeepMind.

Ser pionero de manera responsable es un músculo colectivo, y cada proyecto es una oportunidad para fortalecer nuestras habilidades y comprensión conjuntas. Hemos diseñado cuidadosamente nuestro proceso de revisión para incluir expertos rotativos de una amplia gama de disciplinas, con investigadores de aprendizaje automático, especialistas en ética y expertos en seguridad junto a ingenieros, expertos en seguridad, profesionales de políticas y más. Estas voces diversas identifican periódicamente formas de ampliar los beneficios de nuestras tecnologías, sugieren áreas de investigación y aplicaciones que deben cambiar o desacelerarse, y destacan proyectos donde se necesita mayor consulta externa.

Si bien hemos avanzado mucho, muchos aspectos de esto se encuentran en territorio inexplorado. No siempre lo haremos bien y estamos comprometidos con el aprendizaje y la iteración continuos. Esperamos que compartir nuestro proceso actual sea útil para otros que trabajan en IA responsable y fomentar la retroalimentación a medida que continuamos aprendiendo, razón por la cual hemos detallado reflexiones y lecciones de uno de nuestros proyectos más complejos y gratificantes: AlphaFold. Nuestro sistema AlphaFold AI resolvió el desafío de 50 años de predicción de la estructura de las proteínas, y estamos encantados de ver a los científicos usarlo para acelerar el progreso en campos como la sostenibilidad, la seguridad alimentaria, el descubrimiento de fármacos y la biología humana fundamental desde su lanzamiento. a la comunidad en general el año pasado.

Centrándose en la predicción de la estructura de las proteínas.

Nuestro equipo de investigadores, biólogos e ingenieros de aprendizaje automático había visto durante mucho tiempo el problema del plegamiento de proteínas como una oportunidad extraordinaria y única para que los sistemas de aprendizaje de IA crearan un impacto significativo. En este ámbito, existen medidas estándar de éxito o fracaso, y un límite claro de lo que el sistema de IA debe hacer para ayudar a los científicos en su trabajo: predecir la estructura tridimensional de una proteína. Y, como ocurre con muchos sistemas biológicos, el plegamiento de proteínas es demasiado complejo para que alguien pueda escribir las reglas de su funcionamiento. Pero un sistema de inteligencia artificial podría aprender esas reglas por sí mismo.

Otro factor importante fue la evaluación bienal, conocida como CASP (la Evaluación Crítica de la Predicción de la Estructura de las Proteínas), que fue fundada por el profesor John Moult y el profesor Krzysztof Fidelis. Con cada reunión, CASP proporciona una evaluación excepcionalmente sólida del progreso, lo que requiere que los participantes predigan estructuras que se han descubierto recientemente mediante experimentos. Los resultados son un gran catalizador para una investigación ambiciosa y la excelencia científica.

Comprender las oportunidades y los riesgos prácticos

Mientras nos preparábamos para la evaluación CASP en 2020, nos dimos cuenta de que AlphaFold mostraba un gran potencial para resolver el desafío que teníamos entre manos. Dedicamos mucho tiempo y esfuerzo a analizar las implicaciones prácticas y nos preguntamos: ¿Cómo podría AlphaFold acelerar la investigación y las aplicaciones biológicas? ¿Cuáles podrían ser las consecuencias no deseadas? ¿Y cómo podríamos compartir nuestro progreso de manera responsable?

Esto presentó una amplia gama de oportunidades y riesgos a considerar, muchos de los cuales se encontraban en áreas en las que no necesariamente teníamos una gran experiencia. Por eso, buscamos aportes externos de más de 30 líderes de campo en investigación en biología, bioseguridad, bioética, derechos humanos y más, con un enfoque en la diversidad de experiencia y antecedentes.

A lo largo de estas discusiones surgieron muchos temas consistentes:

1. Equilibrar el beneficio generalizado con el riesgo de daño. Comenzamos con una mentalidad cautelosa sobre el riesgo de daño accidental o deliberado, incluida la forma en que AlphaFold podría interactuar tanto con los avances futuros como con las tecnologías existentes. A través de nuestras conversaciones con expertos externos, quedó más claro que AlphaFold no facilitaría significativamente causar daño a las proteínas, dadas las numerosas barreras prácticas para esto, pero que los avances futuros deberían evaluarse cuidadosamente. Muchos expertos argumentaron firmemente que AlphaFold, como avance relevante para muchas áreas de la investigación científica, obtendría el mayor beneficio a través de un acceso gratuito y generalizado.
2. Las medidas de confianza precisas son esenciales para un uso responsable. Los biólogos experimentales explicaron lo importante que sería comprender y compartir métricas de confianza utilizables y bien calibradas para cada parte de las predicciones de AlphaFold. Al señalar cuáles de las predicciones de AlphaFold tienen probabilidades de ser precisas, los usuarios pueden estimar cuándo pueden confiar en una predicción y utilizarla en su trabajo, y cuándo deberían utilizar enfoques alternativos en su investigación. Inicialmente habíamos considerado omitir predicciones para las cuales AlphaFold tenía poca confianza o alta incertidumbre predictiva, pero los expertos externos que consultamos demostraron por qué era especialmente importante conservar estas predicciones en nuestro comunicado y nos aconsejaron sobre las formas más útiles y transparentes de presentarlas. información.
3. Un beneficio equitativo podría significar apoyo adicional para campos con financiación insuficiente. Tuvimos muchas discusiones sobre cómo evitar que las disparidades aumenten inadvertidamente dentro de la comunidad científica. Por ejemplo, los llamados enfermedades tropicales desatendidas, que afectan desproporcionadamente a las zonas más pobres del mundo, a menudo reciben menos financiación para investigación de la que deberían. Se nos alentó encarecidamente a priorizar el apoyo práctico y buscar asociarnos de manera proactiva con grupos que trabajen en estas áreas.

Estableciendo nuestro enfoque de lanzamiento

Con base en los aportes anteriores, el IRC aprobó un conjunto de versiones de AlphaFold para abordar múltiples necesidades, que incluyen:

• Publicaciones revisadas por pares y código fuente abierto, incluido dos documentos en la Naturaleza, acompañada de código fuente abierto, para permitir a los investigadores implementar y mejorar AlphaFold más fácilmente. Poco después agregamos un colaboración de google permitiendo a cualquiera ingresar una secuencia de proteínas y recibir una estructura predicha, como una alternativa a ejecutar el código fuente abierto ellos mismos.
• Una publicación importante de las predicciones de la estructura de las proteínas. en alianza con EMBL-EBI (Instituto Europeo de Bioinformática del EMBL), el líder comunitario establecido. Como institución pública, EMBL-EBI permite a cualquiera buscar predicciones de estructuras de proteínas tan fácilmente como una búsqueda en Google. El lanzamiento inicial incluía formas previstas para cada proteína del cuerpo humano, y nuestra actualización más reciente Incluyó estructuras predichas para casi todas las proteínas catalogadas conocidas por la ciencia. Esto suma más de 200 millones de estructuras, todas disponibles gratuitamente en el sitio web del EMBL-EBI con licencias de acceso abierto, acompañadas de recursos de soporte, como seminarios web sobre la interpretación de estas estructuras.
• Construyendo visualizaciones 3D en la base de datos, con etiquetas destacadas para las áreas de predicción de alta y baja confianza y, en general, con el objetivo de ser lo más claro posible acerca de las fortalezas y limitaciones de AlphaFold en nuestra documentación. También diseñamos la base de datos para que fuera lo más accesible posible, teniendo en cuenta, por ejemplo, las necesidades de las personas con deficiencia en la visión de los colores.
• Formar asociaciones más profundas con grupos de investigación que trabajan en áreas con financiación insuficiente. como enfermedades desatendidas y temas críticos para la salud global. Esto incluye DNDi (Iniciativa Medicamentos para Enfermedades Olvidadas), que avanza en la investigación sobre la enfermedad de Chagas y la leishmaniasis, y la Centro de innovación enzimática que está desarrollando enzimas que comen plástico para ayudar a reducir los desechos plásticos en el medio ambiente. Nuestros crecientes equipos de participación pública continúan trabajando en estas asociaciones para respaldar más colaboraciones en el futuro.

Cómo estamos construyendo sobre este trabajo

Desde nuestro lanzamiento inicial, cientos de miles de personas de más de 190 países han visitado el Base de datos de estructura de proteínas AlphaFold y usé el Código fuente abierto AlphaFold desde su lanzamiento. Nos sentimos honrados de conocer las formas en que las predicciones de AlphaFold han acelerado importantes esfuerzos científicos y estamos trabajando para contar algunas de estas historias con nuestro Desplegado proyecto. Hasta el momento, no tenemos conocimiento de ningún mal uso o daño relacionado con AlphaFold, aunque seguimos prestando mucha atención a esto.

Si bien AlphaFold fue más complejo que la mayoría de los proyectos de investigación de DeepMind, estamos utilizando elementos de lo que hemos aprendido y los incorporamos en otras versiones.

Estamos construyendo sobre este trabajo al:

• Aumentar la gama de aportaciones de expertos externos en cada etapa del proceso, y explorar mecanismos para una ética participativa a mayor escala.
• Ampliando nuestra comprensión de la IA para la biología en general, más allá de cualquier proyecto o avance individual, para desarrollar una visión más sólida de las oportunidades y riesgos a lo largo del tiempo.
• Encontrar formas de ampliar nuestras asociaciones con grupos en campos que están desatendidos por las estructuras actuales.

Al igual que nuestra investigación, este es un proceso de aprendizaje continuo. El desarrollo de la IA para obtener beneficios generalizados es un esfuerzo comunitario que va mucho más allá de DeepMind.

Estamos haciendo todo lo posible para ser conscientes de cuánto trabajo aún queda por hacer en asociación con otros y cómo somos pioneros de manera responsable en el futuro.