Un algoritmo de justicia penal ampliamente utilizado para evaluar la reincidencia en la pornografía infantil es defectuoso
El algoritmo CPORT, comúnmente utilizado para estimar el riesgo de que un delincuente de pornografía infantil vuelva a delinquir, no ha sido validado para su uso en los EE. UU.
Richard Ross/Getty Images
En el sistema de justicia penal actual existen más de 400 algoritmos en el mercado que informan decisiones legales importantes como sentencia y libertad condicional. Al igual que las compañías de seguros utilizar algoritmos para establecer primas, los jueces utilizan algoritmos de evaluación de riesgos para estimar la probabilidad de que alguien se convierta en reincidente cuando imponga sentencias de prisión. En términos generales, los delincuentes de menor riesgo pueden recibir, y de hecho reciben, sentencias de prisión más cortas que los delincuentes de mayor riesgo.
Científicos y defensores legales. tener criticó el uso de estos algoritmos como prejuicios raciales, opacos en su funcionamiento y demasiado genéricos para un sistema de justicia penal que se supone debe tratar a todos individualmente. Sin embargo, pocas personas están prestando atención. a cómo estos algoritmos llegan de esta manera—cómo se están desarrollando y validando antes de su uso. En el caso de los delincuentes de pornografía infantil, los expertos en psicología del sistema de justicia penal utilizan ampliamente un algoritmo sin prestar mucha atención a su desarrollo y, lo que es más importante, a su precisión. El uso de un algoritmo no validado con precisión desconocida es peligroso, dadas las graves consecuencias asociadas con los delitos de pornografía infantil.
El algoritmo se llama la Herramienta de Riesgo de Infractores de Pornografía Infantil (CPORT). El estado de Georgia utiliza el CPORT para determinar qué delincuentes sexuales condenados deben incluirse en el registro público de delincuentes sexuales, y los expertos suelen testificar en audiencias de sentencia en todo el país sobre los resultados de la evaluación de riesgos del CPORT. Se podría suponer que existe evidencia científica sólida que valida el CPORT sobre delincuentes en los Estados Unidos. Esa suposición es incorrecta.
Sobre el apoyo al periodismo científico
Si está disfrutando este artículo, considere apoyar nuestro periodismo galardonado al suscribiéndose. Al comprar una suscripción, ayudas a garantizar el futuro de historias impactantes sobre los descubrimientos y las ideas que dan forma a nuestro mundo actual.
El año pasado publicamos una crítica metodológica detallada del CPORT. Entre otras cosas, observamos que la muestra utilizada para desarrollar el instrumento era extremadamente pequeña. El CPORT se desarrolló estudiando a 266 delincuentes de pornografía infantil de Ontario, Canadá, que fueron puestos en libertad entre 1993 y 2006. Cinco años después de su liberación, 29 de los delincuentes fueron acusados o condenados por un nuevo delito sexual.
Desarrollar un algoritmo basado en 29 reincidentes es preocupante porque Los tamaños de muestra pequeños hacen que los modelos estadísticos sean inestables. y no generalizable a la población más amplia de delincuentes de pornografía infantil. Otros factores de riesgo bien conocidos, como acceso a los niños o la preocupación por la pornografía infantil, no fueron factores de riesgo predictivos en esta muestra y, por lo tanto, no se incluyeron en el CPORT.
Es más, los datos de desarrollo del CPORT están potencialmente desactualizados dadas las enormes diferencias en la tecnología que se utiliza para acceder, almacenar y transmitir pornografía infantil desde 2006, cuando se recopiló la muestra de desarrollo del CPORT. Los teléfonos móviles y otras tecnologías de Internet no se generalizaron hasta después de 2006, significativamente Cambiar y ampliar la forma en que ocurren los delitos de pornografía infantil en línea.. El acceso a Internet es una característica común de infractores de pornografía infantil, pero no está incluido en el CPORT.
Por el contrario, el algoritmo de Evaluación de Seguridad Pública, que los jueces utilizan para determinar el riesgo de que un acusado cometa otro delito mientras espera el juicio, se creó analizando datos de miles de acusados de más de 300 jurisdicciones a través de América. Es importante destacar que fue validado en la jurisdicción local antes de su uso. Estas pruebas diversas y a gran escala son la piedra angular de una evaluación de riesgos válida: incluso las más prometedoras y modelos conocidos se ha demostrado que descomponerse cuando se aplica a un nuevo conjunto de datos.
A diferencia del algoritmo de Evaluación de Seguridad Pública, los investigadores del CPORT realizaron un “estudio de validación” con 80 delincuentes de la misma jurisdicción en Ontario, Canadá. Esta muestra sólo tenía ¡12 reincidentes! Sus desconcertantes resultados demuestran el peligro de confiar en muestras pequeñas: las puntuaciones del CPORT fueron no predictivos de reincidencia cuando se limitaron a casos con información completa, pero fueron predictivos cuando se incluyeron casos con información faltante. En otras palabras, el algoritmo «funcionó» cuando faltaba información relevante pero no cuando se limitaba a casos con información completa.
También revisamos los estudios realizados por otros investigadores:un paso vital porque los estudios realizados por desarrolladores de pruebas tienden a tener mejores resultados. Los desarrolladores de pruebas tienen un gran interés en la promoción y el éxito de su instrumento, y esto puede afectar consciente e inconscientemente sus resultados. Pero incluso estos estudios independientes adolecen de falta de rigor científico. Por ejemplo, un estudio de España sólo había seis reincidentes y al estudio le faltaba información en el 97 por ciento de los casos. Ninguno de los estudios se había realizado con delincuentes estadounidenses.
Concluimos, basándonos en un análisis exhaustivo y detallado de la base de investigación existente, que “no [is] «Es inapropiado utilizar el CPORT contra delincuentes exclusivos de pornografía infantil en los Estados Unidos en este momento». En cambio, a pesar de observando «No está claro qué tan bien funcionará la escala en diferentes muestras y entornos, y aún no hay datos suficientes para producir estimaciones confiables de reincidencia», dijo el informe. Equipo de desarrollo CPORT afirmó que “la báscula está lista para su uso, [but] debe usarse con cautela dada la limitada base de investigación que lo respalda”.
Después de la publicación de nuestro artículo, investigadores del Oficina Federal de Libertad Condicional y Servicios Previos al Juicio (PPSO) Probó el CPORT en una muestra de 5.700 delincuentes federales de pornografía infantil de EE. UU. que fueron puestos en libertad entre 2010 y 2016. En cinco años, el 5 por ciento fue arrestado nuevamente por un nuevo delito sexual. Cuando se puso a prueba, el CPORT demostró un desempeño de “predicción mediocre” que “no se acercó a aquellos [values] informado por los desarrolladores del CPORT”. Como resultado, PPSO decidió no utilizar el CPORT para informar decisiones sobre el nivel de supervisión necesario para los delincuentes de pornografía infantil en libertad condicional.
A pesar de los hallazgos de la PPSO, nuestra crítica y la falta de validación en cualquier muestra de EE. UU., el equipo de desarrollo de CPORT sostiene que “Es defendible el uso del CPORT para evaluar el riesgo.” y está promoviendo su uso.
El uso de algoritmos no validados, como el CPORT, representa una amenaza significativa para la seguridad pública y la libertad de los acusados. Los algoritmos predictivos inexactos ofrecen la apariencia de precisión y exactitud con base científica. Pero esa apariencia es ilusoria y, en realidad, las decisiones legales basadas en ellas conducen a errores importantes con consecuencias nefastas: los delincuentes no peligrosos son encerrados más tiempo del necesario mientras que los delincuentes peligrosos son liberados para cometer delitos futuros.
El uso continuo de instrumentos de evaluación de riesgos no validados también obstaculiza la investigación sobre algoritmos alternativos. Evidencia muestra que los algoritmos de evaluación de riesgos «locales» desarrollados a partir de datos locales pueden ser más precisos para predecir la reincidencia de personas de su jurisdicción que los algoritmos «listos para usar» como el CPORT. Sin embargo, el tiempo y los recursos necesarios para crear algoritmos desarrollados localmente se ven superados con creces cuando los responsables de la formulación de políticas pueden tomar algo ya creado y utilizarlo de inmediato.
Hasta que se desarrolle y valide exitosamente un algoritmo de evaluación de riesgos con datos en la jurisdicción en la que se aplicará, el uso de algoritmos de evaluación de riesgos nos pone a todos en riesgo.
Este es un artículo de opinión y análisis, y las opiniones expresadas por el autor o autores no son necesariamente las de Científico americano.