Las empresas que afirman que sus herramientas de detección de IA podrían separar la escritura humana de la máquina con una precisión casi perfecta se encuentran ahora en la mira de la FTC.
La comisión recientemente finalizó una orden contra Workado, LLC (que comercializaba su detector a través del sitio web antes conocido como Content at Scale, ahora rebautizado como Brandwell), citando afirmaciones de que estas herramientas fueron entrenadas de manera amplia cuando en realidad estaban principalmente entrenadas en escritura académica. Esto es según la investigación detallada en este informe.
La FTC señaló que una tasa de “precisión del 98 %” afirmada audazmente no estaba respaldada. En la orden, Workado debe retirar esos reclamos, enviar avisos a usuarios anteriores, mantener registros de cumplimiento y conservar evidencia para futuros reclamos publicitarios.
El mensaje: si dice que su IA puede detectarla como el ojo humano detecta un billete falso, será mejor que tenga los recibos.
El momento es revelador. Con el texto generado por IA inundando las aulas, las redacciones y las comunicaciones corporativas, la presión sobre las herramientas de detección es intensa, pero también lo es la tentación de vender en exceso.
Un análisis separado de los usuarios de Reddit señaló que la “precisión” es una métrica resbaladiza en las herramientas de detección, especialmente cuando la tasa base (con qué frecuencia se genera algo mediante IA) varía enormemente.
Otro ángulo: esto es parte de una tendencia regulatoria más amplia. Por ejemplo, el bombardeo anterior de la FTC se centró en otras “promesas de IA” que involucraban herramientas que prometían servicios legales automatizados o escaparates “impulsados por IA”, pero no podían fundamentar las afirmaciones. En otras palabras: la etiqueta de IA no es un pase gratuito.
Lo que personalmente encuentro un poco desconcertante es el efecto dominó en las instituciones que dependen de estos detectores: escuelas, editoriales e incluso gobiernos.
Si los detectores exageran su precisión o se utilizan sin transparencia, los falsos positivos se convierten en un gran problema.
Una investigación sobre los sistemas de detección de IA de las universidades encontró que los estudiantes eran señalados erróneamente, a veces sin revisión humana. Por lo tanto, esta acción de la FTC podría ser una bienvenida llamada de atención.
Aquí hay algunas cosas a tener en cuenta: 1) ¿Recibirán otras empresas pedidos similares? 2) ¿Los compradores de herramientas de detección exigirán más transparencia, como datos de entrenamiento detallados, tasas de error y divisiones de pruebas? 3) ¿Reevaluarán las instituciones cómo utilizan estas herramientas, quizás convirtiéndolas en una capa del proceso en lugar de ser la última palabra?
Mi opinión: los detectores de contenido de IA tienen un papel, especialmente a medida que el contenido generado por IA se vuelve más omnipresente, pero están lejos de ser una solución milagrosa. Tratarlos como tales es una receta para los problemas.
Si confía en uno, haga preguntas difíciles: ¿En qué fue entrenado? ¿Cuál es su tasa de falsos positivos? ¿Quién lo auditó?
Porque si la FTC dice que no se puede simplemente poner “98 % de precisión” en la casilla sin pruebas, entonces probablemente también debería exigir esa prueba.