S en la detección de contenido LLM. Troleas en Reddit, deseando tener la oportunidad de lanzar el martillo “escrito por IA” a autores que sospechas que son IA.
En realidad, no es así y la investigación lo demuestra.
Recientemente me prohibieron permanentemente un subreddit sin nombre por publicar un artículo. Los moderadores lo marcaron como contenido generado por IA y me prohibieron instantáneamente.
Lo que los moderadores no notaron fue la fecha de creación del artículo:
Dos años completos antes de que ChatGPT estuviera disponible para el público.
Esto no fue una tontería: fue mi escritura.
Baja precisión, alta recuperación
El problema con la reacción actual contra el contenido generado por LLM es que las herramientas automáticas para detectar la IA suelen ser de baja precisión y alta recuperación: clasificar todo como IA escrito para la máxima cantidad de "errores".
Para demostrarlo, aquí hay un extracto de mi escrito (días anteriores al chatbot)
Cada idea deberá priorizarse según dos factores, como se mencionó, la facilidad de ejecución y la probabilidad de éxito. Desafortunadamente, no existe una manera fácil de determinar la facilidad o probabilidad de ejecución, ya que cada investigador y equipo es diferente. Algunas consideraciones: – ¿Qué tan complejo es el método o idea? – ¿Este método tuvo éxito en otro ámbito? – ¿Tengo/tenemos experiencia en la aplicación de este método? Al final de su proceso de priorización, debe tener las ideas que tienen la mayor probabilidad de mostrar resultados, seguidas de la facilidad de ejecución. Si creara una puntuación para esto (para clasificar), se ponderaría más en la probabilidad de éxito que en la facilidad de ejecución.
Aquí está el informe asociado de un popular detector de IA.
Imagen por autor
Esto no significa que los indicadores o los modelos sean inútiles. El objetivo aquí no debería ser, y probablemente nunca será, la certeza. Pero, armado con más información, puedes pasar de una suposición descabellada a algo un poco mejor que lanzar una moneda al aire.
En este artículo, cubro una investigación que destaca los patrones característicos del contenido generado por LLM, que incluyen:
El vocabulario indica La retórica y la estructura de la oración indican La puntuación indica Por qué incluso los lectores seguros se equivocan Cómo los modelos de lenguaje desarrollaron estos indicadores (las matemáticas)
Después de leer, estarás mejor armado para detectar la basura en la naturaleza, junto con la intuición matemática detrás de por qué existen estos patrones.
"Ahondar"
No siempre fue sospechoso. Era una palabra ligeramente formal que aparecía de vez en cuando. Una vez que salió ChatGPT, explotó. Ahora todo el mundo está ahondando en algo.
Hay un par de investigaciones interesantes detrás de lo que se llama "exceso de vocabulario". Palabras que rara vez aparecen en la escritura humana, pero con frecuencia en contenido generado por IA.
En "Profundizar en el uso de ChatGPT en la escritura académica a través del exceso de vocabulario" de Kobak et al., los investigadores revisaron ~15 millones de resúmenes de PubMed entre 2010 y 2024 y demuestran que la aparición de LLM condujo a un aumento abrupto de "ciertas palabras de estilo".
Figura de Kobak, D., González-Márquez, R., Horvát, E.-Á., & Lause, J. (2024). Profundizando en el uso de ChatGPT en la escritura académica a través del exceso de vocabulario. arXiv:2406.07016. Licenciado bajo CC BY-SA 4.0. https://creativecommons.org/licenses/by/4.0/
No empezamos simplemente a “profundizar”. Los LLM comenzaron a “profundizar” por nosotros.
Los investigadores realizaron otra versión de la misma prueba. En "¿Por qué ChatGPT 'profundiza' tanto? Explorando las fuentes de sobrerrepresentación léxica en modelos de lenguaje grandes" de Juzek y Ward, los investigadores identificaron "palabras focales" comparando dos corpus. El primero fueron los resúmenes de PubMed escritos entre 2020 y 2024. El segundo se generó haciendo que ChatGPT reescribiera el mismo cuerpo de resúmenes. Exactamente las mismas palabras mostraron aumentos abruptos en el uso en ambos corpus, lo que sugiere que los patrones fueron el resultado del uso de ChatGPT.
Esto se reduce a: los LLM prefieren ciertas palabras. Lo más probable es que esto se deba a las preferencias humanas en la formación posterior al LLM.
"Ooh, profundizar suena bien, me gusta más esta respuesta".
Estas probabilidades de tokens difieren de las probabilidades de uso humano de maneras mensurables. Verlos podría ser un indicador útil del uso de LLM.
TLDR: Palabras a tener en cuenta
De forma aislada, no es preocupante, pero en combinación o con frecuencia, definitivamente es una señal de advertencia.
ahondar, alardear, intrincado, tapiz, reino, escaparate, fundamental, subrayar, meticuloso, aprovechar, robusto, continuo, testamento, integral, multifacético, navegar, notablemente, interacción
Preferencia de nombre
También hay algunas investigaciones que destacan la preferencia por los nombres, específicamente relacionados con nombres concurrentes. En “The Ghost Couple: Correlation LLM Name Priors and Their Haunting of the Web and Academic Publishing”, Michał Brzozowski y Neo Christopher Chung descubrieron que los modelos desarrollan “nombres anteriores”, generando repetidamente las mismas identidades ficticias.
Estas identidades ficticias se citan como coautores en artículos de investigación escritos por fantasmas que tienen DOI reales, entre otros contenidos generados por IA, como plantillas de sitios web. Los autores sostienen que estos pares de nombres pueden actuar como firmas del modelo subyacente.
Licenciado bajo CC BY 4.0. https://creativecommons.org/licenses/by/4.0/
Algunos nombres que aparecen con frecuencia se encuentran a continuación:
También hay evidencia anecdótica débil para otros nombres, como Kira, Priya, Mara, Aria y apellidos que comienzan con Ok, como Okafor, Okonkwo.
Destacan especialmente el nombre Marcus y el apellido Chen.
Cuando se le solicita a Claude Sonnet 5 "generar nombres para un desarrollador de software nacido en 1990"
El modelo devuelve:
Alex Chen Dev Patel Marcus Webb Nadia Volkov Lauren Okafor …
🤣Obtenemos aciertos claros en el primer conjunto de respuestas.
Algunos elementos para reflexionar. Entonces, si te topas con un trabajo de investigación con afirmaciones que son demasiado buenas para ser verdad, escrito por Marcus Webb, Elena Vasquez y Lena Chen, probablemente estés leyendo basura escrita por fantasmas.
Profundicemos ahora en algunos otros indicios.
La retórica y la estructura de las oraciones dicen
Los LLM también prefieren algunos patrones lingüísticos estructurales que son bastante fáciles de detectar.
fraseo contrastante
"No es X, es Y"
"No fue esto, fue sólo esto"
El método post-entrenamiento elegido por muchos modelos básicos, RLHF, recompensa las respuestas que los evaluadores humanos perciben como útiles. Estas frases contrastantes están altamente correlacionadas con la escritura explicativa. Da una sensación de profundidad y comprensión conceptual que enamora a los evaluadores humanos.
El proceso RLHF es la razón por la que es difícil eliminarlo gradualmente con las indicaciones del sistema. Este comportamiento se ha incorporado durante la capacitación posterior y el LLM literalmente no puede dejar de hacerlo, incluso si usted le indica explícitamente que no lo haga.
Esta fraseología contrastante estilizada en los LLM después de la formación se filtra por todas partes, incluso cuando no tiene ningún sentido.
Así que la próxima vez que veas:
"Esto no es sólo una idea. Es una revolución".
Probablemente puedas ondear tu bandera de slop de forma segura.
Cobertura lingüística
Los LLM nunca se comprometerán completamente con una idea si existe la más mínima posibilidad de un contraargumento.
Enmarcar ambos lados de un problema y llegar a una conclusión no específica es una aversión al riesgo de una manera muy específica y entrenable.
Si la preferencia estilística es "evitar el conflicto y el exceso de confianza", la cobertura es una señal muy clara y recompensable desde la perspectiva de un evaluador humano. Por lo tanto, los modelos exhiben un patrón estereotipado de cobertura y blanqueamiento de afirmaciones, incluso cuando una respuesta más directa sería apropiada.
Algunos ejemplos de coberturas:
"Esto puede indicar…"
"La evidencia sugiere que…"
""Vale la pena señalar que…"
"Esto es X, Y y Z, sin embargo, A, B y C también existen"
"Si bien este método ofrece varias ventajas, también se deben evaluar los posibles inconvenientes".
Las declaraciones de cobertura rara vez son erróneas, pero proporcionan poco en términos de opinión real, lo que aumenta la apariencia de una comprensión matizada sin aumentar la precisión de la respuesta.
Desde la perspectiva del modelado del lenguaje, este comportamiento no es sorprendente. Una respuesta cautelosa que evite ser obviamente incorrecta es a menudo más segura que una respuesta precisa que corre el riesgo de estar en desacuerdo, lo que genera una mayor recompensa en el entrenamiento de alineación.
Estas coberturas dan como resultado una escritura demasiado cautelosa y evasiva que es fácil de detectar si se está buscando.
La regla de tres
Esta es una técnica de escritura eficaz que los escritores técnicos/comerciales utilizan con frecuencia, por lo que es un patrón débil cuando se observa de forma aislada.
A los LLM les encanta usar tres elementos, casi compulsivamente. Es probable que esto sea un artefacto de los datos de capacitación utilizados para los LLM básicos de gran tamaño. La gente responde bastante bien.
Esté atento a las listas, pero también a las frases individuales: "rápido, fiable y seguro". "Claro, conciso y práctico". Si puede dejar caer un elemento sin perder detalles, es una indicación razonable.
A veces, “rápido y procesable” es mejor que “rápido, procesable y eficaz”.
Como todo lo que se cuenta en este artículo, esto no es una evidencia en sí misma. Los expertos humanos utilizan intencionalmente patrones triádicos porque funcionan.
La señal real aquí proviene de la frecuencia. Si cada párrafo del contenido que lees contiene tripletes equilibrados, estás observando otra característica estadística débil que simplemente empuja la probabilidad hacia el texto generado por máquina.
La puntuación dice
Este es fácil y todos lo saben cuando lo ven. El sagrado em-dash.
—
Los LLM han perdido casi patológicamente la capacidad de utilizar los dos puntos y el punto y coma en favor del em-dash. Está en todas partes. Tanto es así que OpenAI necesitaba incluir una opción de preferencia sin em-dash en ChatGPT.
El em-dash todavía aparece con bastante frecuencia en los modelos básicos.
Me gustaban los guiones largos. Dividen el contenido y tienen mucho sentido cuando es necesario interrumpir brevemente el hilo del pensamiento. Tiendo a utilizar un montón de apartes en mis escritos. Desde entonces los reemplacé (este contenido es un aparte).
Si eres como yo y quieres volver a utilizar guiones em, ten en cuenta que el riesgo de que te marquen aumenta drásticamente.
(Incluso me arriesgué a usarlos en este artículo)
¿Por qué incluso los usuarios más confiados se equivocan?
En el artículo, “Detección de texto generado por IA: factores que influyen en la detectabilidad con métodos actuales” de Fraser, Dawkins y Kiritchenko, los autores examinaron con qué precisión las personas podían distinguir entre texto escrito por humanos y texto generado por LLM. Precisión: 59%. Casi un lanzamiento de moneda.
Los hallazgos desafían la suposición de que los humanos somos detectores de IA fiables. Incluso los lectores confiados con frecuencia clasifican erróneamente tanto el contenido generado por IA como escrito por humanos y el contenido escrito por humanos como generado por IA.
Otro estudio, “Capacidad de las herramientas de detección de IA y de los humanos para identificar con precisión diferentes formas de contenido escrito generado por IA” de Cheng et al., sitúa la precisión promedio de la calificación humana en solo el 19%.
Licenciado bajo CC BY 4.0. https://creativecommons.org/licenses/by/4.0/
Ésta es una paradoja de la detección.
Cuanto mejores sean los modelos de lenguaje al escribir como un humano pulido, más indistinguibles serán de los humanos reales. Esto puede explicar por qué la precisión humana disminuye tanto para el texto 100% generado por IA (10%) como para el texto 100% generado por humanos (17%).
Detectar patrones estilísticos es una pequeña pieza del rompecabezas.
Incluso si hoy en día eres bastante decente en la detección de contenido de IA, en última instancia, la intuición humana es deficiente en la detección de IA y los LLM avanzarán continuamente hasta que sean indistinguibles de la prosa pulida.
Lo que también es algo desconcertante es que encuentro que la escritura de estilo LLM aparece naturalmente mientras escribo, como si leer contenido generado por LLM afectara mi propio estilo de escritura. ¿Nos estamos pareciendo más a ChatGPT o ChatGPT se está pareciendo más a nosotros? ¿Soy una máquina de fichas?
La evidencia sugiere que puede ser posible.
Cómo se desarrollaron los modelos lingüísticos
¿Cómo desarrolla un modelo de lenguaje rasgos característicos lo suficientemente fuertes como para que sea posible detectar qué versión del modelo generó el contenido?
Los modelos base entrenados exclusivamente en la predicción de tokens normalmente no tienen estos tics. Como se mencionó anteriormente, son un artefacto del entrenamiento de alineación: específicamente el postentrenamiento secundario usando SFT y RLHF.
Etapa 1: el ajuste fino supervisado (SFT) establece la distribución base
Antes de que se produzca cualquier optimización de preferencias, el modelo base pasa por un ajuste fino supervisado (SFT), donde se entrena para imitar un conjunto seleccionado de resultados de demostración, que incluyen respuestas escritas y editadas por humanos.
La función objetivo es:
LSFT(θ)=−𝔼(x,y)∼Ddemo[∑t=1Tlogπθ(yt|x,y<t)]L_{mathrm{SFT}}(theta) = -mathbb{E}_{(x,y)sim D_{mathrm{demo}}} left[ sum_{t=1}^{T} log pi_{theta}(y_t mid x, y_{
donde DdemoD_{demo} es el conjunto de datos de demostración. Simplemente entropía cruzada a nivel simbólico aplicada a demostraciones humanas.
El modelo está aprendiendo a reproducir la distribución condicional de tokens que se encuentra en DdemoD_{demo}, que es el detalle más importante de esta fase.
Este conjunto de datos está escrito o editado en gran medida por un grupo pequeño y no representativo de anotadores, que frecuentemente trabajan a partir de guías de estilo internas. Si ese grupo se inclina hacia escritores que buscan "profundizar" en lugar de "explorar". El modelo no está aprendiendo "escritura humana", está aprendiendo la escritura de ese grupo, en cualquier escala que se utilice DdemoD_{demo}.
Esto importa cuantitativamente, no sólo anecdóticamente.
Si Pdemo(“delve“)P_{demo}(“delve”) es incluso entre 5 y 10 veces la tasa base de “profundizar” en el texto web general, el entrenamiento de entropía cruzada empujará πθ(delve)pi_theta(delve) hacia pdemop_{demo}, no hacia la tasa del corpus de preentrenamiento.
SFT es un conjunto de datos pequeño (de miles a millones de ejemplos) en relación con el entrenamiento previo (billones de tokens), pero es lo último en lo que se entrena antes de la alineación.
Las próximas distribuciones de tokens son muy sensibles al ajuste de datos. Es el mismo mecanismo que permite que unos pocos miles de ejemplos de instrucciones cambien completamente el comportamiento de un modelo base.
Esto también podría explicar los nombres anteriores, ya que los nombres anteriores específicos están vinculados a diferentes modelos.
Si DdemoD_{demo} contuviera una gran cantidad de diálogos de ejemplo que involucraran personajes ficticios, el hábito o uso del anotador podría haber tenido un efecto mensurable en la masa de probabilidad de los nombres. No hay clasificación de preferencia para "Marcus Chen" es mejor que "Frank Smith". Teniendo esto en cuenta, supongo que SFT explica el misterioso nombre anterior.
Etapa 2: RLHF/RLAIF agudiza todo lo que sobrevivió a la OFV
Es posible que haya participado en este proceso mientras chateaba interactivamente con un LLM (el proveedor le pide que elija qué respuesta le gusta más).
A alto nivel, así es como funciona.
RLHF optimiza la siguiente función objetivo:
maxπθ𝔼x∼D,y∼πθ(⋅|x)[rϕ(x,y)]−βDKL[πθ(y|x)‖πref(y|x)]max_{pi_theta} ; mathbb{E}_{x sim D, , y sim pi_theta(cdot|x)} big[ r_phi(x, y) big] – beta , D_{KL}big[pi_theta(y|x) ,|, pi_{ref}(y|x)big]
El modelo se entrena con pares de preferencias humanas, donde el modelo de lenguaje genera múltiples respuestas candidatas (por ejemplo, yny_n) a las mismas indicaciones y un humano (u otro modelo de lenguaje) las clasifica.
La función de recompensa, rϕr_phi, se aprende mediante el modelo de preferencia de Bradley-Terry.
Dada la respuesta preferida ywy_w y respuesta rechazada yly_l:
P(yw≻yl|x)=σ(rϕ(x,yw)−rϕ(x,yl))P(y_w succ y_l mid x) = sigmaleft(r_phi(x,y_w)-r_phi(x,y_l)right)
La pérdida es la probabilidad logarítmica negativa:
ℒRM=−𝔼(x,yw,yl)∼D[logσ(rϕ(x,yw)−rϕ(x,yl))]mathcal{L}_{RM} = -mathbb{E}_{(x,y_w,y_l)sim D} left[ log sigma left( r_phi(x,y_w)-r_phi(x,y_l) right) right]
rϕr_phi recompensa la respuesta en la que se hizo clic, con la esperanza de que refleje la preferencia real del usuario.
El término KL evita que la política πθpi_theta (el nuevo modelo alineado) se aleje demasiado del modelo de referencia πrefpi_{ref} (un modelo congelado producido por el proceso de preentrenamiento).
En RLHF, la política se optimiza mediante la optimización de política próxima (PPO) estándar.
Muchos modelos de producción omiten el modelo de recompensa explícito y utilizan en su lugar la optimización de preferencias directas (DPO), que es una reparametrización de la maximización restringida de KL anterior.
A lo que esto se reduce es a:
El LLM genera respuestas candidatas a las indicaciones El evaluador humano selecciona cuál es mejor (bajo limitaciones de tiempo) La optimización aplica el gradiente de recompensa (como se especifica en la pérdida) al modelo de una manera que mantiene la tendencia original pero aumenta la probabilidad de respuestas "preferidas" (probabilidades simbólicas)
RLHF explica por qué los LLM se protegen, y no es un artefacto estilístico.
La cobertura es un artefacto de la política que sobrevive a la optimización cuando se analiza lo que rϕr_phi realmente puede recompensar.
Un evaluador que compara las respuestas de dos candidatos bajo presión de tiempo, sin una verdad fundamental con la que comparar, penaliza la equivocación segura de lo que premia la corrección segura. Una respuesta evasiva ("la evidencia sugiere X, aunque Y también es plausible") es más difícil de juzgar como incorrecta que una respuesta comprometida, incluso cuando la respuesta comprometida es correcta. La respuesta indirecta simplemente parece más correcta en comparación.
Los sesgos y tendencias estilísticas son de hecho un producto de estos procesos posteriores a la formación.
Concluyendo
Los patrones de este artículo son exactamente eso: patrones.
Señales estadísticas débiles que, cuando se combinan, pueden impulsar su confianza en un sentido u otro. No son huellas dactilares y ciertamente no son pruebas.
Los escritores técnicos se protegen y muchas personas han estado usando guiones em desde mucho antes de que existiera ChatGPT (incluido yo mismo, los extraño).
Ahora, conociendo algunos de estos tics, probablemente captará más y más contenido generado por LLM en la naturaleza. Pero rara vez estará seguro, y esa incertidumbre sólo aumentará a medida que los modelos sigan mejorando.
Quizás deberíamos hacernos una pregunta diferente:
¿Es realmente valioso lo que estoy leyendo?
Dato curioso: incluí (3) ejemplos escritos por humanos muy específicos sobre el descuido de la IA en este artículo a propósito. ¿Puedes encontrarlos todos? 🥚🔍
[1]Kobak, D., González-Márquez, R., Horvát, E.-Á., & Lause, J. (2024). Profundizando en el uso de ChatGPT en la escritura académica a través del exceso de vocabulario. Ciencia abierta. Preimpresión. https://doi.org/10.48550/arXiv.2406.07016
[2]Juzek, TS y Ward, ZB (2025). ¿Por qué ChatGPT “profundiza” tanto? Exploración de las fuentes de sobrerrepresentación léxica en modelos de lenguaje grandes. En Actas de la 31ª Conferencia Internacional sobre Lingüística Computacional (COLING 2025) (págs. 6397–6411). Asociación de Lingüística Computacional.
[3]Fraser, KC, Dawkins, H. y Kiritchenko, S. (2025). Detección de texto generado por IA: factores que influyen en la detectabilidad con los métodos actuales. Revista de Investigación en Inteligencia Artificial, 82, 2233-2278.
[4]Cheng A, Lin Y, Reedy G, Joseph C, Wirkowski S, Mallette V, Nagesh V, Krieser D, Calhoun A. (2025). Capacidad de las herramientas de detección de IA y de los humanos para identificar con precisión diferentes formas de contenido escrito generado por IA. Adv Simul (Londres). 22 de noviembre de 2025; 10 (1): 66. doi: 10.1186/s41077-025-00396-6. PMID: 41272826; PMCID: PMC12752165.
[5]Brzozowski, M. y Chung, Carolina del Norte (2026). La pareja fantasma: antecedentes de nombres de LLM correlacionados y su aparición en la Web y las publicaciones académicas. arXiv:2606.02184.
[6]Behrens, J. (2025). Nombres de IA. verhuhn.de.
https://www.seehuhn.de/blog/ai-names/