Traduzca el mismo pasaje a dos idiomas y los textos resultantes pueden usar números muy diferentes de palabras. Un idioma puede incluir tiempo, número, dirección o información social dentro de una palabra, mientras que otro usa varias palabras separadas. El significado no ha desaparecido, pero su envoltorio ha cambiado.
Pedro Aceves de la Universidad Johns Hopkins y James A. Evans de la Universidad de Chicago preguntaron si ese envoltorio está asociado con la forma en que se desarrolla la comunicación. Su estudio, publicado en Nature Human Behavior en febrero de 2024, estimó la densidad de información a nivel de palabras en 998 idiomas de 101 familias lingüísticas.
Los idiomas más densos tendieron a entregar material hablado coincidente más rápidamente. En un conjunto de datos separado de conversaciones naturales en 14 idiomas, sus hablantes también tendieron a viajar a través de una región más estrecha de significado mapeado computacionalmente, permaneciendo más cerca del tema inicial y haciendo movimientos conceptuales más pequeños entre turnos.
Este es un estudio, no un consenso establecido. La frase “aproximadamente 1.000 idiomas” se aplica al primer análisis de densidad, no a todas las pruebas posteriores. La velocidad de comunicación se evaluó en 265 idiomas, conversaciones reales en 14 y artículos de Wikipedia en 140. El diseño encontró asociaciones y no puede mostrar que la estructura del idioma haya causado que algún grupo discuta temas de manera diferente.
Los investigadores necesitaban traducciones del mismo material.
Comparar recuentos de palabras en bruto de textos no relacionados no tendría mucho sentido. Una sentencia judicial en un idioma y un cuento para niños en otro difieren en contenido antes de que la estructura del lenguaje entre en escena. Aceves y Evans, en cambio, reunieron corpus paralelos, colecciones en las que el mismo material subyacente había sido traducido a varios idiomas.
Las fuentes incluían Biblias y Nuevos Testamentos completos, comentarios de noticias, subtítulos de películas, charlas TED, documentos de las Naciones Unidas y la Unión Europea, material médico y bancario, archivos de localización de software y oraciones de ejemplo para estudiantes de idiomas. La cobertura fue desigual. El corpus del Nuevo Testamento contenía 828 idiomas, mientras que muchas colecciones institucionales contenían sólo unas pocas docenas.
En todas las fuentes, el artículo revisado por pares incluyó 998 idiomas en 101 familias. Los investigadores informaron que las estimaciones de densidad estaban correlacionadas entre tipos de documentos muy diferentes, lo que sugiere que la medida no era únicamente una característica de un tema. Aún así, la traducción de la Biblia aportó gran parte del extraordinario alcance lingüístico del estudio.
“Información por palabra” fue una medida de compresión
El equipo contó la frecuencia con la que aparecía cada palabra en cada traducción y luego utilizó la codificación Huffman para construir un código binario eficiente para esa distribución de frecuencia. Las palabras comunes reciben códigos más cortos y las palabras raras, más largos. Agregar esos códigos en un documento produce su tamaño comprimido en bits.
Debido a que las traducciones dentro de un corpus estaban destinadas a transmitir el mismo material fuente, un idioma cuyo documento codificado requería menos bits se trataba como más denso en términos de información. Cada traducción se expresó en relación con la versión en inglés del mismo texto.
Esto es más específico que la frase cotidiana “encierra más significado en cada palabra”. Los investigadores no preguntaron a los lectores cuánto significado extraían conscientemente de palabras individuales. Su medida depende de los corpus escritos traducidos, los límites de las palabras, la tokenización y los patrones de frecuencia. Una “palabra” no es igualmente fácil de definir en todas las estructuras lingüísticas.
Los autores compararon su medida de densidad con otras descripciones de complejidad morfológica, fusión e informatividad gramatical. Las correlaciones fueron modestas, lo que sugiere que capturaron algo relacionado con, pero no idéntico, cuántos prefijos, sufijos o distinciones obligatorias utiliza un idioma.
Los sistemas de palabras densos también formaron mapas de significado más densos.
El siguiente paso utilizó incrustaciones de palabras. Estos modelos representan cada palabra como un punto en un espacio multidimensional basado en la compañía que mantiene. Las palabras que aparecen en contextos similares se colocan más juntas. El método no comprende conceptos como lo hace una persona, pero puede medir asociaciones semánticas recurrentes en un corpus.
Aceves y Evans entrenaron espacios de incrustación separados para los textos paralelos. Los idiomas con mayor densidad de información también tendieron a tener palabras ubicadas más juntas en promedio. Los autores llamaron a esto densidad semántica.
Esa relación proporciona el vínculo propuesto para la conversación. Si las palabras se ubican en medio de asociaciones más cercanas, los hablantes pueden abordar el tema actual desde varias direcciones relacionadas sin dar un gran salto a un tema nuevo. Esta es una interpretación del modelo, no un registro directo de lo que pensaban los oradores.
Se probó una comunicación más rápida con 265 Biblias en audio
Para estudiar la velocidad, los investigadores necesitaban versiones habladas de contenido comparable. Recopilaron la duración total de las grabaciones de la Biblia en audio en 265 idiomas de 51 familias lingüísticas. Los idiomas más densos tendían a tardar menos en entregar el material correspondiente.
El hallazgo se ajusta a la evidencia anterior de que las lenguas pueden equilibrar la densidad de sus unidades con el ritmo al que se hablan esas unidades. ScienceBlog cubrió anteriormente un estudio en 17 idiomas que informaba tasas de transmisión de información similares a pesar de diferentes velocidades de sílabas. El nuevo estudio trabaja a nivel de palabras y amplía la comparación a muchas más grabaciones.
Su escala conlleva una compensación. El análisis de velocidad tuvo un valor de duración por idioma. Una Biblia en audio es una presentación larga y leída cuidadosamente, no una conversación espontánea. Los narradores difieren en cadencia, dialecto y elecciones de producción, y una sola grabación no puede describir la distribución de los estilos de habla dentro de un idioma. El resultado se interpreta mejor como una entrega más breve de un género coincidente, no como una prueba de que todos los hablantes de una lengua densa hablan más rápido.
La amplitud de la conversación se midió en sólo 14 idiomas
La evidencia conversacional provino del programa Babel de IARPA, que recopiló el habla natural para la investigación de tecnología del lenguaje. El estudio utilizó miles de conversaciones en amárico, bengalí, cebuano, georgiano, guaraní, igbo, kazajo, lituano, tagalo, tamil, telugu, turco, vietnamita y zulú. Juntos representaban ocho familias lingüísticas.
Se trata de interacciones reales registradas en hogares, oficinas, calles, vehículos y lugares públicos, con una media de 78 vueltas. Los investigadores convirtieron cada transcripción en una nube de vectores de palabras utilizando modelos fastText previamente entrenados basados en la Wikipedia del idioma correspondiente.
Calcularon la amplitud de varias maneras. Una medida preguntó qué tan ampliamente se difundían las palabras únicas de la conversación alrededor de su centro semántico. Otro comparó las primeras declaraciones con las últimas para estimar hasta dónde llegó la discusión. Un tercero midió la distancia semántica promedio entre turnos consecutivos.
En todas estas medidas, los idiomas más densos se asociaron con conversaciones más estrechas. El final se mantuvo más cerca del principio y cada giro hizo un movimiento más pequeño a través del espacio conceptual modelado. Los autores interpretaron esto como una tendencia a explorar un tema más profundamente antes de cambiar de tema.
“Menos terreno” describe la geometría en un modelo
El estudio no pidió a jueces bilingües que calificaran si cada intercambio se sentía amplio, enfocado, revelador o repetitivo. “Tierra” significaba distancia entre vectores. La “profundidad” se dedujo de permanecer dentro de un vecindario más denso de conceptos relacionados.
Esa distinción impide una clasificación fácil pero sin fundamento. Más limitado no significa más pobre, más aburrido o menos creativo. Una discusión puede permanecer cercana a un tema y al mismo tiempo presentar evidencia, calificaciones y perspectivas contrapuestas. Por el contrario, una ruta semántica amplia puede reflejar una síntesis productiva, un cambio casual de tema o una simple distracción. La métrica no puede distinguir esas posibilidades por sí sola.
Los modelos de integración añaden otra capa de dependencia. Fueron capacitados en Wikipedia, cuyo tamaño, comunidad editorial y cobertura difieren enormemente entre idiomas. Es posible que los significados y las relaciones de las palabras aprendidas en una enciclopedia no representen perfectamente cómo funcionan las mismas palabras en una conversación hogareña o en la calle.
Wikipedia reprodujo el patrón en una escala diferente.
Como comparación final, los investigadores tomaron muestras de más de 95.000 artículos de Wikipedia en 140 idiomas. Midieron la distancia semántica promedio entre pares de palabras en cada artículo, ajustándola nuevamente por la densidad del espacio conceptual del lenguaje.
Los artículos en lenguajes más densos tendían a cubrir un terreno conceptual más limitado. Esto se hizo eco del resultado de la conversación en un conjunto más amplio de lenguajes y una forma diferente de comunicación colectiva.
No es una replicación limpia. Las ediciones de Wikipedia son instituciones sociales separadas. Se diferencian en el número de colaboradores, normas editoriales, selección de temas, extensión de los artículos, prácticas de traducción y disponibilidad de fuentes. Esos factores pueden dar forma al vocabulario de un artículo independientemente de la gramática o la densidad de la información.
El estudio no puede separar la lengua de las circunstancias de sus hablantes.
Las lenguas se heredan a través de historias de migración, contacto, cambios de población y prácticas culturales. No se asignan aleatoriamente a grupos que por lo demás son idénticos. Una asociación entre densidad lingüística y movimiento conversacional podría reflejar la estructura del lenguaje, convenciones culturales compartidas, circunstancias de registro o alguna combinación.
Los modelos tuvieron en cuenta la familia lingüística y probaron controles que incluyen el tamaño de la población, el clima, la morfología y algunas variables culturales. Pero no había medidas culturales disponibles para cada idioma de conversación y ningún control estadístico puede garantizar que una comparación observacional haya eliminado todas las diferencias significativas.
Los autores lo dicen directamente en sus limitaciones: su diseño no permite afirmaciones causales. En experimentos controlados se podría pedir a hablantes bilingües que completaran la misma tarea de discusión en diferentes idiomas. La investigación etnográfica podría examinar cómo funciona el movimiento de temas en entornos ordinarios en extremos opuestos del rango de densidad estimado. Ambos probarían si la asociación computacional sobrevive cuando el contenido y el contexto reciben más atención.
Por tanto, el estudio ofrece un patrón amplio, no una regla determinista. En 998 idiomas, las palabras parecen empaquetar información coincidente en diferentes densidades. En los conjuntos de datos más pequeños disponibles para el habla y la conversación, esa densidad rastreaba la rapidez con la que se entregaba el material y hasta qué punto avanzaba la discusión a través de un modelo de significado. La posibilidad intrigante es que la estructura del lenguaje ayude a dar forma a la ruta de la conversación. Hasta el momento, la evidencia no puede decir qué parte de la ruta elige el propio lenguaje.