Ciencia de datos de éxito rápido
El Kit de herramientas de lenguaje natural (NLTK) Se envía con una característica divertida llamada diagrama de dispersión que te permite publicar la ubicación de una palabra en un texto. Más específicamente, traza las apariciones de una palabra versus la cantidad de palabras desde el comienzo del corpus.
Aquí hay un ejemplo de trama de dispersión para los personajes principales de la novela de Sherlock Holmes: El perro de los Baskerville:
Las marcas verticales azules representan las ubicaciones de las palabras objetivo en el texto. Cada fila cubre el corpus de principio a fin.
Si estás familiarizado con El perro de los Baskerville (y no lo estropearé si no lo es), entonces apreciará la escasa aparición de Holmes en el medio, el regreso tardío de Mortimer y la superposición de Barrymore, Selden y el perro.
Los gráficos de dispersión pueden tener aplicaciones más prácticas. Por ejemplo, imagina que eres un científico de datos que trabaja con asistentes legales en un caso penal relacionado con el uso de información privilegiada. Para saber si el acusado contactó a los miembros de la junta justo antes de realizar los intercambios ilegales, puede cargar los correos electrónicos citados del acusado como una cadena continua y generar un gráfico de dispersión para verificar las yuxtaposiciones de nombres.
Los científicos sociales analizan gráficos de dispersión para estudiar las tendencias lingüísticas relacionadas con temas específicos. Al rastrear la aparición de términos como “cambio climático” o “control de armas” en artículos de noticias, pueden obtener información sobre las prioridades que son importantes para la sociedad en períodos de tiempo específicos.
En esto Ciencia de datos de éxito rápido proyecto, escribiremos el código Python que generó El perro de los Baskerville diagrama de dispersión mostrado anteriormente.
Usaremos una copia de la novela almacenada en este Esencia. Originariamente vino de Proyecto Gutenberg, una gran fuente de literatura de dominio público. Como se recomienda para el procesamiento del lenguaje natural, lo he eliminado…