with open ("Desktop/archivos/UNA_SOLITARIA_VOZ_HUMANA.txt", encoding='utf-8') as archivo:
data = archivo.read()
print(data) #Leer el archivo
UNA SOLITARIA VOZ HUMANA No sé de qué hablar… ¿De la muerte o del amor? ¿O es lo mismo? ¿De qué? Nos habíamos casado no hacía mucho. Aún íbamos por la calle agarrados de la mano, hasta cuando íbamos de compras. Siempre juntos. Yo le decía: «Te quiero». Pero aún no sabía cuánto le quería. Ni me lo imaginaba… Vivíamos en la residencia de la unidad de bomberos, donde él trabajaba. En el piso de arriba. Junto a otras tres familias jóvenes, con una sola cocina para todos. Y en el bajo estaban los coches. Unos camiones de bomberos rojos. Este era su trabajo. Yo siempre estaba al corriente: dónde se encontraba, qué le pasaba… En mitad de la noche oí un ruido. Gritos. Miré por la ventana. Él me vio: —Cierra las ventanillas y acuéstate. Hay un incendio en la central. Volveré pronto. No vi la explosión. Solo las llamas. Todo parecía iluminado. El cielo entero… Unas llamas altas. Y hollín. Un calor horroroso. Y él seguía sin regresar. El hollín se debía a que ardía el alquitrán; el techo de la central estaba cubierto de asfalto. Sobre el que la gente andaba, como él después recordaría, como si fuera resina. Sofocaban las llamas y él, mientras, reptaba. Subía hacia el reactor. Tiraban el grafito ardiente con los pies… Acudieron allí sin los trajes de lona; se fueron para allá tal como iban, en camisa. Nadie les advirtió; era un aviso de un incendio normal. Las cuatro… Las cinco… Las seis… A las seis teníamos la intención de ir a ver a sus padres. Para plantar patatas. Desde la ciudad de Prípiat hasta la aldea de Sperizhie, donde vivían sus padres, hay 40 kilómetros. Íbamos a sembrar, a arar. Era su trabajo favorito… Su madre recordaba a menudo que ni ella ni su padre querían dejarlo marchar a la ciudad; incluso le construyeron una casa nueva. Pero se lo llevaron al ejército. Sirvió en Moscú, en las tropas de bomberos, y cuando regresó, solo quería ser bombero. Ninguna otra cosa. [ Calla .] A veces me parece oír su voz… Oírle vivo… Ni siquiera las fotografías me producen tanto efecto como la voz. Pero nunca me llama… Ni en sueños… Soy yo quien lo llama a él… Las siete… A las siete me comunicaron que estaba en el hospital. Corrí hacia allí, pero el hospital ya estaba acordonado por la milicia; no dejaban pasar a nadie. Solo entraban las ambulancias. Los milicianos gritaban: «Los coches están irradiados, no os acerquéis». No sólo yo, vinieron todas las mujeres, todas cuyos maridos habían estado aquella noche en la central. Corrí en busca de una conocida que trabajaba como médico en aquel hospital. La agarré de la bata cuando salía de un coche: —¡Déjame pasar! —¡No puedo! Está mal. Todos están mal. Yo la tenía agarrada: —Solo quiero verlo. —Bueno —me dice—, corre. Quince o veinte minutos. Lo vi… Estaba hinchado, todo inflamado… Casi no tenía ojos… —¡Leche! ¡Mucha leche! —me dijo mi conocida—. Que beba al menos tres litros. —Él no toma leche. —Pues ahora la tendrá que beber. Muchos médicos, enfermeras y, especialmente, las auxiliares de aquel hospital, al cabo de un tiempo, se pondrían enfermas. Morirían… Pero entonces nadie lo sabía. A las diez de la mañana murió el técnico Shishenok. Fue el primero… El primer día… Luego supimos que, bajo los escombros, se había quedado otro… Valera Jodemchuk. No lograron sacarlo. Lo emparedaron con el hormigón. Pero entonces aún no sabíamos que todos ellos serían solo los primeros… Le pregunto: —Vasia [3] , ¿qué hago? —¡Vete de aquí! ¡Vete! Estás esperando un niño. —Estoy embarazada, es cierto. Pero ¿cómo lo voy a dejar? Él me pide: —¡Vete! ¡Salva al crío! —Primero te tengo que traer leche, y luego ya veremos. Llega mi amiga Tania Kibenok. Su marido está en la misma sala. Ha venido con su padre, que tiene coche. Nos subimos al coche y vamos a la aldea más cercana a por leche. A unos tres kilómetros de la ciudad. Compramos muchas garrafas de tres litros de leche. Seis, para que hubiera para todos. Pero la leche les provocaba unos vómitos terribles. Perdían el sentido sin parar y les pusieron el gota a gota. Los médicos nos aseguraban, no sé por qué, que se habían envenenado con los gases, nadie hablaba de la radiación. Entretanto, la ciudad se llenó de vehículos militares, se cerraron todas las carreteras… Se veían soldados por todas partes. Dejaron de circular los trenes de cercanías, los expresos… Lavaban las calles con un polvo blanco… Me alarmé: ¿cómo iba a conseguir llegar al pueblo al día siguiente para comprarle leche fresca? Nadie hablaba de la radiación… Solo los militares iban con caretas. La gente de la ciudad llevaba su pan de las tiendas, las bolsas abiertas con los bollos. En los estantes había pasteles… La vida seguía como de costumbre. Solo… lavaban las calles con un polvo… Por la noche no me dejaron entrar en el hospital… Había un mar de gente en los alrededores. Yo estaba frente a su ventana; él se acercó a ella y me gritó algo. ¡Se le veía tan desesperado! Entre la muchedumbre, alguien entendió lo que decía: que aquella noche se los llevaban a Moscú. Todas las esposas nos arremolinamos en un corro. Y decidimos: nos vamos con ellos. ¡Dejadnos estar con nuestros maridos! ¡No tenéis derecho! Quisimos abrirnos paso a golpes, a arañazos. Los soldados…, los soldados ya habían formado un doble cordón y nos impedían pasar a empujones. Entonces salió el médico y nos confirmó que se los llevaban aquella misma noche en avión a Moscú; que debíamos traerles ropa; la que llevaban en la central se había quemado. Los autobuses ya no funcionaban, y fuimos a pie, corriendo, a casa. Cuando volvimos con las bolsas, el avión ya se había marchado… Nos engañaron a propósito. Para que no gritáramos, ni lloráramos… ————— Fragmento de Voces de Chernóbil Por Svetlana Alexievich
#Convertir a minúsculas
import re
texto_min = data.lower()
print(texto_min)
una solitaria voz humana no sé de qué hablar… ¿de la muerte o del amor? ¿o es lo mismo? ¿de qué? nos habíamos casado no hacía mucho. aún íbamos por la calle agarrados de la mano, hasta cuando íbamos de compras. siempre juntos. yo le decía: «te quiero». pero aún no sabía cuánto le quería. ni me lo imaginaba… vivíamos en la residencia de la unidad de bomberos, donde él trabajaba. en el piso de arriba. junto a otras tres familias jóvenes, con una sola cocina para todos. y en el bajo estaban los coches. unos camiones de bomberos rojos. este era su trabajo. yo siempre estaba al corriente: dónde se encontraba, qué le pasaba… en mitad de la noche oí un ruido. gritos. miré por la ventana. él me vio: —cierra las ventanillas y acuéstate. hay un incendio en la central. volveré pronto. no vi la explosión. solo las llamas. todo parecía iluminado. el cielo entero… unas llamas altas. y hollín. un calor horroroso. y él seguía sin regresar. el hollín se debía a que ardía el alquitrán; el techo de la central estaba cubierto de asfalto. sobre el que la gente andaba, como él después recordaría, como si fuera resina. sofocaban las llamas y él, mientras, reptaba. subía hacia el reactor. tiraban el grafito ardiente con los pies… acudieron allí sin los trajes de lona; se fueron para allá tal como iban, en camisa. nadie les advirtió; era un aviso de un incendio normal. las cuatro… las cinco… las seis… a las seis teníamos la intención de ir a ver a sus padres. para plantar patatas. desde la ciudad de prípiat hasta la aldea de sperizhie, donde vivían sus padres, hay 40 kilómetros. íbamos a sembrar, a arar. era su trabajo favorito… su madre recordaba a menudo que ni ella ni su padre querían dejarlo marchar a la ciudad; incluso le construyeron una casa nueva. pero se lo llevaron al ejército. sirvió en moscú, en las tropas de bomberos, y cuando regresó, solo quería ser bombero. ninguna otra cosa. [ calla .] a veces me parece oír su voz… oírle vivo… ni siquiera las fotografías me producen tanto efecto como la voz. pero nunca me llama… ni en sueños… soy yo quien lo llama a él… las siete… a las siete me comunicaron que estaba en el hospital. corrí hacia allí, pero el hospital ya estaba acordonado por la milicia; no dejaban pasar a nadie. solo entraban las ambulancias. los milicianos gritaban: «los coches están irradiados, no os acerquéis». no sólo yo, vinieron todas las mujeres, todas cuyos maridos habían estado aquella noche en la central. corrí en busca de una conocida que trabajaba como médico en aquel hospital. la agarré de la bata cuando salía de un coche: —¡déjame pasar! —¡no puedo! está mal. todos están mal. yo la tenía agarrada: —solo quiero verlo. —bueno —me dice—, corre. quince o veinte minutos. lo vi… estaba hinchado, todo inflamado… casi no tenía ojos… —¡leche! ¡mucha leche! —me dijo mi conocida—. que beba al menos tres litros. —él no toma leche. —pues ahora la tendrá que beber. muchos médicos, enfermeras y, especialmente, las auxiliares de aquel hospital, al cabo de un tiempo, se pondrían enfermas. morirían… pero entonces nadie lo sabía. a las diez de la mañana murió el técnico shishenok. fue el primero… el primer día… luego supimos que, bajo los escombros, se había quedado otro… valera jodemchuk. no lograron sacarlo. lo emparedaron con el hormigón. pero entonces aún no sabíamos que todos ellos serían solo los primeros… le pregunto: —vasia [3] , ¿qué hago? —¡vete de aquí! ¡vete! estás esperando un niño. —estoy embarazada, es cierto. pero ¿cómo lo voy a dejar? él me pide: —¡vete! ¡salva al crío! —primero te tengo que traer leche, y luego ya veremos. llega mi amiga tania kibenok. su marido está en la misma sala. ha venido con su padre, que tiene coche. nos subimos al coche y vamos a la aldea más cercana a por leche. a unos tres kilómetros de la ciudad. compramos muchas garrafas de tres litros de leche. seis, para que hubiera para todos. pero la leche les provocaba unos vómitos terribles. perdían el sentido sin parar y les pusieron el gota a gota. los médicos nos aseguraban, no sé por qué, que se habían envenenado con los gases, nadie hablaba de la radiación. entretanto, la ciudad se llenó de vehículos militares, se cerraron todas las carreteras… se veían soldados por todas partes. dejaron de circular los trenes de cercanías, los expresos… lavaban las calles con un polvo blanco… me alarmé: ¿cómo iba a conseguir llegar al pueblo al día siguiente para comprarle leche fresca? nadie hablaba de la radiación… solo los militares iban con caretas. la gente de la ciudad llevaba su pan de las tiendas, las bolsas abiertas con los bollos. en los estantes había pasteles… la vida seguía como de costumbre. solo… lavaban las calles con un polvo… por la noche no me dejaron entrar en el hospital… había un mar de gente en los alrededores. yo estaba frente a su ventana; él se acercó a ella y me gritó algo. ¡se le veía tan desesperado! entre la muchedumbre, alguien entendió lo que decía: que aquella noche se los llevaban a moscú. todas las esposas nos arremolinamos en un corro. y decidimos: nos vamos con ellos. ¡dejadnos estar con nuestros maridos! ¡no tenéis derecho! quisimos abrirnos paso a golpes, a arañazos. los soldados…, los soldados ya habían formado un doble cordón y nos impedían pasar a empujones. entonces salió el médico y nos confirmó que se los llevaban aquella misma noche en avión a moscú; que debíamos traerles ropa; la que llevaban en la central se había quemado. los autobuses ya no funcionaban, y fuimos a pie, corriendo, a casa. cuando volvimos con las bolsas, el avión ya se había marchado… nos engañaron a propósito. para que no gritáramos, ni lloráramos… ————— fragmento de voces de chernóbil por svetlana alexievich
#Dejar solo palabras
solo_texto = re.sub(r"[\W\d_]+", " ", texto_min)
print(solo_texto)
una solitaria voz humana no sé de qué hablar de la muerte o del amor o es lo mismo de qué nos habíamos casado no hacía mucho aún íbamos por la calle agarrados de la mano hasta cuando íbamos de compras siempre juntos yo le decía te quiero pero aún no sabía cuánto le quería ni me lo imaginaba vivíamos en la residencia de la unidad de bomberos donde él trabajaba en el piso de arriba junto a otras tres familias jóvenes con una sola cocina para todos y en el bajo estaban los coches unos camiones de bomberos rojos este era su trabajo yo siempre estaba al corriente dónde se encontraba qué le pasaba en mitad de la noche oí un ruido gritos miré por la ventana él me vio cierra las ventanillas y acuéstate hay un incendio en la central volveré pronto no vi la explosión solo las llamas todo parecía iluminado el cielo entero unas llamas altas y hollín un calor horroroso y él seguía sin regresar el hollín se debía a que ardía el alquitrán el techo de la central estaba cubierto de asfalto sobre el que la gente andaba como él después recordaría como si fuera resina sofocaban las llamas y él mientras reptaba subía hacia el reactor tiraban el grafito ardiente con los pies acudieron allí sin los trajes de lona se fueron para allá tal como iban en camisa nadie les advirtió era un aviso de un incendio normal las cuatro las cinco las seis a las seis teníamos la intención de ir a ver a sus padres para plantar patatas desde la ciudad de prípiat hasta la aldea de sperizhie donde vivían sus padres hay kilómetros íbamos a sembrar a arar era su trabajo favorito su madre recordaba a menudo que ni ella ni su padre querían dejarlo marchar a la ciudad incluso le construyeron una casa nueva pero se lo llevaron al ejército sirvió en moscú en las tropas de bomberos y cuando regresó solo quería ser bombero ninguna otra cosa calla a veces me parece oír su voz oírle vivo ni siquiera las fotografías me producen tanto efecto como la voz pero nunca me llama ni en sueños soy yo quien lo llama a él las siete a las siete me comunicaron que estaba en el hospital corrí hacia allí pero el hospital ya estaba acordonado por la milicia no dejaban pasar a nadie solo entraban las ambulancias los milicianos gritaban los coches están irradiados no os acerquéis no sólo yo vinieron todas las mujeres todas cuyos maridos habían estado aquella noche en la central corrí en busca de una conocida que trabajaba como médico en aquel hospital la agarré de la bata cuando salía de un coche déjame pasar no puedo está mal todos están mal yo la tenía agarrada solo quiero verlo bueno me dice corre quince o veinte minutos lo vi estaba hinchado todo inflamado casi no tenía ojos leche mucha leche me dijo mi conocida que beba al menos tres litros él no toma leche pues ahora la tendrá que beber muchos médicos enfermeras y especialmente las auxiliares de aquel hospital al cabo de un tiempo se pondrían enfermas morirían pero entonces nadie lo sabía a las diez de la mañana murió el técnico shishenok fue el primero el primer día luego supimos que bajo los escombros se había quedado otro valera jodemchuk no lograron sacarlo lo emparedaron con el hormigón pero entonces aún no sabíamos que todos ellos serían solo los primeros le pregunto vasia qué hago vete de aquí vete estás esperando un niño estoy embarazada es cierto pero cómo lo voy a dejar él me pide vete salva al crío primero te tengo que traer leche y luego ya veremos llega mi amiga tania kibenok su marido está en la misma sala ha venido con su padre que tiene coche nos subimos al coche y vamos a la aldea más cercana a por leche a unos tres kilómetros de la ciudad compramos muchas garrafas de tres litros de leche seis para que hubiera para todos pero la leche les provocaba unos vómitos terribles perdían el sentido sin parar y les pusieron el gota a gota los médicos nos aseguraban no sé por qué que se habían envenenado con los gases nadie hablaba de la radiación entretanto la ciudad se llenó de vehículos militares se cerraron todas las carreteras se veían soldados por todas partes dejaron de circular los trenes de cercanías los expresos lavaban las calles con un polvo blanco me alarmé cómo iba a conseguir llegar al pueblo al día siguiente para comprarle leche fresca nadie hablaba de la radiación solo los militares iban con caretas la gente de la ciudad llevaba su pan de las tiendas las bolsas abiertas con los bollos en los estantes había pasteles la vida seguía como de costumbre solo lavaban las calles con un polvo por la noche no me dejaron entrar en el hospital había un mar de gente en los alrededores yo estaba frente a su ventana él se acercó a ella y me gritó algo se le veía tan desesperado entre la muchedumbre alguien entendió lo que decía que aquella noche se los llevaban a moscú todas las esposas nos arremolinamos en un corro y decidimos nos vamos con ellos dejadnos estar con nuestros maridos no tenéis derecho quisimos abrirnos paso a golpes a arañazos los soldados los soldados ya habían formado un doble cordón y nos impedían pasar a empujones entonces salió el médico y nos confirmó que se los llevaban aquella misma noche en avión a moscú que debíamos traerles ropa la que llevaban en la central se había quemado los autobuses ya no funcionaban y fuimos a pie corriendo a casa cuando volvimos con las bolsas el avión ya se había marchado nos engañaron a propósito para que no gritáramos ni lloráramos fragmento de voces de chernóbil por svetlana alexievich
# Resultado tokenizado
tokenizado = solo_texto.split()
tokenizado
['una', 'solitaria', 'voz', 'humana', 'no', 'sé', 'de', 'qué', 'hablar', 'de', 'la', 'muerte', 'o', 'del', 'amor', 'o', 'es', 'lo', 'mismo', 'de', 'qué', 'nos', 'habíamos', 'casado', 'no', 'hacía', 'mucho', 'aún', 'íbamos', 'por', 'la', 'calle', 'agarrados', 'de', 'la', 'mano', 'hasta', 'cuando', 'íbamos', 'de', 'compras', 'siempre', 'juntos', 'yo', 'le', 'decía', 'te', 'quiero', 'pero', 'aún', 'no', 'sabía', 'cuánto', 'le', 'quería', 'ni', 'me', 'lo', 'imaginaba', 'vivíamos', 'en', 'la', 'residencia', 'de', 'la', 'unidad', 'de', 'bomberos', 'donde', 'él', 'trabajaba', 'en', 'el', 'piso', 'de', 'arriba', 'junto', 'a', 'otras', 'tres', 'familias', 'jóvenes', 'con', 'una', 'sola', 'cocina', 'para', 'todos', 'y', 'en', 'el', 'bajo', 'estaban', 'los', 'coches', 'unos', 'camiones', 'de', 'bomberos', 'rojos', 'este', 'era', 'su', 'trabajo', 'yo', 'siempre', 'estaba', 'al', 'corriente', 'dónde', 'se', 'encontraba', 'qué', 'le', 'pasaba', 'en', 'mitad', 'de', 'la', 'noche', 'oí', 'un', 'ruido', 'gritos', 'miré', 'por', 'la', 'ventana', 'él', 'me', 'vio', 'cierra', 'las', 'ventanillas', 'y', 'acuéstate', 'hay', 'un', 'incendio', 'en', 'la', 'central', 'volveré', 'pronto', 'no', 'vi', 'la', 'explosión', 'solo', 'las', 'llamas', 'todo', 'parecía', 'iluminado', 'el', 'cielo', 'entero', 'unas', 'llamas', 'altas', 'y', 'hollín', 'un', 'calor', 'horroroso', 'y', 'él', 'seguía', 'sin', 'regresar', 'el', 'hollín', 'se', 'debía', 'a', 'que', 'ardía', 'el', 'alquitrán', 'el', 'techo', 'de', 'la', 'central', 'estaba', 'cubierto', 'de', 'asfalto', 'sobre', 'el', 'que', 'la', 'gente', 'andaba', 'como', 'él', 'después', 'recordaría', 'como', 'si', 'fuera', 'resina', 'sofocaban', 'las', 'llamas', 'y', 'él', 'mientras', 'reptaba', 'subía', 'hacia', 'el', 'reactor', 'tiraban', 'el', 'grafito', 'ardiente', 'con', 'los', 'pies', 'acudieron', 'allí', 'sin', 'los', 'trajes', 'de', 'lona', 'se', 'fueron', 'para', 'allá', 'tal', 'como', 'iban', 'en', 'camisa', 'nadie', 'les', 'advirtió', 'era', 'un', 'aviso', 'de', 'un', 'incendio', 'normal', 'las', 'cuatro', 'las', 'cinco', 'las', 'seis', 'a', 'las', 'seis', 'teníamos', 'la', 'intención', 'de', 'ir', 'a', 'ver', 'a', 'sus', 'padres', 'para', 'plantar', 'patatas', 'desde', 'la', 'ciudad', 'de', 'prípiat', 'hasta', 'la', 'aldea', 'de', 'sperizhie', 'donde', 'vivían', 'sus', 'padres', 'hay', 'kilómetros', 'íbamos', 'a', 'sembrar', 'a', 'arar', 'era', 'su', 'trabajo', 'favorito', 'su', 'madre', 'recordaba', 'a', 'menudo', 'que', 'ni', 'ella', 'ni', 'su', 'padre', 'querían', 'dejarlo', 'marchar', 'a', 'la', 'ciudad', 'incluso', 'le', 'construyeron', 'una', 'casa', 'nueva', 'pero', 'se', 'lo', 'llevaron', 'al', 'ejército', 'sirvió', 'en', 'moscú', 'en', 'las', 'tropas', 'de', 'bomberos', 'y', 'cuando', 'regresó', 'solo', 'quería', 'ser', 'bombero', 'ninguna', 'otra', 'cosa', 'calla', 'a', 'veces', 'me', 'parece', 'oír', 'su', 'voz', 'oírle', 'vivo', 'ni', 'siquiera', 'las', 'fotografías', 'me', 'producen', 'tanto', 'efecto', 'como', 'la', 'voz', 'pero', 'nunca', 'me', 'llama', 'ni', 'en', 'sueños', 'soy', 'yo', 'quien', 'lo', 'llama', 'a', 'él', 'las', 'siete', 'a', 'las', 'siete', 'me', 'comunicaron', 'que', 'estaba', 'en', 'el', 'hospital', 'corrí', 'hacia', 'allí', 'pero', 'el', 'hospital', 'ya', 'estaba', 'acordonado', 'por', 'la', 'milicia', 'no', 'dejaban', 'pasar', 'a', 'nadie', 'solo', 'entraban', 'las', 'ambulancias', 'los', 'milicianos', 'gritaban', 'los', 'coches', 'están', 'irradiados', 'no', 'os', 'acerquéis', 'no', 'sólo', 'yo', 'vinieron', 'todas', 'las', 'mujeres', 'todas', 'cuyos', 'maridos', 'habían', 'estado', 'aquella', 'noche', 'en', 'la', 'central', 'corrí', 'en', 'busca', 'de', 'una', 'conocida', 'que', 'trabajaba', 'como', 'médico', 'en', 'aquel', 'hospital', 'la', 'agarré', 'de', 'la', 'bata', 'cuando', 'salía', 'de', 'un', 'coche', 'déjame', 'pasar', 'no', 'puedo', 'está', 'mal', 'todos', 'están', 'mal', 'yo', 'la', 'tenía', 'agarrada', 'solo', 'quiero', 'verlo', 'bueno', 'me', 'dice', 'corre', 'quince', 'o', 'veinte', 'minutos', 'lo', 'vi', 'estaba', 'hinchado', 'todo', 'inflamado', 'casi', 'no', 'tenía', 'ojos', 'leche', 'mucha', 'leche', 'me', 'dijo', 'mi', 'conocida', 'que', 'beba', 'al', 'menos', 'tres', 'litros', 'él', 'no', 'toma', 'leche', 'pues', 'ahora', 'la', 'tendrá', 'que', 'beber', 'muchos', 'médicos', 'enfermeras', 'y', 'especialmente', 'las', 'auxiliares', 'de', 'aquel', 'hospital', 'al', 'cabo', 'de', 'un', 'tiempo', 'se', 'pondrían', 'enfermas', 'morirían', 'pero', 'entonces', 'nadie', 'lo', 'sabía', 'a', 'las', 'diez', 'de', 'la', 'mañana', 'murió', 'el', 'técnico', 'shishenok', 'fue', 'el', 'primero', 'el', 'primer', 'día', 'luego', 'supimos', 'que', 'bajo', 'los', 'escombros', 'se', 'había', 'quedado', 'otro', 'valera', 'jodemchuk', 'no', 'lograron', 'sacarlo', 'lo', 'emparedaron', 'con', 'el', 'hormigón', 'pero', 'entonces', 'aún', 'no', 'sabíamos', 'que', 'todos', 'ellos', 'serían', 'solo', 'los', 'primeros', 'le', 'pregunto', 'vasia', 'qué', 'hago', 'vete', 'de', 'aquí', 'vete', 'estás', 'esperando', 'un', 'niño', 'estoy', 'embarazada', 'es', 'cierto', 'pero', 'cómo', 'lo', 'voy', 'a', 'dejar', 'él', 'me', 'pide', 'vete', 'salva', 'al', 'crío', 'primero', 'te', 'tengo', 'que', 'traer', 'leche', 'y', 'luego', 'ya', 'veremos', 'llega', 'mi', 'amiga', 'tania', 'kibenok', 'su', 'marido', 'está', 'en', 'la', 'misma', 'sala', 'ha', 'venido', 'con', 'su', 'padre', 'que', 'tiene', 'coche', 'nos', 'subimos', 'al', 'coche', 'y', 'vamos', 'a', 'la', 'aldea', 'más', 'cercana', 'a', 'por', 'leche', 'a', 'unos', 'tres', 'kilómetros', 'de', 'la', 'ciudad', 'compramos', 'muchas', 'garrafas', 'de', 'tres', 'litros', 'de', 'leche', 'seis', 'para', 'que', 'hubiera', 'para', 'todos', 'pero', 'la', 'leche', 'les', 'provocaba', 'unos', 'vómitos', 'terribles', 'perdían', 'el', 'sentido', 'sin', 'parar', 'y', 'les', 'pusieron', 'el', 'gota', 'a', 'gota', 'los', 'médicos', 'nos', 'aseguraban', 'no', 'sé', 'por', 'qué', 'que', 'se', 'habían', 'envenenado', 'con', 'los', 'gases', 'nadie', 'hablaba', 'de', 'la', 'radiación', 'entretanto', 'la', 'ciudad', 'se', 'llenó', 'de', 'vehículos', 'militares', 'se', 'cerraron', 'todas', 'las', 'carreteras', 'se', 'veían', 'soldados', 'por', 'todas', 'partes', 'dejaron', 'de', 'circular', 'los', 'trenes', 'de', 'cercanías', 'los', 'expresos', 'lavaban', 'las', 'calles', 'con', 'un', 'polvo', 'blanco', 'me', 'alarmé', 'cómo', 'iba', 'a', 'conseguir', 'llegar', 'al', 'pueblo', 'al', 'día', 'siguiente', 'para', 'comprarle', 'leche', 'fresca', 'nadie', 'hablaba', 'de', 'la', 'radiación', 'solo', 'los', 'militares', 'iban', 'con', 'caretas', 'la', 'gente', 'de', 'la', 'ciudad', 'llevaba', 'su', 'pan', 'de', 'las', 'tiendas', 'las', 'bolsas', 'abiertas', 'con', 'los', 'bollos', 'en', 'los', 'estantes', 'había', 'pasteles', 'la', 'vida', 'seguía', 'como', 'de', 'costumbre', 'solo', 'lavaban', 'las', 'calles', 'con', 'un', 'polvo', 'por', 'la', 'noche', 'no', 'me', 'dejaron', 'entrar', 'en', 'el', 'hospital', 'había', 'un', 'mar', 'de', 'gente', 'en', 'los', 'alrededores', 'yo', 'estaba', 'frente', 'a', 'su', 'ventana', 'él', 'se', 'acercó', 'a', 'ella', 'y', 'me', 'gritó', 'algo', 'se', 'le', 'veía', 'tan', 'desesperado', 'entre', 'la', 'muchedumbre', 'alguien', 'entendió', 'lo', 'que', 'decía', 'que', 'aquella', 'noche', 'se', 'los', 'llevaban', 'a', 'moscú', 'todas', 'las', 'esposas', 'nos', 'arremolinamos', 'en', 'un', 'corro', 'y', 'decidimos', 'nos', 'vamos', 'con', 'ellos', 'dejadnos', 'estar', 'con', 'nuestros', 'maridos', 'no', 'tenéis', 'derecho', 'quisimos', 'abrirnos', 'paso', 'a', 'golpes', 'a', 'arañazos', 'los', 'soldados', 'los', 'soldados', 'ya', 'habían', 'formado', 'un', 'doble', 'cordón', 'y', 'nos', 'impedían', 'pasar', 'a', 'empujones', 'entonces', 'salió', 'el', 'médico', 'y', 'nos', 'confirmó', 'que', 'se', 'los', 'llevaban', 'aquella', 'misma', 'noche', 'en', 'avión', 'a', 'moscú', 'que', 'debíamos', 'traerles', 'ropa', 'la', 'que', 'llevaban', 'en', 'la', 'central', 'se', 'había', 'quemado', 'los', 'autobuses', 'ya', 'no', 'funcionaban', 'y', 'fuimos', 'a', 'pie', 'corriendo', 'a', 'casa', 'cuando', 'volvimos', 'con', 'las', 'bolsas', 'el', 'avión', 'ya', 'se', 'había', 'marchado', 'nos', 'engañaron', 'a', 'propósito', 'para', 'que', 'no', 'gritáramos', 'ni', 'lloráramos', 'fragmento', 'de', 'voces', 'de', 'chernóbil', 'por', 'svetlana', 'alexievich']
import nltk
nltk.download('stopwords')
from nltk.corpus import stopwords
stop_words = set(stopwords.words('spanish'))
sin_palabras_vacias = []
for w in tokenizado:
if w not in stop_words:
sin_palabras_vacias.append(w)
sin_palabras_vacias
[nltk_data] Downloading package stopwords to [nltk_data] C:\Users\USER\AppData\Roaming\nltk_data... [nltk_data] Package stopwords is already up-to-date!
['solitaria', 'voz', 'humana', 'sé', 'hablar', 'muerte', 'amor', 'mismo', 'casado', 'hacía', 'aún', 'íbamos', 'calle', 'agarrados', 'mano', 'íbamos', 'compras', 'siempre', 'juntos', 'decía', 'quiero', 'aún', 'sabía', 'cuánto', 'quería', 'imaginaba', 'vivíamos', 'residencia', 'unidad', 'bomberos', 'trabajaba', 'piso', 'arriba', 'junto', 'tres', 'familias', 'jóvenes', 'sola', 'cocina', 'bajo', 'coches', 'camiones', 'bomberos', 'rojos', 'trabajo', 'siempre', 'corriente', 'dónde', 'encontraba', 'pasaba', 'mitad', 'noche', 'oí', 'ruido', 'gritos', 'miré', 'ventana', 'vio', 'cierra', 'ventanillas', 'acuéstate', 'incendio', 'central', 'volveré', 'pronto', 'vi', 'explosión', 'solo', 'llamas', 'parecía', 'iluminado', 'cielo', 'entero', 'unas', 'llamas', 'altas', 'hollín', 'calor', 'horroroso', 'seguía', 'regresar', 'hollín', 'debía', 'ardía', 'alquitrán', 'techo', 'central', 'cubierto', 'asfalto', 'gente', 'andaba', 'después', 'recordaría', 'si', 'resina', 'sofocaban', 'llamas', 'mientras', 'reptaba', 'subía', 'hacia', 'reactor', 'tiraban', 'grafito', 'ardiente', 'pies', 'acudieron', 'allí', 'trajes', 'lona', 'allá', 'tal', 'iban', 'camisa', 'nadie', 'advirtió', 'aviso', 'incendio', 'normal', 'cuatro', 'cinco', 'seis', 'seis', 'intención', 'ir', 'ver', 'padres', 'plantar', 'patatas', 'ciudad', 'prípiat', 'aldea', 'sperizhie', 'vivían', 'padres', 'kilómetros', 'íbamos', 'sembrar', 'arar', 'trabajo', 'favorito', 'madre', 'recordaba', 'menudo', 'padre', 'querían', 'dejarlo', 'marchar', 'ciudad', 'incluso', 'construyeron', 'casa', 'nueva', 'llevaron', 'ejército', 'sirvió', 'moscú', 'tropas', 'bomberos', 'regresó', 'solo', 'quería', 'ser', 'bombero', 'ninguna', 'cosa', 'calla', 'veces', 'parece', 'oír', 'voz', 'oírle', 'vivo', 'siquiera', 'fotografías', 'producen', 'efecto', 'voz', 'nunca', 'llama', 'sueños', 'llama', 'siete', 'siete', 'comunicaron', 'hospital', 'corrí', 'hacia', 'allí', 'hospital', 'acordonado', 'milicia', 'dejaban', 'pasar', 'nadie', 'solo', 'entraban', 'ambulancias', 'milicianos', 'gritaban', 'coches', 'irradiados', 'acerquéis', 'sólo', 'vinieron', 'todas', 'mujeres', 'todas', 'cuyos', 'maridos', 'aquella', 'noche', 'central', 'corrí', 'busca', 'conocida', 'trabajaba', 'médico', 'aquel', 'hospital', 'agarré', 'bata', 'salía', 'coche', 'déjame', 'pasar', 'puedo', 'mal', 'mal', 'agarrada', 'solo', 'quiero', 'verlo', 'bueno', 'dice', 'corre', 'quince', 'veinte', 'minutos', 'vi', 'hinchado', 'inflamado', 'casi', 'ojos', 'leche', 'mucha', 'leche', 'dijo', 'conocida', 'beba', 'menos', 'tres', 'litros', 'toma', 'leche', 'pues', 'ahora', 'beber', 'médicos', 'enfermeras', 'especialmente', 'auxiliares', 'aquel', 'hospital', 'cabo', 'tiempo', 'pondrían', 'enfermas', 'morirían', 'entonces', 'nadie', 'sabía', 'diez', 'mañana', 'murió', 'técnico', 'shishenok', 'primero', 'primer', 'día', 'luego', 'supimos', 'bajo', 'escombros', 'quedado', 'valera', 'jodemchuk', 'lograron', 'sacarlo', 'emparedaron', 'hormigón', 'entonces', 'aún', 'sabíamos', 'solo', 'primeros', 'pregunto', 'vasia', 'hago', 'vete', 'aquí', 'vete', 'esperando', 'niño', 'embarazada', 'cierto', 'cómo', 'voy', 'dejar', 'pide', 'vete', 'salva', 'crío', 'primero', 'traer', 'leche', 'luego', 'veremos', 'llega', 'amiga', 'tania', 'kibenok', 'marido', 'misma', 'sala', 'venido', 'padre', 'coche', 'subimos', 'coche', 'vamos', 'aldea', 'cercana', 'leche', 'tres', 'kilómetros', 'ciudad', 'compramos', 'muchas', 'garrafas', 'tres', 'litros', 'leche', 'seis', 'leche', 'provocaba', 'vómitos', 'terribles', 'perdían', 'parar', 'pusieron', 'gota', 'gota', 'médicos', 'aseguraban', 'sé', 'envenenado', 'gases', 'nadie', 'hablaba', 'radiación', 'entretanto', 'ciudad', 'llenó', 'vehículos', 'militares', 'cerraron', 'todas', 'carreteras', 'veían', 'soldados', 'todas', 'partes', 'dejaron', 'circular', 'trenes', 'cercanías', 'expresos', 'lavaban', 'calles', 'polvo', 'blanco', 'alarmé', 'cómo', 'iba', 'conseguir', 'llegar', 'pueblo', 'día', 'siguiente', 'comprarle', 'leche', 'fresca', 'nadie', 'hablaba', 'radiación', 'solo', 'militares', 'iban', 'caretas', 'gente', 'ciudad', 'llevaba', 'pan', 'tiendas', 'bolsas', 'abiertas', 'bollos', 'estantes', 'pasteles', 'vida', 'seguía', 'costumbre', 'solo', 'lavaban', 'calles', 'polvo', 'noche', 'dejaron', 'entrar', 'hospital', 'mar', 'gente', 'alrededores', 'frente', 'ventana', 'acercó', 'gritó', 'veía', 'tan', 'desesperado', 'muchedumbre', 'alguien', 'entendió', 'decía', 'aquella', 'noche', 'llevaban', 'moscú', 'todas', 'esposas', 'arremolinamos', 'corro', 'decidimos', 'vamos', 'dejadnos', 'maridos', 'derecho', 'quisimos', 'abrirnos', 'paso', 'golpes', 'arañazos', 'soldados', 'soldados', 'formado', 'doble', 'cordón', 'impedían', 'pasar', 'empujones', 'entonces', 'salió', 'médico', 'confirmó', 'llevaban', 'aquella', 'misma', 'noche', 'avión', 'moscú', 'debíamos', 'traerles', 'ropa', 'llevaban', 'central', 'quemado', 'autobuses', 'funcionaban', 'pie', 'corriendo', 'casa', 'volvimos', 'bolsas', 'avión', 'marchado', 'engañaron', 'propósito', 'gritáramos', 'lloráramos', 'fragmento', 'voces', 'chernóbil', 'svetlana', 'alexievich']
from collections import Counter
Counter(sin_palabras_vacias).most_common(10)
[('leche', 8), ('solo', 7), ('noche', 5), ('nadie', 5), ('ciudad', 5), ('hospital', 5), ('todas', 5), ('tres', 4), ('central', 4), ('voz', 3)]
from nltk.stem.snowball import SnowballStemmer
spanishStemmer=SnowballStemmer("spanish")
texto_stem = []
for palabra in sin_palabras_vacias:
raiz = spanishStemmer.stem(palabra)
texto_stem.append(raiz)
texto_stem
['solitari', 'voz', 'human', 'se', 'habl', 'muert', 'amor', 'mism', 'cas', 'hac', 'aun', 'ibam', 'call', 'agarr', 'man', 'ibam', 'compr', 'siempr', 'junt', 'dec', 'quier', 'aun', 'sab', 'cuant', 'quer', 'imagin', 'viv', 'resident', 'unid', 'bomber', 'trabaj', 'pis', 'arrib', 'junt', 'tres', 'famili', 'joven', 'sol', 'cocin', 'baj', 'coch', 'camion', 'bomber', 'roj', 'trabaj', 'siempr', 'corrient', 'dond', 'encontr', 'pas', 'mit', 'noch', 'oi', 'ruid', 'grit', 'mir', 'ventan', 'vio', 'cierr', 'ventanill', 'acuestat', 'incendi', 'central', 'volv', 'pront', 'vi', 'explosion', 'sol', 'llam', 'parec', 'ilumin', 'ciel', 'enter', 'unas', 'llam', 'altas', 'hollin', 'calor', 'horror', 'segu', 'regres', 'hollin', 'deb', 'ardi', 'alquitran', 'tech', 'central', 'cubiert', 'asfalt', 'gent', 'andab', 'despues', 'record', 'si', 'resin', 'sofoc', 'llam', 'mientr', 'rept', 'sub', 'haci', 'reactor', 'tir', 'grafit', 'ardient', 'pies', 'acud', 'alli', 'traj', 'lon', 'alla', 'tal', 'iban', 'camis', 'nadi', 'advirt', 'avis', 'incendi', 'normal', 'cuatr', 'cinc', 'seis', 'seis', 'intencion', 'ir', 'ver', 'padr', 'plant', 'patat', 'ciud', 'pripiat', 'alde', 'sperizhi', 'viv', 'padr', 'kilometr', 'ibam', 'sembr', 'arar', 'trabaj', 'favorit', 'madr', 'record', 'menud', 'padr', 'quer', 'dej', 'march', 'ciud', 'inclus', 'constru', 'cas', 'nuev', 'llev', 'ejercit', 'sirv', 'moscu', 'trop', 'bomber', 'regres', 'sol', 'quer', 'ser', 'bomber', 'ningun', 'cos', 'call', 'vec', 'parec', 'oir', 'voz', 'oirl', 'viv', 'siqu', 'fotograf', 'produc', 'efect', 'voz', 'nunc', 'llam', 'sueñ', 'llam', 'siet', 'siet', 'comunic', 'hospital', 'corr', 'haci', 'alli', 'hospital', 'acordon', 'milici', 'dej', 'pas', 'nadi', 'sol', 'entrab', 'ambul', 'milician', 'grit', 'coch', 'irradi', 'acerqu', 'sol', 'vin', 'tod', 'mujer', 'tod', 'cuy', 'mar', 'aquell', 'noch', 'central', 'corr', 'busc', 'conoc', 'trabaj', 'medic', 'aquel', 'hospital', 'agarr', 'bat', 'sal', 'coch', 'dejam', 'pas', 'pued', 'mal', 'mal', 'agarr', 'sol', 'quier', 'verl', 'buen', 'dic', 'corr', 'quinc', 'veint', 'minut', 'vi', 'hinch', 'inflam', 'casi', 'ojos', 'lech', 'much', 'lech', 'dij', 'conoc', 'beb', 'men', 'tres', 'litr', 'tom', 'lech', 'pues', 'ahor', 'beb', 'medic', 'enfermer', 'especial', 'auxiliar', 'aquel', 'hospital', 'cab', 'tiemp', 'pondr', 'enferm', 'mor', 'entonc', 'nadi', 'sab', 'diez', 'mañan', 'mur', 'tecnic', 'shishenok', 'primer', 'prim', 'dia', 'lueg', 'sup', 'baj', 'escombr', 'qued', 'valer', 'jodemchuk', 'logr', 'sac', 'empared', 'hormigon', 'entonc', 'aun', 'sab', 'sol', 'primer', 'pregunt', 'vasi', 'hag', 'vet', 'aqu', 'vet', 'esper', 'niñ', 'embaraz', 'ciert', 'com', 'voy', 'dej', 'pid', 'vet', 'salv', 'cri', 'primer', 'tra', 'lech', 'lueg', 'ver', 'lleg', 'amig', 'tani', 'kibenok', 'mar', 'mism', 'sal', 'ven', 'padr', 'coch', 'sub', 'coch', 'vam', 'alde', 'cercan', 'lech', 'tres', 'kilometr', 'ciud', 'compr', 'much', 'garraf', 'tres', 'litr', 'lech', 'seis', 'lech', 'provoc', 'vomit', 'terribl', 'perd', 'par', 'pus', 'got', 'got', 'medic', 'asegur', 'se', 'envenen', 'gas', 'nadi', 'habl', 'radiacion', 'entretant', 'ciud', 'llen', 'vehicul', 'militar', 'cerr', 'tod', 'carreter', 'vei', 'sold', 'tod', 'part', 'dej', 'circul', 'tren', 'cercan', 'expres', 'lav', 'call', 'polv', 'blanc', 'alarm', 'com', 'iba', 'consegu', 'lleg', 'puebl', 'dia', 'siguient', 'compr', 'lech', 'fresc', 'nadi', 'habl', 'radiacion', 'sol', 'militar', 'iban', 'caret', 'gent', 'ciud', 'llev', 'pan', 'tiend', 'bols', 'abiert', 'boll', 'estant', 'pastel', 'vid', 'segu', 'costumbr', 'sol', 'lav', 'call', 'polv', 'noch', 'dej', 'entrar', 'hospital', 'mar', 'gent', 'alrededor', 'frent', 'ventan', 'acerc', 'grit', 'vei', 'tan', 'desesper', 'muchedumbr', 'algui', 'entend', 'dec', 'aquell', 'noch', 'llev', 'moscu', 'tod', 'espos', 'arremolin', 'corr', 'decid', 'vam', 'dejadn', 'mar', 'derech', 'quis', 'abrirn', 'pas', 'golp', 'arañaz', 'sold', 'sold', 'form', 'dobl', 'cordon', 'imped', 'pas', 'empujon', 'entonc', 'sal', 'medic', 'confirm', 'llev', 'aquell', 'mism', 'noch', 'avion', 'moscu', 'deb', 'tra', 'rop', 'llev', 'central', 'quem', 'autobus', 'funcion', 'pie', 'corr', 'cas', 'volv', 'bols', 'avion', 'march', 'engañ', 'proposit', 'grit', 'llor', 'fragment', 'voc', 'chernobil', 'svetlan', 'alexievich']
Counter(texto_stem).most_common(10)
[('sol', 9), ('lech', 8), ('coch', 5), ('pas', 5), ('noch', 5), ('llam', 5), ('nadi', 5), ('ciud', 5), ('dej', 5), ('llev', 5)]
import es_core_news_sm
spacy_es = es_core_news_sm.load()
doc = spacy_es(solo_texto)
ocurrencias = [( palabra.pos_) for palabra in doc]
print(Counter(ocurrencias).most_common(10))
[('NOUN', 178), ('DET', 151), ('ADP', 136), ('VERB', 128), ('PRON', 106), ('AUX', 75), ('ADV', 61), ('ADJ', 48), ('SCONJ', 32), ('CCONJ', 30)]