import pandas as pd
from gensim import corpora, models
from nltk.corpus import stopwords
import nltk
import snowballstemmer
import re
from operator import itemgetter
df = pd.read_csv('../data/TR-news.csv',usecols=['dt','title','newstxt'],parse_dates=[0])
documents = df.newstxt.tolist()
stemmer = snowballstemmer.TurkishStemmer()
stoplist = stopwords.words('turkish')
stoplist.extend("bir active number yes titlesection bootstrap tabtitle tboot tab tabcontent contentsection nin nın".split())
stoplist = stemmer.stemWords(stoplist)
stoplist = set(stoplist)
texts=[]
for doc in documents:
doc = re.sub('[!"#%\'()*+,-./:;<=>?@\[\]^_`{|}~1234567890’”“′‘\\\]',' ', doc).split()
doc = stemmer.stemWords(doc)
text= [w.strip() for w in doc if len(w.strip())>=3 and w.strip() not in stoplist]
texts.append(text)
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
n_topics = 100
lda = models.LdaModel(corpus_tfidf, id2word=dictionary, num_topics=n_topics, passes=3, alpha='auto')
for i in range(0, n_topics):
terms = [term[1] for term in lda.show_topic(i, 10)]
print ("#" + str(i) + ": "+ ", ".join(terms))
#0: kaçakçılık, alet, saldırdık, önleyiç, Tüpraş, Aygaz, Barışçıl, girilme, Talimha, alabor #1: Kırbaç, okul, öğrenci, nüfus, Eğit, Milli, yasakla, kayıt, rastlana, eğit #2: Bayraktar, edilmemiş, fezleke, bozulmadı, verilebilmes, bulundura, Şehircilik, Atilla, Çevre, Sancak #3: Çanakkale, gelebilecek, yağış, olumsuzluk, Marmar, silme, kıyı, fırt, şiddetli, Loza #4: Şansal, Barbaros, modaç, Kapla, kanatsız, erozyo, cezalandırma, Hüküm, sürülemez, Kürdista #5: Berk, Elvan, Mutlu, aile, alınacak, başladık, TRT, yasa, kadar, gerekli #6: çağıra, rut, Müdahal, sıkarak, ekmek, suçlandık, yaklaşım, düşünen, ramaza, oruç #7: kaybede, İsrail, kaset, spekülasyon, bildirilmiş, havuz, düşünür, Gazze, cep, böcek #8: Bağış, Başmüzakereç, emanet, Egeme, Kuz, merhap, Kaymakamlık, Baransu, düşünüle, Yalov #9: tekne, merdiven, girilebilecek, diyebilir, uyruklu, baraj, sahas, kanaati, doluluk, Demokratikleşme #10: elema, bot, icra, Tamame, yıldır, tir, haberdar, şeffaf, hâk, iftar #11: değiştirilme, ikaz, bakmadık, sanat, maddelik, eğitimci, Altaylı, şoför, Tasarı, alım #12: TOBB, YAŞ, Bulut, Yiğit, ağırlama, Rifat, Hisarcıklıoğlu, tahkikat, kurgu, planladık #13: Akdoğa, Riz, Atalay, İlan, çeker, çaba, kardeş, kapana, bil, kaydı #14: Işıl, İla, vali, Musul, sivilleştirildik, EMASYA, IŞİD, reh, Çevikca, açıklandık #15: Dündar, Sazak, Milliyet, Can, Demiröre, Cemal, Tamer, Candundaradasi, candundaradasi, dertleşiyor #16: Aylin, Kan, dayanak, baraj, patro, kaldırma, kullanılmak, düşürülmes, master, Pazartes #17: kapsül, gaz, sehve, Biber, yürümek, derecelik, attık, başvurma, kaç, biber #18: Saraç, söylenen, karşılanacak, spekülasyon, devral, muhtelif, Yama, Sadullah, engelli, oğl #19: Değişik, görüşmüyor, siyasi, Lale, ortaklaşma, Alemdaroğlu, nitelendir, Teoma, Yayma, Aktaş #20: Derya, izlemiş, Alçı, sağ, sürdürmes, öğrenilmiş, Yetkili, mart, sani, vadel #21: Marmaray, Korgeneral, Yenikap, Projes, arkeolokik, bütünleşecek, yolcu, hatt, manevra, metro #22: kedi, söylemedi, ÇED, Tayla, seks, Osmani, Kalyo, havalima, Tanay, Etki #23: SEÇSİS, maç, Seçme, Kütük, Fenerbahçe, dakika, Galatasaray, final, kabullenmek, işlenmek #24: yüz, Başçı, Bankas, enflasyo, faiz, hareketlenme, Erdem, DTK, fiyat, Merkez #25: Trabzo, İnal, kılıç, Erol, Zek, Çolak, katılıyor, Tuğgeneral, Nezih, heykel #26: burs, suatkiliç, res, Bakü, Mansur, Evli, deliç, yükseköğre, önlisans, cefa #27: kodu, soy, Dergis, askerlik, şüpheli, bıçak, kırık, sayılacak, almadık, maddi #28: Silivri, tedbir, öğrenmek, değerlendirdik, yargılanıyor, Kurum, Yerleşkes, artırıl, sınav, eylül #29: hattı, yangı, kilometrelik, ulaşıla, dışsal, Farklı, gerçekleşme, Kılınç, yukar, işçi #30: Urfa, amaçladık, şeref, değiştirilebilecek, sonuçlanmas, korkak, darbecilik, çevrilme, etmeme, karşıladık #31: Arslan, rüşvet, Süleyma, Zarrap, yolsuzluk, Çağlaya, Barış, Reza, Zafer, uzaklaştırıla #32: yatıyor, şiir, Hikmet, Evran, Naz, Karşı, şair, ayet, Emir, eleştirir #33: danışmanlık, kanıt, almıyor, şahsı, Ege, kurtarıl, Köşk, cari, Tereddüt, Rus #34: işlenmes, sahte, pansiyo, yaratmış, atanmas, yetenek, amir, İktisat, Efe, Şefik #35: İnançer, öğre, hamile, edebilir, TRT, kanatlıs, realizm, menkıbe, Tuğrul, hamilelik #36: birleşerek, fert, Ayşenur, gem, güncel, ideal, Ailes, sorgulama, takvim, Zeyrek #37: vazifes, değerlendirmes, yapılabilir, bildirile, galeris, foto, görmemes, kredi, Kekeç, yürürlük #38: koymak, Hüküme, AYM, Tarafsız, akılsız, hüküm, tutmaz, Progra, hamle, Demokratik #39: tarla, üretme, genelkurmay, yönetmek, Zekeriya, Nihal, Bengisu, hükmettik, oluşturulma, Körfez #40: Komuta, Orgeneral, Kuvvet, emekli, Kar, Ordu, Silahlı, Damcı, Genelkurmay, mükellefiyet #41: yaratmas, Bilindik, ulusalcılık, güvenli, oluşturulmas, Müezzinoğlu, ülkes, Yüzbaş, pilot, Kasımpaş #42: Alp, Dönmez, kazanç, sanıklı, uyarla, Serdar, yaratıç, Batar, vitrin, selfie #43: Karakaş, unut, rastlamadık, Erten, Baykal, dinlemek, müzaker, Meral, Ergün, Fikri #44: Erdoğa, Gez, Başbaka, Türki, Parkı, dedi, Öcala, Türk, açıklama, CHP #45: aday, seç, Seç, İhsanoğlu, seçim, CHP, katılmak, aralık, iftar, ada #46: partil, korunma, önlenmes, üstlenmiş, İnö, duyurus, akraba, Burak, Seçim, Karamanoğlu #47: Süngü, Bayık, Necip, Atlansoy, Güray, Kabul, döndük, Üzer, takv, takdı #48: Binal, dağıtıla, devirmek, helal, dinlemiş, büyükşehir, Ağrı, dinlendik, yeğe, alışkanlık #49: Demirtaş, Bila, Times, Fikret, The, düşünce, bahane, gösteris, Ayşe, kapatılma #50: Batu, terbiyesizlik, Pel, Kent, temkinli, selam, arttırılma, PAB, Tutuklu, müdahel #51: depre, Depre, hissedil, Yüzeysel, üssü, Özlem, meyda, anlaşılmak, büyüklük, Asıl #52: Akar, KILIÇ, müdürlük, Alparsla, Rüş, Çapk, arama, Teğme, Davas, Japonya #53: bildiri, July, boşaltılır, oturduk, görüşmüş, muazza, değindik, müsvedi, boyutlu, Tepki #54: kafata, yaşartıç, yaratıla, Arda, mağduriyet, gayrimeşru, çalarak, başörtü, etmey, Irmak #55: mesaf, korur, beklent, günah, sanır, tıbbi, içki, ata, işletmecis, Gereke #56: demokratikleşme, spiker, kalın, müş, maliye, Servet, desteklemes, Devr, nakil, Balcı #57: Kotil, hapis, Kurul, Mehmet, Haber, öğret, söz, gör, taraf, gün #58: Lütfü, stand, Türkka, sertlik, Suavi, yatak, Ziraat, tünel, söylemek, yavaş #59: kanunsuz, Yağış, yoğunluk, çat, sloga, olanak, sıkıl, boykot, etkiledi, dev #60: Ceylanpınar, konma, Arapça, Bilim, Hudut, söyleyebilecek, göstermek, başlangıç, Karakol, MEB #61: gönderildik, doçent, İlahiyat, değerlendiril, taşınma, geciktik, safha, merdive, malze, Gerçek #62: Arif, Perinçek, Kandilli, değiştiril, Rasathanes, Gar, Boğaziç, geze, devri, evlendire #63: Yahudi, Demirci, gösterges, Denizli, yüklü, gündüz, Malazgirt, tencer, yaklaşa, Kırıkkale #64: karar, duruşma, Ergeneko, dava, suç, ceza, sanık, müebbet, TGB, yıl #65: Karargah, plastik, mermi, Sönmez, çıkmaz, Avcı, kır, Haz, Hanef, Nişanya #66: Denet, Vergi, İran, Mali, davul, başar, aşağıla, Bek, Barlas, Tuncer #67: Sağlıklı, halihazır, Mezarlık, defnedil, Nevra, cenazes, Zincirliku, Camii, Kös, Pavey #68: parlak, fiil, DER, Destekle, Kredi, TMSF, suçlamış, ayırmak, Ferit, verebilmek #69: yurtdış, terfi, kollamak, Coş, güçlendirilme, Antikapitalist, sağlamak, açmış, Kulis, endişes #70: durduramaz, sürdürülme, başdanışma, kalkmas, Naci, dave, Ilıcak, bulunmama, Nazlı, Amasya #71: Çelep, Sabri, davas, ettir, Temmuz, Fas, algıs, doğumlu, Sarıyer, Asli #72: dayıs, Bot, dağı, Yaş, bahseder, Put, Youtube, Rusya, takım, lacivertli #73: Başbuk, İlker, alay, TÜSİAD, kovulduk, kapatıldık, lokomotif, Hulusi, skandal, Silivri #74: Tombul, Alphan, Kurba, Yargıla, kıymet, FED, Melis, kule, Cenevre, yükseklik #75: Arenemega, Türkçe, aktif, sadeç, toplum, devirir, nisa, darbe, Teşkilat, Yok #76: cinsel, taciz, Şur, tutuklana, çıkartılıyor, Dumanlı, Şüphel, Yaşar, Cinsel, Gaziosmanpaş #77: hükûmet, öze, pala, Hilmioğlu, gecekondu, Acar, işsizlik, korkutmak, davranmak, mutsuz #78: fakülte, kayganlaşa, çizer, YÖK, seyreder, değiştirdik, derslik, Hafta, doktora, Doçentlik #79: sürüş, takipçi, kaçak, yapıl, Twitter, hizmet, beledi, hesap, attık, Ara #80: TCK, Çizgi, metreküp, Duygu, Göktep, Ertaş, kıyası, Gönüllü, Fadı, bilecek #81: Gökçea, kaçakçı, bulunul, Aydınlık, kontroller, olumlu, Haydarpaş, İktisadı, potansiyel, tıp #82: deneyimli, uğratacak, Nok, getirilmiş, anarşi, Ayıp, Varlık, Uçkan, Sarıkamış, icraat #83: verebilir, uya, skandal, çekilir, açmak, grev, kaldırmak, Takv, Sinemas, Komu #84: tahmin, söylenti, Enflasyo, dövüle, taşı, belirlendik, dershane, Rapor, Yeryüz, koruduk #85: Emekli, Koma, rota, Çet, motor, Filis, mahall, Kıvrıkoğlu, Kaan, İslamabadı #86: ilgili, Aslan, parçalayıç, durulmas, oturum, Zeyidi, kına, yukarı, Karaköy, Şişha #87: Kalyoncu, Reyhanlı, ODTÜ, Uluder, Başbakan, götürebilir, Şırnak, DİHA, eleştirilmiş, Roboski #88: yurdu, saatir, Özdemir, Nitelikli, yaratılmas, Metiner, Aysever, Enver, Cüneyt, Adıyama #89: Gökçek, elektronik, Uzlaşma, yardımcı, sorgulatma, büyükelçi, Melih, Muk, refah, yardımcılık #90: alınmayacak, hassasiye, sonuçlandırılmas, Siyase, AGOS, dilek, içmek, resepsiyo, dövme, çay #91: polis, gözalt, grup, müdahal, güvenlik, Rojav, Olay, kiş, önlem, ilçe #92: Elçi, Şerafet, güneş, eleştirildik, kurtul, Lig, Süper, değerlendirilmek, gündüz, Beşiktaş #93: belde, Yıldız, yayımladık, yaptırıyor, sıralama, düşmanlık, Sevgi, uçuyor, söyleş, değerlendirilmel #94: izleyiç, delege, tahammülsüzlük, artırılacak, Feyzioğlu, baro, nakli, ırk, Anlaşmas, TBB #95: ney, Yeşil, göze, Tahincioğlu, faşizme, ayrılacak, hil, erecek, Hümeyra, Remzi #96: atlı, bağlayacak, boyn, kabuk, Osmanlıç, Şimdik, Tar, engellenmes, olimpiyat, Dak #97: tem, İzleyiç, Bünyam, Yılmazer, ödül, Gölges, Pamuk, Furka, imzacı, Ödül #98: Eliaçık, İhsan, itibarsız, mukte, araştırıla, İnşa, Özkök, davas, Pakis, Sakık #99: suni, İlkokul, Aytaç, TMK, zulm, Tablo, Genişletil, şak, Yıllık, veto
lsi = models.LsiModel(corpus_tfidf, id2word=dictionary, num_topics=n_topics, onepass=False, power_iters=3)
for i in range(0, n_topics):
terms = [term[1] for term in lsi.show_topic(i, 10)]
print ("#" + str(i) + ": "+ ", ".join(terms))
#0: Erdoğa, Başbaka, CHP, karar, Türki, polis, iddia, Parti, Gez, İstanbul #1: polis, Taks, Gez, Parkı, gaz, Erdoğa, CHP, Kılıçdaroğlu, müdahal, grup #2: karar, Mahkemes, sanık, Ceza, soruşturma, dava, Taks, CHP, HSYK, Kılıçdaroğlu #3: CHP, yüz, IŞİD, seç, İhsanoğlu, Kılıçdaroğlu, aday, Davutoğlu, seçim, Suri #4: yüz, Kılıçdaroğlu, faiz, puan, CHP, milyo, bin, Gez, Bankas, maç #5: Öcala, PKK, IŞİD, sanık, Erdoğa, HDP, Aralık, Mahkemes, BDP, yolsuzluk #6: maç, dakika, Fenerbahçe, Gez, Galatasaray, işçi, CHP, Parkı, Erdoğa, puan #7: maç, yüz, dakika, Fenerbahçe, Kılıçdaroğlu, Galatasaray, CHP, Gez, faiz, Parkı #8: işçi, made, yüz, facia, ocak, Yıldız, Gül, HSYK, Demirtaş, PKK #9: HSYK, sanık, Kılıçdaroğlu, Adalet, işçi, Kurul, Baka, değişiklik, Bozdak, dava #10: Öcala, IŞİD, Davutoğlu, Kılıçdaroğlu, Demirtaş, BDP, HDP, İmral, işçi, Irak #11: yağış, Kılıçdaroğlu, yüz, İhsanoğlu, faiz, Twitter, işçi, eriş, seç, made #12: İhsanoğlu, Erdoğa, yağış, Gül, CHP, Kılıçdaroğlu, Sarıgül, Cumhurbaşka, Ekmeledi, seç #13: yağış, Twitter, eriş, Erdoğa, IŞİD, sağanak, TİB, kar, Gökçek, Başbaka #14: Taks, Gez, Parkı, Berk, Elvan, IŞİD, öğrenci, İhsanoğlu, HSYK, polis #15: eriş, Elvan, Twitter, Erdoğa, TİB, Berk, Güle, HSYK, Gez, AYM #16: Elvan, Berk, Davutoğlu, Arınç, Gül, Ahmet, Baka, Güle, yağış, Erdoğa #17: öğrenci, okul, Gül, Eğit, yüz, eğit, HSYK, faiz, Güle, bin #18: Arınç, Davutoğlu, Bülent, HSYK, ses, kayıt, Yardımcıs, Erdoğa, Kılıçdaroğlu, Gökçek #19: Gül, İhsanoğlu, Cumhurbaşka, Sarıgül, Davutoğlu, Gökçek, Arınç, Abdullah, HSYK, Elvan #20: Kılıçdaroğlu, Gül, İhsanoğlu, Erdoğa, Berk, Elvan, Gökçek, Davutoğlu, seç, Parti #21: Sarıgül, Elvan, grup, Berk, Gez, Güle, müdahal, HSYK, polis, Davutoğlu #22: Davutoğlu, Arınç, Gül, IŞİD, Bülent, eriş, Ahmet, Emniyet, gözalt, Güle #23: Davutoğlu, Arınç, MİT, kayıt, ses, Gül, Kılıçdaroğlu, İhsanoğlu, Gökçek, Çağlaya #24: Güle, Elvan, Berk, Sarıgül, Gökçek, IŞİD, Fethullah, İhsanoğlu, okul, Gül #25: HSYK, Bahçel, İhsanoğlu, Arınç, MHP, Demirtaş, Sarıgül, Parti, ODTÜ, Gez #26: faiz, öğrenci, Gökçek, Davutoğlu, milyo, okul, IŞİD, Sarıgül, Ankar, bin #27: Sarıgül, Gökçek, faiz, Kılıçdaroğlu, Gül, Bankas, Merkez, İhsanoğlu, Mustaf, Ankar #28: İhsanoğlu, MİT, Güle, Sarıgül, TIR, Gökçek, Baka, İsrail, Erdoğa, IŞİD #29: yüz, faiz, Bahçel, Bankas, Sarıgül, İsrail, Güle, Merkez, Alçı, Gökçek #30: faiz, IŞİD, Bahçel, asker, Alçı, Diyarbakır, milyo, PKK, Musul, Ilıcak #31: Sarıgül, Elvan, Berk, MİT, Korkmaz, yüz, TIR, Bahçel, Gül, Gökçek #32: Bahçel, MHP, Davutoğlu, Erdoğa, Sarıgül, TIR, Zarrap, MİT, Baka, Devlet #33: PKK, Alçı, Ilıcak, Kılıçdaroğlu, MİT, Sarıgül, Baka, Demirtaş, Arınç, Taks #34: Güle, depre, Gökçek, Çelik, Baka, İhsanoğlu, yüz, Komisyo, Fethullah, Davutoğlu #35: depre, Güle, Bahçel, İsrail, Sarıgül, Twitter, Yıldır, bin, karar, gazete #36: İsrail, depre, Alçı, Ilıcak, Depre, Gazze, ODTÜ, büyüklük, ABD, gazete #37: depre, MİT, İsrail, TIR, Demirtaş, Depre, Emniyet, büyüklük, Öcala, kayıt #38: depre, MİT, Öcala, İsrail, Demirtaş, Sarıgül, Yıldır, Zarrap, Depre, ODTÜ #39: Korkmaz, İsrail, Demirtaş, İsmail, Öcala, Ali, HDP, Güle, Eskişehir, Gazze #40: AYM, Kılıç, Korkmaz, Zarrap, Anayas, Erdoğa, Alçı, Ilıcak, depre, Sarıgül #41: Yıldır, Demirtaş, Kılıç, AYM, HDP, Bahçel, İzmir, Gökçek, Binal, Korkmaz #42: Bahçel, İsrail, PKK, HDP, İhsanoğlu, Emniyet, görev, işçi, Feyzioğlu, MHP #43: İsrail, Yıldır, MİT, TIR, Baka, Haka, Gazze, kadı, Emniyet, Gökçek #44: Zarrap, eriş, Mutlu, TİB, Komisyo, Kuz, Diyarbakır, Kılıç, bin, Reza #45: Korkmaz, Yıldır, Mutlu, çocuk, Diyarbakır, Kılıç, Feyzioğlu, AYM, İsmail, gözalt #46: çocuk, Çelik, Yıldır, depre, PKK, Yıldız, Diyarbakır, işçi, milyar, Başbuk #47: Yıldır, İsrail, Haka, Alçı, Ilıcak, Demirtaş, Emniyet, Korkmaz, Ahmet, Kılıçdaroğlu #48: Yıldır, Fenerbahçe, kadı, Gökçek, ağaç, Korkmaz, Binal, Emniyet, Feyzioğlu, İzmir #49: uçak, Başbuk, trafik, Alçı, yıl, Kılıç, Ilıcak, Dumanlı, bin, Genelkurmay #50: Feyzioğlu, Suri, ODTÜ, Zarrap, Çelik, Alçı, Korkmaz, Emniyet, Ilıcak, gözalt #51: Kobani, Demirtaş, Suri, ODTÜ, Erdoğa, Başbuk, İhsanoğlu, Türk, Genelkurmay, Yıldır #52: Feyzioğlu, Danıştay, ODTÜ, Suri, milyar, Zarrap, TIR, Yargıtay, Baro, Akdoğa #53: milyar, Demirtaş, ODTÜ, Suri, HDP, Haka, Emniyet, bin, Diyarbakır, Kılıç #54: Haka, trafik, Baka, çocuk, Suri, ODTÜ, MİT, Ala, BDP, gaz #55: Feyzioğlu, ses, istifa, Diyarbakır, Bağış, Dumanlı, suç, BDP, Kılıç, Erdoğa #56: çocuk, Çelik, Başbuk, Mutlu, yay, Aslan, TRT, Genelkurmay, TIR, işçi #57: Aslan, ODTÜ, Ala, Başbuk, bin, milyar, aday, kiş, Feyzioğlu, Zarrap #58: Yıldız, işçi, milyar, Atatürk, bin, Mutlu, aday, Çelik, Bayraktar, Anıtkabir #59: trafik, Çelik, lira, İsrail, Feyzioğlu, istifa, araç, TIR, milyar, puan #60: istifa, ODTÜ, Demirtaş, öğrenci, Başbuk, Bayraktar, gözalt, Mutlu, soruşturma, kadı #61: Zarrap, Aslan, TIR, Başbuk, çocuk, Çelik, Akdoğa, puan, Diyarbakır, ODTÜ #62: fiyat, Çelik, lira, Demirtaş, HDP, Yıldız, zam, Kobani, milyo, faiz #63: Çelik, milyar, Mısır, Ala, Feyzioğlu, uçak, kiş, TRT, İsrail, TIR #64: Aslan, milyar, fiyat, kadı, Zarrap, Süleyma, ABD, Halkbank, puan, Diyarbakır #65: kadı, Akdoğa, yay, TRT, çocuk, puan, ceza, suç, Yıldız, fiyat #66: Çelik, TIR, Aslan, kadı, Demirtaş, Mayıs, MİT, HDP, puan, Başbuk #67: çocuk, bin, TIR, TRT, aday, Yıldız, Kuz, Korkmaz, Bağış, fiyat #68: çocuk, aday, Mısır, ABD, Ala, Feyzioğlu, milyar, Atatürk, trafik, Yıldız #69: Akdoğa, Başbuk, uçak, CHP, ODTÜ, Yıldız, istifa, Kılıçdaroğlu, Yalç, Mısır #70: Ala, Akdoğa, Bayraktar, MİT, istifa, fiyat, Efkan, Çelik, Mutlu, işçi #71: Çelik, Mısır, Yıldız, Demirtaş, Dumanlı, Zama, işçi, Kobani, HDP, Mayıs #72: Mısır, kadı, Dumanlı, Çelik, aday, asker, Kuz, darbe, polis, milyar #73: Başbuk, sanık, kadı, Dumanlı, fiyat, çocuk, milyar, Zama, bin, Aslan #74: puan, istifa, aday, Akdoğa, final, Dumanlı, Aslan, Beşiktaş, gaz, YSK #75: Mahçupya, trafik, yangı, yolsuzluk, Mısır, Zama, Bilal, Aralık, Diyarbakır, Bağış #76: TRT, uçak, THY, Kobani, Kılıç, Mısır, Yıldız, Suri, sanık, BDP #77: Akdoğa, Mısır, TRT, Kuz, Ala, ABD, Bağış, Çelik, polis, Dumanlı #78: Akdoğa, CHP, grup, Dink, Gül, Atatürk, polis, Bozdak, Demirtaş, Çiçek #79: Mısır, kadı, Dumanlı, PKK, çocuk, Irak, MİT, yangı, Bozdak, ABD #80: Bağış, Çelik, uçak, ABD, THY, trafik, öğrenci, Yıldız, Bayraktar, Atatürk #81: karar, Bozdak, ODTÜ, Akdoğa, kiş, Bayraktar, TIR, gaz, uçak, öğrenci #82: işçi, Ala, yangı, kadı, facia, Mısır, made, aday, Önder, Gökçek #83: Mısır, ODTÜ, CHP, Yılmaz, Mayıs, Kuz, Kobani, Bozdak, TÜSİAD, grup #84: Akdoğa, MİT, TIR, Mısır, rapor, Kuz, Mutlu, yangı, Taks, Dink #85: Bağış, Akdoğa, ODTÜ, öğrenci, seviye, yangı, grup, Çarşı, Komisyo, Şah #86: Bağış, öğrenci, Mısır, TRT, Bayraktar, Bank, Egeme, yolsuzluk, ağaç, Asya #87: gaz, Bayraktar, polis, biber, Yıldız, öğrenci, made, Mısır, işçi, facia #88: askerlik, Yılmaz, Fenerbahçe, Akdoğa, uçak, Kobani, milyar, yasak, bedelli, Atatürk #89: Asya, Bank, öğrenci, Şah, Babaca, Parti, banka, Kuz, Bulut, Kılıç #90: baraj, Çelik, Bağış, bin, Saraç, Mehmet, yangı, Mahçupya, facia, gaz #91: Bozdak, Kılıç, CHP, Mısır, Dink, Adalet, Bekir, ABD, yangı, rapor #92: ABD, İzmir, Dink, Kuz, Öcala, polis, Mahçupya, görev, BDP, kadı #93: Bozdak, Bağış, Ala, Yerkel, HSYK, Marmaray, Dumanlı, Avcı, rapor, ODTÜ #94: Marmaray, askerlik, yangı, baraj, Cumhurbaşkanlık, İstanbul, fotoğraf, aday, trafik, bedelli #95: Kuz, Önder, görev, Fenerbahçe, Ağustos, Şah, Başbuk, Bağış, Sarısülük, asker #96: Dink, İnce, cami, Öcala, bayrak, Mahçupya, Marmaray, Saraç, yangı, Akdoğa #97: ceza, rapor, Şah, Öcala, TRT, Yılmaz, Bozdak, TÜSİAD, Bağış, Cemal #98: Mısır, Bağış, Kobani, TRT, Yıldız, Suri, Haka, Reyhanlı, fotoğraf, polis #99: Marmaray, Akdoğa, askerlik, seviye, kadı, YSK, Dink, faiz, Öcala, Yılmaz
i = 0
print ('Topic distribution on an arbitrarily selected document:\n')
print ('Original document: ' + documents[i])
print ('Preprocessed document: ' + str(texts[i]))
Topic distribution on an arbitrarily selected document: Original document: Sınır dışına çekilme kararının ardından silahlı bir grup PKK’lı Kuzey Irak’a ulaştı. 15 kişilik grubun Irak’a giden ilk PKK’lılar olduğu belirtildi. Van’ın kırsal kesiminden bir hafta önce yola çıkan 6′sı kadın 15 PKK’lı, Hakkari’nin Çukurca İlçesi üzerinden Irak’ın kuzeyine geçiş yaptı. Sabah saat 06.30′da Metina kampına gelen silahlı grubu, burada diğer PKK’lılar karşıladı. Gruba çekilmesi sırasında çok sayıda basın mensubu da eşlik ederken, deneyimli gazeteci Hasan Cemal de o isimlerden biriydi. Terör örgütü üyesi ikinci grubun da yolda olduğu ve 1-2 gün içinde Irak’a varacağı belirtildi. PKK, Öcalan’ın Nevruz’da yaptığı “sınır dışına çekilin”çağrısının ardından Murat Karayılan’ın açıkladığı tarih olan 8 Mayıs’ta çekilmeye başlamıştı. TSK dün yaptığı açıklamada, teröristlerin çekilmesine ait görüntü ve bilgiye sahip olmadıklarını duyurmuştu. Preprocessed document: ['Sınır', 'dış', 'çekilme', 'karar', 'ardı', 'silahlı', 'grup', 'PKK', 'Kuzey', 'Irak', 'ulaş', 'kişilik', 'grup', 'Irak', 'ilk', 'PKK', 'olduk', 'belirtil', 'Van', 'kırsal', 'kesim', 'haf', 'yol', 'çıka', 'kadı', 'PKK', 'Hakkari', 'Çukur', 'İlçes', 'üzer', 'Irak', 'kuzey', 'geçiş', 'yap', 'Sabah', 'saat', 'Metina', 'kamp', 'gele', 'silahlı', 'grup', 'bura', 'diğer', 'PKK', 'karşıladı', 'Grup', 'çekilmes', 'sıra', 'sayı', 'mensup', 'eşlik', 'eder', 'deneyimli', 'gazeteç', 'Hasa', 'Cemal', 'isim', 'Terör', 'örgüt', 'üyes', 'ikinci', 'grup', 'yol', 'olduk', 'gün', 'Irak', 'varacak', 'belirtil', 'PKK', 'Öcala', 'Nevruz', 'yaptık', 'sınır', 'dış', 'çekil', 'çağrı', 'ardı', 'Murat', 'Karayıla', 'açıkladık', 'tarih', 'ola', 'Mayıs', 'çekilme', 'başlamış', 'TSK', 'dün', 'yaptık', 'açıklama', 'terörist', 'çekilme', 'ait', 'gör', 'bilgi', 'sahip', 'olmadık', 'duyurmuş']
print ('Which LDA topic maximally describes this document?')
print ('Topic probability mixture: ',end="")
for j,k in lda[corpus[i]]:
print('(%d, %3.2f)' % (j,k), end = ' ')
print ('\nTopic with the highest probability: topic #' + str(max(lda[corpus[i]],key=itemgetter(1))[0]))
Which LDA topic maximally describes this document? Topic probability mixture: (5, 0.08) (14, 0.06) (44, 0.33) (54, 0.04) (57, 0.26) (79, 0.04) (82, 0.01) (91, 0.17) Topic with the highest probability: topic #44
print ('Which LSI topic maximally describes a document?')
print ('Topic probability mixture: ',end="")
for j,k in lsi[corpus[i]]:
print('(%d, %3.2f)' % (j,k), end = ' ')
print ('\nTopic with the highest probability: topic #' + str(max(lsi[corpus[i]],key=itemgetter(1))[0]))
Which LSI topic maximally describes a document? Topic probability mixture: (0, 2.96) (1, -1.01) (2, -0.71) (3, 1.63) (4, -0.48) (5, -2.29) (6, 1.11) (7, -0.49) (8, -1.09) (9, 0.54) (10, -0.50) (11, -0.05) (12, 0.51) (13, 0.29) (14, 0.05) (15, 0.61) (16, -1.00) (17, 0.23) (18, -0.92) (19, 0.27) (20, 0.29) (21, -0.41) (22, -0.67) (23, 0.15) (24, -0.23) (25, 0.04) (26, -0.01) (27, 0.04) (28, 0.16) (29, -0.33) (30, 0.29) (31, -0.66) (32, 0.74) (33, -1.75) (34, -0.26) (35, -0.75) (36, -0.16) (37, 0.37) (38, 0.21) (39, 0.86) (40, -0.32) (41, -1.05) (42, 1.19) (43, -0.55) (44, 0.53) (45, -0.76) (46, -1.03) (47, -0.26) (48, -0.05) (49, 0.60) (50, 0.71) (51, 0.82) (52, -0.16) (53, 0.78) (54, -0.19) (55, 0.01) (56, -0.24) (57, 0.67) (58, 0.15) (59, 0.95) (60, -0.13) (61, -0.23) (62, 0.04) (63, -0.38) (64, 0.34) (65, 0.66) (66, 0.43) (67, 0.36) (68, 0.99) (69, 0.18) (70, 0.49) (71, -0.33) (72, 0.15) (73, -0.38) (74, -0.27) (75, -0.31) (76, 0.05) (77, 0.15) (78, -1.17) (79, -0.02) (80, 0.15) (81, 0.50) (82, -0.01) (83, 1.27) (84, 0.09) (85, -1.15) (86, -0.41) (87, -0.28) (88, -0.84) (89, 0.87) (90, 0.70) (91, 0.24) (92, -0.20) (93, -0.13) (94, -0.33) (95, -0.56) (96, -1.16) (97, 0.43) (98, 0.44) (99, 0.11) Topic with the highest probability: topic #0