Türkiye'de anket şirketlerinin sık yaptığı hatalar neler?

Sosyal medyada yer alan çeşitli platformlarda, gündeme ilişkin haberlerin sıkça yer alması ve haber değeri görülen içeriklerin önemli bir kısmının toplumsal araştırmalara yer vermesi sebebiyle, bu yazıyı kaleme alma ihtiyacı hissettim. Bu yazıda, araştırma süreci ve yönteme kısaca değinip, yapılan araştırmalarda sıklıkla karşılaşılan hatalara ve çeşitli örneklere yer vereceğim. Bu metni akademik yazım tarzından uzak, yalın, sade ve rahat bir dille yazmaya özen gösterdim. Okuyucular da akıllarına takılan bir konuda, aynı rahatlıkla benimle iletişime geçebilirler.

Bilimsel araştırma süreci ve yöntem

Yöntem, ele alınan olgunun bilimsel kurallara uygun olarak araştırılmasını sağlar. Araştırma sürecinin doğru ilerlemesi, o süreçteki adımların yönteme ve ilgili tekniklere uygun olup olmamasıyla yakından alakalıdır.

Bilimsel yöntem, düşünsel yaklaşım ve araştırma teknikleriyle karşılıklı bir etkileşim içindedir. Yani yöntem, hem soyut ve zihinsel bir süreci temsil eder, hem de bu soyut süreçleri somutlaştıran teknikleri kapsar. Dolayısıyla herhangi bir toplumsal olguyu, bilimsel kurallara uygun olarak araştırmak istiyorsak, yöntem ve araştırma tekniklerine az çok hakim olmamız gerekmektedir.

Bir araştırmaya başlamadan önce, hangi konunun araştırılacağı netleştirilmelidir. Araştırma konusu belirlemenin de farklı farklı yolları vardır. Mesela kişisel deneyimleriniz veya yakınlarınızın, sosyal çevrenizin başına gelen herhangi bir olaya yönelik bir araştırma konusu seçebilirsiniz.

Eğer öğrenciyseniz, okuduğunuz üniversitedeki öğrenci konseyinin bir üyesi olarak, sınıf arkadaşlarınızın çevrim içi eğitim esnasında karşılaştığı problemleri paylaşmalarına yardımcı olmak gibi bir hedef belirleyebilirsiniz. Yapacağınız araştırma da, öğrencilerin problemlerinin öğretim üyeleri ve idareciler tarafından duyulmasını sağlayabilir.

Örneğin, gündelik yaşamda karşılaşılan söylemlerde, atasözleri ve deyimlerde, edebi eserlerde, şarkılarda, film ve dizilerde, sıradanmış gibi görünen ama aslında çok da sıradan olmadığını düşündüğünüz bir örüntüyü konu edinebilirsiniz. Popüler şarkılar niçin sürekli aşk üzerine yazılıyor? Talep hep bu yönde mi? Müzik dinlerken kitlelerin aşka dair parçalara yönelmesinin altında yatan faktörler neler? … gibi soruları, araştırmaya değer bir biçime dönüştürüp, bilimsel yöntem ve araçlarla anlamaya, açıklamaya ve yorumlamaya çalışabilirsiniz.

Araştırma konusunu belirlemede tercihleriniz duygusal da olabilir: O dönem gündemde olan kimi konuları bir fırsat olarak değerlendirip bunu araştırmaya çevirebilir, hatta yüksek meblağlarda kazanç elde edebilirsiniz.

Örneğin, mülteci ve sığınmacılar üzerine yapılacak bir araştırma için çeşitli ulusal ve uluslararası kuruluşların yüklü bir bütçe ayırdığını öğrendiniz. Bir araştırmacı olarak göç, göçmenlik, toplumsal ağlar ya da mobilite hakkında en ufak bir çalışmanız veya deneyiminiz olmasa bile, maddi çıkarlar ve toplumsal prim, sizi bunun gibi projelere başvurmanız konusunda motive edebilir.

Gündemde olan konuları fırsat bilip araştırmaya yeltenmek ve bundan da kazanç elde etmek tabii ki yanlış ya da etik dışı bir durum değil. Araştırma süreci bir emek ister, muazzam bir çaba gerektirir. Ve her emeğin de maddi bir karşılığının olması kaçınılmazdır.

Gündemde olan ve maddi getirisi olan en önemli araştırma konularından biri de, yaklaşan yerel ve ulusal seçimlere yönelik tahminlerdir. Bu yazının devamında da, yerel ve ulusal seçimlere yönelik hazırlanmış siyasi tutum ölçekleri ve çeşitli firmalar tarafından yürütülmüş olan anket çalışmalarının metodolojik boyutu, sade ve basit bir biçimde ele alınacaktır.

Yaklaşan seçimlere yönelik anket şirketlerinin uygulamalarını değerlendirirken, paylaşımlarını ve yayınlarını hayranlıkla takip ettiğim Dr. Serkan Dolma ve Prof. Dr. Emre Erdoğan’ın metodolojik yaklaşımlarına bol bol atıfta bulunacağım.

Anket firmaları ne iş yapar?

Bahar yarıyılı henüz tamamlanan yöntem dersinin son haftalarında, sosyoloji disiplininde yazılmış -ve jüri tarafından kabul edilmiş- çeşitli yüksek lisans ve doktora tezlerini, dersi alan öğrencilerle beraber inceliyoruz. İster makale, ister araştırma raporu, ister yüksek lisans ya da doktora tez çalışması olsun, akademik yayınlarda ve firmaların yürüttüğü kamuoyu araştırmalarında çoğu zaman benzer noktalarda benzer hatalarla karşılaşıyoruz. Araştırmanın amacı, konusu, belirlenen hedeflerin araştırmanın amacıyla örtüşüp örtüşmediği, hipotez yazımı, ana kütlenin belirlenmesi ve örnekleme tekniği, karşılaştığımız hataların yalnızca birkaçı. Bu yazıda da yalnızca örnekleme tekniğine ilişkin hatalara değineceğim.

Türkiye’de yapılan sosyal bilimsel araştırmalarda, ama özellikle de anket çalışmalarında en sıkıntılı aşamanın, ana kütle ve örneklem seçimi olduğunu belirtmeliyim. Bu terimlerin ne anlama geldiğine bir göz atalım.

Temel özelliklerini merak ettiğimiz ve bilmek istediğimiz bir enformasyon kümesi düşünelim, Serkan Dolma’nın deyişiyle “varlık”. Bu varlığı, tüm unsurlarıyla gözlemleme şansımız yoktur. İşte, bütün unsurlarına dair tüm bilgilerine ulaşma imkanımızın olmadığı bu varlığa "ana kütle" denir. Çeşitli prosedür ve prensiplere sadık kalarak, ana kütleden seçilen, ulaşılması ve gözlemlenmesi mümkün olan alt kümeye de "örneklem" denir. Ulaşabildiğimiz örneklemden veri toplayarak, ana kütleye ilişkin tahminler, çıkarımlar ve dolayısıyla da belli bir hata payı dahilinde genellemeler yapabiliriz. Burada da ana kütle ve örneklem ilişkisi, dolayısıyla da temsil gücü, önemli bir faktör olarak karşımıza çıkar, çünkü uygulanan anketlerin genellenebilir olup olmadığı, örneklemin ana kütleyi ne derece temsil ettiğiyle yakından alakalıdır.

Bu teknik açıklamaları, daha basit bir dille ifade etmek adına şu soruyu sormakta fayda var: Bir anket firması ne iş yapar? Çok basit, Türkiye’deki seçmen sayısı gibi sonlu ama geniş bir ana kütleyi temsil ettiği öne sürülen örneklemden, anket yoluyla çeşitli veriler elde eder. Elde edilen bu verilerin istatistiksel analiziyle, tüm ana kütlenin, yani Türkiye’deki seçmenlerin tamamının tutumunu tahmin etmeye çalışır. Dolayısıyla örneklemin, Türkiye’deki tüm seçmenleri olabildiğince güçlü bir biçimde temsil etmesi beklenir.

Lakin Türkiye’deki seçim anketlerinin çoğunda, örneklemin birkaç büyükşehirde ya da yalnızca kentsel bölgelerde seçildiğine rastlayabiliyoruz. Yapılan bu örneklem seçiminde, azımsanmayacak büyüklükte bir seçmen kitlesi dışarıda bırakıldığı için, gerçekleştirilen istatistiksel analizlerin sonuçlarının pek bir geçerliliğinin olmadığı söylenebilir.

Bu aşamada, yani örneklem seçimi aşamasında, rassallık ilkesinden bahsetmek gerekir. Rassal demek, “rastlanan” her katılımcıyla anket yapmak demek değildir. Rassallık, ana kütledeki her unsurun, örnekleme dahil olma olasılığının eşit olması anlamına gelir.

Emre Erdoğan’ın belirttiği gibi, örneğin Beyoğlu’nda, Kızılay’da ya da Konak’ta yapılan anketler rassal değildir, çünkü İstanbul’da, Ankara’da ya da İzmir’de yaşayan her seçmenin, anketin uygulandığı mahalleden geçme ve ankete katılmayı kabul etme olasılığı eşit olamaz.

Yaklaşan seçimlere dair Türkiye'deki tüm seçmenlere, yani ana kütlenin tam listesine genelleyebileceğimiz bir araştırma yapmak istiyorsak, ana kütlemizin doğal sınırının farkında olmamız gerekir: Rassal örneklemimizi nereden seçebiliyorsak ana kütlemiz de o olur. Yani, 81 ildeki seçmene rassal bir biçimde ulaşabileceksek eğer, işte ancak o zaman ana kütlemiz için “Türkiye'deki tüm seçmenler” diyebiliriz. Diğer bir deyişle, elimizde verisi olmayan, yani anketlerle elde ettiğimiz verilerden ulaştığımız sonuçları, örnekleme dahil etmediğimiz alanlara genellemeye kalkışırsak, burada bilimsellikten bahsedemeyiz.

Örnekleme tekniklerine ilişkin son olarak; iyi bir örneklem seçimi için, tüm metodolojik adımların düzgün atılmış olması gerekir. Eğer araştırmanın amacıyla uyuşmayan, spesifik değerleri belirlenmemiş, konuyla alakasız bir hipotez yazılmışsa, “acaba örneklem çerçevesi nasıl olmalı?”, “hangi örnekleme tekniği kullanılmalı?” gibi ince ayrıntılara girmeye de gerek kalmaz. Daha doğrusu, bu soruyu sorma hakkı otomatikman kaybolur.

Anket uygulamaları ve toplumsal prim

Bir sonraki genel seçimlere yalnızca iki yıl kaldığı düşünüldüğünde, siyasi tutum anketleriyle daha sık karşılaşacağımızı tahmin etmek zor değil. Araştırma konusu belirlemede gündemde ne varsa onu çalışmanın toplumsal bir primi ve maddi bir kazancı olduğunu belirtmiştim. Hiçbir araştırma firması, yaklaşan seçimlere dair siyasi tutum araştırmasını bedavaya yapmaz, yapamaz. Bir bütçeye gereksinim duyar. Meşakkatli ve maliyetli olmakla birlikte, kâr getirmesi veya pozitif çıktıları olması gereken bir iştir bu. Dolayısıyla bu noktada, anketi uygulayacak olan araştırma firmasının bir şekilde maddi kaynaklara ulaşması gerekmektedir.

Araştırma firmasının finanse edilebilirliği ve bunun devamlılığı, o firmanın başarısıyla alakalıdır. Araştırma firmasının başarısı da tabii ki tahminlerin sonuçlarla ne kadar örtüştüğüyle ölçülebilir. Bu durumda araştırma firmasının daha önceki seçimlerde elde ettiği başarısını, yani “tutturma” gücünü de iyi incelemek gerekir.

Sürekli hatalı tahminler yapan bir araştırma firmasının, sonraki seçimlerde yapacağı araştırmalarda finanse edilme olasılığının düşük olması beklenir. Eğer her seçimde yanlış ve tutarsız tahminlerle ilerleyen bir firmadan bahsediyorsak, o firmanın niçin finanse edildiği sorusunun arka planında, katılımcıyı manipüle etmek gibi açık ya da örtük farklı farklı birçok amaç karşımıza çıkabilir.

Peki, anket sonuçlarıyla seçim sonuçları aşağı yukarı tutarlı çıkan “başarılı” anket firmaları, katılımcıyı manipüle etmemiş midir? Pekala etmiş olabilir. Emre Erdoğan, genelde anket verilerinin toplandıktan sonra manipüle edildiğine yönelik genel bir kanının olduğunu, ama aslında anket esnasında sorulan sorularla da insanların ikna edilebileceğini vurgular. ‘Kime oy vereceksiniz?’ sorusuna gelene kadar katılımcının başka hangi soruları yanıtladığı önem kazanmaktadır: “Bir soru bir düşünceyi, başka bir soru başka bir düşünceyi tetikler ve nihai soruyu sorduğunuzda, katılımcınız sizin istediğiniz yanıtı vermeye hazır hale gelmiştir.”

Anket yapan kurum ve kuruluşların yapmış oldukları çalışmalar, genellikle en spekülatif ve vurucu yanlarıyla basına yansıtılır. Gündeme dair “bomba etkisi yaratan”, sansasyonel araştırma bulguları basına yansıdığında, merak edip bu etkiyi yaratan araştırma firmalarının künyesini incelerseniz eğer; sırf yok denmesin diye gelişigüzel tasarlanmış web sitelerine, eksik ve basite kaçan bilgilere ve de en kötüsü, metodolojik çalışma geçmişi olmayan yönetici kadrolarına rastlarsınız.

Kendi kurumsal yapısı hakkında bile net bir bilgi sunamayan araştırma firmalarının, yürütmüş oldukları anket ve alan araştırmalarına dair şeffaflığı ne kadar inandırıcıdır? Buna cevap vermek oldukça zor. Peki, bilginin şeffaflığı niçin önemli olsun ki? Çünkü bir ihtimal, belki, anket firması, yayımladığı sonuçları kafadan uyduruyor olabilir.

Peki ama anket sonuçlarının kafadan uydurulmuş, yani sahte ya da hatalı olması neyi değiştirir ki? Her şeyi.

Emre Erdoğan’ın paylaştığı, Tyler Yeargain’ın kaleme aldığı “Fake Polls, Real Consequences: The Rise of Fake Polls and the Case for Criminal Liability” (Sahte Anketler, Gerçek Sonuçlar: Sahte Anketlerin Yükselişi ve Cezai Sorumluluk Davası) adlı makalede, sahte anketler aracılığıyla seçimlere müdahale edildiği ve bunun da seçim güvenliği açısından suç kapsamına alınması gerektiği vurgulanıyor. Yeargain, eğer cezasız bırakılırsa, siyasi tahmin piyasalarını etkileme gücünden ötürü, sahte anketler yayımlamanın olumsuz toplumsal sonuçlara yol açabileceğini savunuyor.

Son: Çeşitli kamuoyu araştırma örnekleri üzerinden basit bir değerlendirme

Yazının son kısmına kadar, siyasi tutum anketi bile olsa, toplumsal araştırma sürecinde yöntemin, örnekleme tekniklerinin ve araştırma etiğinin önemine değinmiştim. Bu kısımdan itibaren bu önemli konulara ilişkin güncel birkaç örneğe yer verip, bir değerlendirme yapacağım.

İlk ele aldığım örnek bir araştırma firmasının 2 Nisan 2021 tarihli “Toplumun Boğaziçi Üniversitesi Olaylarına Bakışı” başlıklı çalışmasından. Bu çalışmada, Türkiye’deki 15 yaş üstü yetişkin nüfusu temsil eden kitlenin, siyasal eğilimlerinin, tercihlerinin ve profillerinin “anlaşılması” amaçlanmış. Araştırmanın yöntemine dair neredeyse hiçbir bilginin paylaşılmadığı bu raporda, 71 ilin merkez dahil 327 ilçesinde 2643 kişiyle telefonla görüşmeler yapılarak anket uygulandığı belirtilmiş.

Öncelikle, örneklem çerçevesinde içleme/dışlama kriterinin niçin 15 yaş üstü olarak belirlendiğinin açıklanmaması büyük bir sorun. Eğer 15 yaşında bir çocuğum olsaydı ve herhangi bir anket firması tarafından kendisine ulaşılsaydı, üzerine de böylesi kritik bir konuya dair düşüncesi sorulsaydı, o anket firmasıyla bir güzel davalık olurduk. Bu noktada, anket firmasının 18 yaşını doldurmamış bireylerle araştırma yaparken, ebeveynlerinden gerekli izinleri almış olduğunu belirtmesi gerekiyordu.

Çok detaya girmeden, ana kütleyi temsil etmesi açısından 71 ilden örneklem seçilmesi güzel, ama yine de hangi iller olduğu kısa bir dökümle belirtilmeliydi. Eğer örneklem grubuna dahil edilmeyen 10 ilin içinde bir büyükşehir varsa, bu bir problem yaratabilir.

Raporda şöyle bir ifade geçiyor: “Toplumun yüzde 67’si Boğaziçi Üniversitesi’ndeki olaylara dair ‘öğrenciler kayyum atamasına karşı haklı tepki gösteriyor’ yanıtını verirken, yüzde 33’ü ise ‘rektör atamasını doğru buluyorum, öğrenciler haksız’ yanıtını tercih ediyor”.

Bu örnekte ve bunun gibi birçok çalışmada atlanan önemli, hatta hayati bir unsur var: “cevap yok” diyenlerin örneklem içindeki payı. Yukarıdaki ifadede bu pay yüzde sıfır. Herkes cevaplamış. “e, ama telefonla aranmışlar” denebilir fakat böylesi hassas bir konuda, mevcut sosyopolitik atmosfer de göz önünde bulundurulursa, telefonu yanıtlayan kişinin “bilmiyorum, lütfen rahatsız etmeyin” demesi çok olasıdır. Tahminimce, yalnızca cevap vermeye razı olan katılımcılar örnekleme dahil edildiği için “cevap yok” oranı sıfır çıkmış. İşte bu da örneklem seçimindeki rassallığı bozan bir durum.

Etik açıdan da bir başka problemle karşı karşıyayız. Dürüstçe söyleyeyim, böyle bir telefon bana gelseydi, yönelteceğim ilk soru şu olurdu: “Siz benim telefon numaramı nereden biliyorsunuz?”. İster niceliksel olsun, ister niteliksel, tüm sosyal bilimsel araştırmalar, etik kurallara uymak zorundadır. Araştırmaya dahil edilen katılımcının kimliği, adresi, telefon numarası, e-posta bilgisi, araba plakası gibi kişisel bilgilerine erişmek, o katılımcıyı doğrudan ya da dolaylı yoldan riske atmak demektir. Örneğin, ortaya çıkan sonuçlardan rahatsızlık duyan bir kesim olabilir ve elde edilen kişisel bilgilerden ötürü katılımcılara ulaşabilme ihtimali doğmuş olur. Öte yandan, böyle bir durum yaşanmasa bile, böylesi bir ihtimalin yaratacağı tedirginlikle, katılımcı normalde vereceği cevabın aksini söyleyebilir.

Etik ihlallerin önemine ilişkin somut ve güncel bir örnek vermek gerekirse; ABD Boston Northeastern Üniversitesinde bir öğrenci, tam da COVID-19 kısıtlamalarının olduğu bir dönemde, kampüsteki diğer öğrencilere, eğer organize edilebilirse sosyal etkinliklere ve partilere katılıp katılmayacaklarına yönelik bir anket yapıyor. 115 öğrenci evet, 640 öğrenci hayır diyor. İşler tam da bu noktada ilginç bir hal alıyor: Üniversite yönetimi bir şekilde anket sonuçlarına ulaşıyor ve evet diyen 115 öğrenciye ve velilerine kınama yazısı gönderiyor. Hem teknik açıdan hem de etik açıdan oldukça problemli bir durum.

Araştırmacılar olarak, katılımcıdan bilgi talep ettiğimiz anda, katılımcıyı riske attığımızı unutmamamız gerekir.

Yine bir diğer araştırma örneği, “Türkiye Seçmen Eğilimleri Araştırması Şubat 2020” başlığını taşıyor. Çalışmada yalnızca on ilden veri toplanmış, bu açıdan tüm Türkiye’yi temsil ettiğini söylemek biraz güç. Ayrıca çalışmanın kırsalda mı yoksa kente mi yapıldığı bilgisinin olmayışı da önemli bir eksiklik.

Araştırma firmasının yayımladığı raporda, anketin en vurucu sorusu olan “Bugün bir seçim olsa hangi partiye oy verirsiniz” kısmına ilişkin tutarsız analizler yer almakta. 1925 katılımcının dahil edildiği ankette, yüzde 28 ile “kararsız” cevapları en yüksek seviyede. Ardından iki vahim hata birbirini takip ediyor: “Kararsızlar dağıtıldıktan sonra” ibaresiyle yeni bir tablo düzenlenmiş fakat başta 1925 olan katılımcı sayısı 1050'ye düşürülmüş, neredeyse 900 kişi yani örneklemin yarısı araştırma kapsamından bir anda çıkarılmış.

Kararsız cevaplar bu şekilde dağıtılamaz. Araştırma firması da dağıtmak yerine eksiltmeyi tercih etmiş ve eksiltilen katılımcı gruba “oy kullanmayacağım” diyenleri ve “fikrini söylemeyenleri” de eklemiş. Tam bir veri kıyımı.

Oy kullanmayanlar belki “cevapsız” ya da “kararsız” kategorisinde değerlendirilebilir, fakat fikrini söylemeyenlerin, en azından bir kısmının, bir siyasi partiye oy vereceği olasıdır. Bu olasılığı yok saymak, hiçbir metodolojik modele sığmaz.

Raporun sonlarına doğru, bazı tablolarda katılımcı sayısı 2121 kişiye, bazı tablolarda ise 3045 kişiye ulaşıyor. 1925 katılımcıyla yapılan bir çalışmada 3045 katılımcının cevabını almak, temel fizik kanunlarına aykırıdır. Buradaki hatanın muhtemel sebebi, aynı anda birden çok şıkkın işaretlendiği (tek soruda 3 şık gibi) soruların analizlerinde hesaplama hatası yapılması.

Son bir örnek de bir başka araştırma firmasının, 2017’de OHAL durumuna ilişkin bir memnuniyet anketi çalışması üzerine. “Bilgisayar destekli telefon görüşmesi” yönteminin uygulandığı söylenen bu çalışmada, görüşme yapılan katılımcıların yüzde 72’sinin OHAL’den memnun olduğu ortaya konmuş. Burada atlanan tek bir detay var; anket çalışmasının OHAL esnasında yürütülmüş olması. Dolayısıyla yine bir telefonla anket uygulaması, yine rassal ve etik ilkelerin yok sayılması durumuyla karşı karşıyayız. Bu çalışmada da toplumsal bağlam ve mevcut sosyopolitik atmosfer gibi araştırmanın sonuçlarını etkileyebilecek faktörlerin yeterince düzgün bir biçimde ele alınmadığı söylenebilir.

Bu örnekleri paylaşmış olmamın aslında bir başka sebebi var. Sosyal bilimciler ve araştırmacılar, içinde yaşadıkları toplumu anlamak için toplumsal bağlama vurgu yaparlar. Araştırmacı bir olayı, bir toplumsal eylemi veya etkileşimi, ortaya çıktığı toplumsal bağlamdan ayırdığında, oradaki toplumsal anlam, içerik ve eşsizlik yitirilmiş olur. Yitirilen anlamın ardından en kapsamlı analizler bile yapılsa, en süslü kuramlar bile ortaya atılsa, bilimsel açıdan hiçbir şey ifade etmeyecektir.

Yazıyı Prof. Dr. Emre Erdoğan ve Prof. Dr. Pınar Uyan-Semerci’nin yöntem üzerine yazmış oldukları “Toplumsal Araştırma Yöntemleri İçin Bir Rehber: Gereklilikler, Sınırlılıklar ve İncelikler” adlı çalışmalarından bir alıntıyla bitireyim:

“Anket çalışmalarına mesafeli duran birçok meslektaşımız, yöntemi, örneklemin detaylarını öğrenmeden sayıların, yüzdelerin büyüsüne kapılabilirken; matematiğe mesafeli olan sosyal bilim öğrencileri ise derinlemesine mülakatı ve odak grup çalışmalarını tercih edip, bulgularını yöntemle oldukça çelişkili bir biçimde genelleyici bir dil ile aktarabilmekteler. Sosyal gerçekliğe dair ontolojik, epistemolojik ve metodolojik tartışmaların farkında olmak ve buna istinaden, araştırmacılar, sosyal bilim öğrencileri olarak kendimizin nerede durduğunu düşünmek, bir gereklilik."

Dr Ferhat Değereuronews

Dr. Ferhat Değer, Maltepe Üniversitesi Sosyoloji Bölümü Öğretim Üyesi