-
Tomasz Kamyk
Sondaże polityczne - Prawda czy fałsz?
-
Po sycącej uczcie wyborczej instytutów badawczych pozostała niestrawność wywołana pochłonięciem nadmiaru sondażowych wyników. Były kosztowne, często niesmaczne i pewnie niejednemu zaszkodziły. Gdyby to samo spotkało nas w restauracji z pewnością byśmy ją omijali szerokim łukiem…
-
Czy V władza przeszkadza?
czyli dlaczego sonadażownie zbłądziły
-
Dlaczego zatem mamy przejść do porządku dziennego, kiedy zaserwowane wyborcze danie jest niezgodne z opisem sondażowego menu?
Instytuty badawcze nie mają interesu w nagłaśnianiu własnych wpadek - to jasne. Największe media, które przez kilka miesięcy żywiły się i karmiły swoich odbiorców ich wynikami także. Wydaje się, że firmy korzystające z usług instytutów na zasadach komercyjnych powinny być najbardziej zainteresowane wyjaśnieniem powodów tak licznych pomyłek. Przeszkodą może być niechęć osób decydujących o zakupie. Są one zwykle pracownikami najemnymi odpowiedzialnymi przez Zarządem i nie mają interesu przyznać się przed nim do złych decyzji...
-
Telefoniczne czy losowo-adresowe
W czasie przygotowywania tekstu otrzymałem od jednego z rozmówców "rekomendację" zachowania ostrożności "w stawianiu tak odważnych tez". Jednak twierdzę, że "dokonania" badawcze w okresie wyborów parlamentarnych i prezydenckich 2005 pozostawiają wiele do życzenia. Kilkunastoprocentowe odchylenia od rzeczywistych preferencji wyborczych niektórzy nazywają po prostu kompromitacją. I nie można tłumaczyć ich jedynie nieobliczalnością społeczeństwa. Zdania są jednak podzielone.
- Sondaże są rzetelne. Polski rynek badań prezentuje bardzo wysoki poziom, nawet w porównaniu z rynkami światowymi. Poza tym badania są u nas są bardzo tanie, jeśli nie za tanie - twierdzi Beata Narojczyk, z działu badań PTK Centertel. No cóż, być może to sygnał do podniesienia cen usług... Ale fakt, że wpadki miały miejsce potwierdzili sami przedstawiciele największych firm badawczych, z którymi rozmawiałem. Dlatego trudno "tak odważnych tez" nie stawiać. Nie dowiedziałem się także, co posłużyło do analizy porównawczej polskich i światowych firm badawczych, zwłaszcza, że większość działających na polskim rynku firm (także tych, z których usług korzysta PTK Centertel) to firmy światowe.
-
Jestem generalnie bardzo sceptyczny, co do badań deklaratywnych w Polsce i unikam ich jak ognia. Wcale nie byłem zaskoczony finalnym wynikiem wyborów, które tylko utwierdziły mnie w moim przekonaniu. - Paweł Gorczyca, marketing manager w Carlsberg Polska S.A.
-
Duże firmy badawcze stosują badania preferencji wyborczych w oparciu o dwie metody: próbę losowo-adresową w domach respondentów oraz telefoniczną. W obydwu wyłaniają wcześniej reprezentatywną grupę Polaków. Unikają metody on-street, którą z powodzeniem stosują do badań marketingowych.
Podstawowy zarzut w odniesieniu do metody telefonicznej dotyczy niespełnienia zalecenia Europejskiego Stowarzyszenia Badaczy Rynku i Opinii, które mówi, aby nie stosować jej w krajach, gdzie nasycenie telefonami nie przekracza 85-90 proc. Tymczasem w Polsce wynosi nieco ponad 70 proc. - Takie badanie zrobił np. OBOP dla dziennika : "Fakt" na dwa dni przed pierwszą turą wyborów prezydenckich i wynikało z nich, że Tusk dostanie 44 proc., a Kaczyński 32 proc. - mówi Marcin Palade, który nadzoruje sondaże społeczno-polityczne w Polskiej Grupie Badawczej (PGB). Jak wiemy, rzeczywista różnica między kandydatami wyniosła zaledwie trzy punkty procentowe.
Błąd w tym przypadku mógł wynikać z nadreprezentacji w badaniach telefonicznych elektoratu liberalnego Tuska i PO. - Zdaję sobie sprawę z niskiej skuteczności badania metodą CATI w Polsce. Nie ma w nich odpowiedniej reprezentacji osób z obszarów wiejskich i z małych miast, które w skali kraju stanowią 40 proc. społeczeństwa.
Sedno stanowi różnica pomiędzy deklaracjami, a rzeczywistymi decyzjami. W przypadku badań społeczno-politycznych wprowadzenie ich w życie sprowadza się do oddania głosu na konkretnego kandydata, w przypadku badań marketingowych spełnienie deklaracji zakupu wiąże się już z wydaniem określonej kwoty. A to znacznie trudniejsze - uważa Jacek Mrozik, dyrektor marketingu Netii.
Wad trudno uniknąć także w metodzie losowo-adresowej. W polskich warunkach mamy do czynienia z dużą liczbą odmów odpowiedzi, przez co zmniejsza się próba, a wynik opatrzony jest większym błędem. - Liczba odmów przy tej metodzie kształtuje się na poziomie około 70 proc. W naszych ulicznych badaniach wynosi od 12-15 proc. Konkurenci, aby osiągnąć ten efekt co my musieliby wychodzić z próbą 2-3 tys. osób. W rzeczywistości mają od 500-600 precyzyjnych odpowiedzi - mówi Marcin Palade. Informacji o liczbie odmów zaprzecza Łukasz Mazurkiewicz, prezes Zarządu OFBOR. Przekonuje, że odsetek ludzi odmawiających wpuszczenia ankietera do domu wynosi około 10 proc.
Fakt, że firmy badawcze operują na małych grupach respondentów potwierdza Urszula Krassowska, lider Sektora Badań Społecznych i Politycznych OBOP. - Kilkanaście procent respondentów mówi, że pójdzie na wybory, ale nie wie na kogo odda głos. Jeśli wszyscy oni wprowadzą w życie swoją deklarację i pójdą zagłosować tylko na jednego kandydata, to odwróci to wynik wyborów od sondaży. 40 proc. responentów od razu mówi, że nie pójdzie głosować. Z tysiąca zapytanych zostaje więc 600 respondentów. A im mniejsza próba, tym większy błąd - uważa Krassowska.
Według Marcina Palade metoda losowo-adresowa jest najrzadziej stosowaną metodą w Europie Zachodniej i Stanach Zjednoczonych.
Wyróżnikiem PGB jest to, że dostarcza respondentom kartę z listą partii politycznych. Nie zawiera ona zmiennej "jeszcze nie wiem". Firma wychodzi z założenia, że na prawdziwej karcie do głosowania także nie będzie takiej zmiennej. - Jeżeli sondaż ma być fotografią rzeczywistości, to trzeba sprawdzić, jakie są rzeczywiste preferencje wyborców. Suma wskazań na poszczególne komitety wyborcze musi wynosić 100 proc. - wyjaśnia Palade. Opcję "nie wiem" wykorzystuje się jedynie do analiz. Próba jest zwiększona tak, aby uzyskać minimum tysiąc osób, które po pierwsze wiedzą, że pójdą, a po drugie wiedzą, na kogo będą głosować.
-
Ulica najszczersza?
- Wszystkie badania, jakie robiliśmy, z wyjątkiem jednego na zlecenie "Pulsu Biznesu", wykonaliśmy metodą wywiadów bezpośrednich w domu respondenta. Nie zgadzam się ze zdaniem, że pytanie na ulicy to metoda lepsza niż wywiad telefoniczny - są ludzie, którzy nie wychodzą z domu. Interesuje mnie, w jaki sposób Polska Grupa Badawcza dobiera próbę. Nie mówią o tym, tylko podają gotowy wynik - mówi Tomasz Milczarczyk, z działu badań społeczno-politycznych PBS. Dodajmy, że zwykle najbardziej precyzyjny, przez co nie dziwi zainteresowanie metodologią PGB.
Mnie także zainteresowała. Po pierwsze dlatego, że zdaniem konkurentów miała być owiana tajemnicą, po drugie ze względu na udowodnioną precyzję. Mgiełka tajemniczości szybko została rozwiana - metodologia jest dostępna na stronie internetowej firmy. W skrócie wygląda następująco: losuje się około 25 punktów badawczych uwzględniających kryteria demograficzne. W metryczce PGB stosuje się podział respondentów ze względu na wiek, płeć, wykształcenie i miejsce zamieszkania. Dane muszą się pokrywać z danymi GUS. Jest to tzw. dobór kwotowy - odpowiednia kwota części społeczeństwa jest w ten sposób reprezentowana. W każdym z 25 wylosowanych przez komputer punktów ankieterzy firmy pytają 40-50 osób.
-
Każde badanie rynku czy preferencji wyborczych czy konsumenckich jest tylko pewnym modelem teoretycznym - założeniem, które daje nam ogólny obraz, pokazuje jakiś trend, ale nie jest stuprocentowym, odzwierciedleniem rzeczywistości. Znamy wiele przypadków gruntownych badan związanych z launchem nowych produktów, które po wprowadzeniu okazywały się klapą. Uważam, że firmy badawcze mają najlepsze narzędzia i dobrze wyszkolone kadry, jednak ostateczna interpretacja wyników zawsze jest w rękach zlecającego i dużo zależy od jego doświadczenia i intuicji. - Grzegorz Podgórski, dyrektor ds. rynku telefonii komórkowej Motorola
-
Okazuje się, że choć wszyscy się mylą, jedni mylą się mniej i rzadziej, inni więcej i częściej. Fakt, że wszystkie badania pokazywały właściwy trend nie oznacza, że były metodologicznie doskonałe. Centrum im. Adama Smitha zanalizowało stopień wiarygodności sondaży poprzez porównanie ich wyników z rzeczywistymi wynikami wyborów. Analizowane dane dotyczą ostatnich wyborów do Sejmu, pierwszej i drugiej tury wyborów prezydenckich. Dla każdego z głosowań opracowano ranking firm badawczych szeregując je od najdokładniejszej do najmniej dokładnej. Podobnie jak rok temu (wybory do Parlamentu Europejskiego), pierwsze miejsce w rankingu firm badawczych zajęła Polska Grupa Badawcza. - Nie zgadzamy się z tą ekspertyzą. Jest mało wiarygodna. Do porównania dobrano wyniki sondaży przeprowadzanych w różnych dniach i różnymi metodami. Bardziej cenne wydają nam się audyty, jakie mają miejsce w firmach zrzeszonych w OFBOR - mówi Łukasz Mazurkiewicz. Według TNS OBOP, gdyby wobec wszystkich firm badawczych wymienionych w tej analizie zastosowano jednolite kryteria porównawcze OBOP byłby liderem badania. Zaprezentowane w raporcie wyniki sondaży, przeprowadzonych przez firmę TNS OBOP jako jedyne pochodzą z badania zrealizowanego metodą telefoniczną (CATI) - wyniki badań pozostałych ośrodków badawczych powstały w oparciu o metodę Face to Face (PAPI). - Przeprowadzenie, a następnie upublicznienie oceny, opartej o niejednolite kryteria porównawcze jest błędne metodologicznie, a ponadto godzi w dobre imię TNS OBOP - komentuje Mateusz Galica, dyrektor marketingu TNS OBOP.
21 listopada 2005 r. w Warszawie odbyła się konferencja prasowa OFBOR pt.: "Czy sondaże przedwyborcze rzeczywiście były nietrafne?" Mazurkiewicz zwrócił uwagę na trafność monitorowanych przez firmy badawcze trendów preferencji wyborczych Polaków. - Patrząc na wyniki sondaży, wbrew temu, co się powszechnie uważa, widzimy, że instytuty badawcze bardzo dobrze wywiązały się ze swojego zadania - powiedział.
Powszechnie uważa się, że badacze zbłądzili, a skoro zrobili to w branży społeczno-politycznej, to można przypuszczać, że wyniki ich komercyjnych badań także są mało rzetelne. Nawet, jeśli ktoś uważa, że płaci się za nie niewiele, to niska cena nie usprawiedliwia porażek, których świadkami byliśmy. Na liście zasad etycznych, których powinni przestrzegać członkowie OFBOR znajdują się np.: "badacze rynku przestrzegają zasad etycznych i nie czynią niczego, co mogłoby naruszać reputację badań rynku", czy "badacze rynku gwarantują, że przygotowane projekty i podejmowane działania będą planowane, realizowane, raportowane oraz dokumentowane rzetelnie, transparentnie, obiektywnie z zachowaniem odpowiedniej jakości". Pytanie czy tak było w przypadku ostatnich wyborów pozostawiam otwarte, choć częściowo odpowiada na nie przedstawicielka firmy zrzeszonej w OFBOR-e. - Badania opinii społecznej są takim samym sprawdzianem dla firmy badawczej, jak komercyjne badania rynkowe dotyczące np. preferencji zakupu towaru. Tak jak wyniki pierwszych porównujemy do wyników wyborów, tych drugich do realnej sprzedaży. Kiedy deklarowana wielkość zakupu rozmija się ze sprzedażą - mamy sprawdzian - twierdzi Urszula Krassowska. Co ciekawe, w przypadku badań społeczno-politycznych (dzięki mediom) mamy dostęp do wyników sondaży większości firm badawczych, zaś wynik wyborczy daje nam odpowiedź, kto był najbliżej. Marketer, który (tak jak PTK Centertel) korzysta z jednego tylko źródła badań nie ma pewności, że badania innej firmy nie byłyby dokładniejsze.

Kamyczek do ogródka mediów
Rynek badań politycznych jest bardzo dynamiczny. Społeczeństwo jest skomplikowanym targetem. Deklaracje uczestnictwa w wyborach w określonym momencie czasowym (wpływa na nie wiele czynników: kampania wyborcza, znajomi, opinia proboszcza, debaty itp.) mogą się zmieniać w czasie. Wątpliwe jednak wydaje się, aby preferencje tego targetu uległy diametralnej zmianie w ciągu dwóch dni.
Częścią winy za tę sytuację firmy badawcze obarczają media, którym brak wiedzy z zakresu badań. Dużo lepiej oceniają profesjonalizm po stronie klientów komercyjnych. - Media często w zły sposób interpretują i prezentują wyniki, nie podają np. liczby niezdecydowanych - mówi Krassowska. Potwierdza to Polskie Towarzystwo Socjologiczne, które za podstawowe błędy po stronie mediów uznało brak prezentacji pełnej metryczki badań, braku komentarza metodologicznego i socjologicznego do wyników i braku odpowiednich prognoz. Jednak współodpowiedzialność za tę sytuację ponoszą także firmy badawcze, które w czasie trwania kampanii niezbyt wyraźnie zwracały na te błędy uwagę. PTS znajduje także błędy metodologiczne poszczególnych ośrodków badania opinii, jak choćby badanie telefoniczne na próbie 500 osób. "Niektóre ośrodki badawcze wychodziły z roli obiektywnego badacza, czego konsekwencją było obniżenie rzetelności i trafności pomiaru, a co najmniej w kilku przypadkach, być może intencjonalnie, uczestniczyły de facto w kampanii wyborczej niektórych kandydatów i partii" - czytamy w stanowisku PTS.
Według Urszuli Krassowskiej nie bez znaczenia jest element tzw. "poprawności politycznej". - Kandydat, który cieszy się lepszym wizerunkiem medialnym, ma poparcie autorytetów, jest postrzegany jako kandydat ludzi wykształconych i mądrych. Ma większą szansę na to, że otrzyma "poparcie" w sondażu, choć w rzeczywistości respondent poprze tego drugiego, którego w sondażu "wstydził się" - mówi.
Błędy po stronie mediów potwierdza także Tomasz Milczarczyk z działu badań społeczno-politycznych PBS. - Jeśli aż kilkanaście procent badanych nie wie, na kogo chce zagłosować, to może być tak, że cała, albo zdecydowana większość tych niezdecydowanych w ostateczności zagłosuje na tego z mniejszym poparciem, co zmienia wynik o 180 stopni. Ta kampania jest więc porażką i firm badawczych i mediów - mówi Milczarczyk.
Firmy, odpowiadając na zapotrzebowanie mediów, nie zajęły się ich edukowaniem, a media biegnąc za szybkością informacji zapomniały zadbać chyba o drugą cechę dobrej informacji - jej rzetelności. - Można było pokazać osobno preferencje niezdecydowanych i zdecydowanych - to sposób, by tych wyników nie wrzucać do jednego worka - mówi Maciej Siejewicz, kierownik działu customer reasearch GfK Polonia.
Zastanawia jednak fakt, że niektóre media nie publikowały badań PGB, pomimo faktu, że firma prezentowała bardzo precyzyjne wyniki. Tak było w przypadku ostatniego sondażu przed drugą turą wyborów prezydenckich. - PGB, jako pierwsza wykazała przewagę Kaczyńskiego nad Tuskiem. Zastanawiają w tym kontekście komentarze niektórych przedstawicieli świata mediów. Tomasz Lis w programie "Co z tą Polską" z 15 września powiedział, iż "Lech Kaczyński zazwyczaj wygrywa w sondażach PGB". W rzeczywistości spośród 28 pomiarów preferencji prezydenckich prowadzonych od listopada 2003 roku przez PGB Lech Kaczyński był samodzielnym liderem tylko w 10 z nich.
Z kolei na łamach "Gazety Wyborczej" (6 czerwca 2005 roku) ukazał się artykuł pt. "Giertych groził TVP", w którym znalazła się informacja, że na PGB "nie powołują się poważne media, lecz jedynie prawicowe partie". W rzeczywistości sondaże Polskiej Grupy Badawczej, a także firm wchodzących w jej skład (OBW i Estymator) cytowane są od lat przez zdecydowaną większość mediów w tym m.in. przez: "Super Express", "Fakt", "Trybunę", "Życie Warszawy", "Politykę", "Przegląd", Wiadomości TVP, Fakty TVN, Wydarzenia Polsat, RMF FM, Radio Zet, Radio TOK.FM, Polskie Radio, portale internetowe wp.pl i interia.pl, a niekiedy także... przez samą "Gazetę Wyborczą".
O braku profesjonalizmu świadczyć może także komentarz "Rzeczpospolitej" do telefonicznego sondażu przeprowadzonego przez GfK w dniach 15-16 września na 600-osobowej grupie respondentów. Donald Tusk otrzymał 51 procent głosów, co według dziennika miało oznaczać, że zostanie prezydentem już po pierwszej turze wyborów.
Drugie miejsce zajął Lech Kaczyński (z poparciem 29 procent Polaków), co zdaniem "Rzeczpospolitej" świadczyć miało o tym, że nie ma on już szans na dogonienie lidera sondaży. "Na dodatek Kaczyński musi porządnie powalczyć, żeby w ogóle doszło do drugiej tury wyborów prezydenckich" - komentowała gazeta.
Warto w tym miejscu zastanowić się nad wartością telefonicznego sondażu na tak małej próbie…
- Nie płaczemy, że "Gazeta Wyborcza" i "Rzeczpospolita" nie cytują naszych wyników, bo to jest problem ich czytelników, którzy od lat nie mają dostępu do badań firmy, która myli się najmniej i najrzadziej - komentuje Palade.
Jest zwolennikiem publicznej debaty w Telewizji Polskiej w gronie zainteresowanych - firm i socjologów. Pomysł zasygnalizował szefostwu telewizji tuż po wyborach. Pozytywnie nastawiony do tej koncepcji jest także prezes OFBOR. - Nie boimy się publicznej debaty pod warunkiem, że jej animatorem nie będzie Pan Palade, który dosyć ostro atakuje swoich konkurentów. Tylko szczególna łagodność po ich stronie sprawia, że te zaczepki nie znajdują radykalnych działań - mówi Łukasz Mazurkiewicz.
Według Jacka Chołoniewskiego szefa Estymatora, także środowiska polityczne powinny się tym zainteresować dla dobra całej branży i stworzyć coś w rodzaju Polskiego Centrum Studiów Strategicznych.
Tymczasem proponuję przeprowadzenie sondażu na reprezentatywnej grupie Polaków i zadanie im pytania, czy ufają sondażom.. Tylko, kto teraz uwierzy jego wynikowi…
-
Nie ulega wątpliwości, że dobrze przeprowadzone badania marketingowe są wiarygodnym źródłem informacji. Pozwalają zredukować ryzyko podjęcia błędnej decyzji i fakt iż pojawiła się kilkuprocentowa różnica pomiędzy sondażami, a wynikami nie oznacza, że coś się w tej materii zmieniło. Należy uwzględnić fakt dużej dynamiki zmian preferencji wyborczych w ostatnich dniach kampanii oraz fakt iż frekwencja wyniosła mniej niż wynikało to z sondaży. W przypadku badań marketingowych bardziej analizuje się długofalowe trendy niż różnice na poziomie kilku procent. - Andrzej Kopleński, dyrektor ds. zarządzania portfelem marek premium Kompanii Piwowarskiej.