Niesprawiedliwa nowa metodologia badania Radio Track?

Przypomnijmy: Komitet Badań Radiowych i Millward Brown SMG/KRC, na bazie raportu GUS przygotowanego po Narodowym Spisie Powszechnym 2011, zaktualizowały w październiku br. metodę przetwarzania danych w badaniu Radio Track. Do ważenia danych surowych obok takich kategorii, jak: płeć, wiek, miejsce zamieszkania, wielkość gospodarstwa i dzień tygodnia, dołożono kategorię wykształcenia (więcej na ten temat).

Jak podkreśla Magda Jethon, szefowa radiowej Trójki, problem polega na tym, że jeśli policzy się falę sierpień - październik, w której dwa miesiące liczone będą „starą metodą”, a jeden miesiąc nową metodą, następnie falę wrzesień - listopad, w której jeden miesiąc liczony będzie starą metodą i dwa miesiące nową, a następnie falę październik - grudzień, gdzie trzy miesiące będą ważone nową metodą, to podczas porównań może powstawać fałszywy obraz świadczący o stałej (trwającej kolejne trzy miesiące) tendencji spadkowej słuchalności Trójki.

- Zmieniając metodologię ważenia danych słuchalności, KBR wprowadził do nich kryterium wykształcenia. Mówiąc najprościej zmniejszono w grupie badanej liczbę osób z wykształceniem wyższym. Analizując nowe wyniki fala do fali, łatwo zauważyć, że zmiana w ważeniu badań uderza najmocniej w Trójkę, w której odsetek osób z wykształceniem wyższym jest największy - podkreśla Magda Jethon. Szefowa Trójki przyznaje, że ma w tej sytuacji mieszane odczucia i zastanawia się, dlaczego nie zaproponowano odcięcia grubą kreską starych badań od nowych.

Wątpliwości w tej sprawie ma także Dariusz Grzywaczewski, prezes zarządu Radia PiN. - Jeśli zmienia się korpus danych, a jak rozumiem mamy w pewnym sensie do czynienia z taką sytuacją, to nie ma wyjścia i trzeba to uwzględnić, żeby wyniki badań były jak najbardziej zbliżone do rzeczywistości. Osobiście wprowadzałbym jednak takie zmiany dopiero od początku 2013 roku - mówi Grzywaczewski.

- Obawiam się, że zestawienie niespójnych „metodologicznie” wyników różnych fal z roku 2012 i 2013 może wygenerować pogorszenie wyników stacji penetrujących grupy słuchaczy z wykształceniem magister lub magister plus. Obawiamy się także, że zmiana metodologiczna może doprowadzić do „statystycznego” zwiększenia udziału słuchaczy z wyższym wykształceniem w odniesieniu do stacji „mainstreamowych” - podkreśla Dariusz Grzywaczewski.

Monika Polewska, rzecznik prasowy Komitetu Badań Radiowych mówi, że do KBR nie dotarły żadne informacje o kontrowersjach, dotyczących wprowadzenia kategorii wykształcenia do ważenia danych surowych Radio Track. - Konsultowaliśmy się nie tylko w gronie KBR i SMG/KRC, ale także z innymi podmiotami radiowymi, m.in. z Polskim Radiem i Audytorium 17. Przedstawiciele tych podmiotów uczestniczyli w obradach KBR, mieli wgląd do testowanych modeli ważeniowych i nie zgłaszali uwag, co do merytoryki zastosowanego rozwiązania - mówi Polewska.

Polewska dodaje także, że „struktura demograficzna społeczeństwa ulega ciągłym zmianom i wyrazem uczciwości wobec całego rynku jest dbałość o to, by badanie możliwie najlepiej odzwierciedlało aktualną strukturę badanej populacji”. - Od momentu opublikowania najnowszych danych GUS z Narodowego Spisu Powszechnego, mamy nową, najbardziej aktualną podstawę struktury polskiego społeczeństwa pod względem wykształcenia, do której należy się odnosić. I dane te zostały po prostu zastosowane do badania - mówi Polewska.

Kuba Antoszewski, PR Manager MillwardBrown SMG/KRC przyznaje, że każda zmiana metodologii pociąga za sobą zmianę systemową w wynikach, co oznacza konieczność zachowania ostrożności przy porównywaniu fal w okresie przejściowym. - Przypomnijmy jednak, że głównym celem Radio Track nie jest budowanie trendów lub prowadzenie analiz o charakterze historycznym, ale dostarczanie aktualnego i maksymalnie wiarygodnego narzędzia wyceny wartości reklamowej czasu antenowego poszczególnych nadawców. Wprowadzona zmiana oznacza znaczące zwiększenie jakości i wiarygodności tego narzędzia - mówi Antoszewski.

Rozmawialiśmy na ten temat także z anonimowymi rozmówcami, którzy nie zgodzili się, aby ujawnić ich dane. W rozmowach tych pojawiły się m.in. pytania o to, dlaczego nie wprowadzono zmian od stycznia 2013 roku, tylko w sporym pośpiechu w październiku 2012. Kilku rozmówców wyraziło obawę, że wprowadzone w takim pośpiechu zmiany mogą mieć związek z nowymi budżetami reklamowymi.

>>> RMF FM i Radio ZET tracą. Dane za sierpień - październik 2012

Do Komitetu Badań Radiowych należą rozgłośnie komercyjne: Grupa RMF, Eurozet, Grupa Radiowa Agory oraz Time. Wykonawcą badania Radio Track jest Millward Brown SMG/KRC.

Opinię na temat aktualizacji metody przetwarzania danych w badaniu Radio Track przedstawiają nam: Magda Jethon, szefowa Programu 3 Polskiego Radia; Dariusz Grzywaczewski, prezes zarządu Radia PiN; Kuba Antoszewski, PR Manager MillwardBrown SMG/KRC oraz Monika Polewska, rzecznik prasowy Komitetu Badań Radiowych.

Magda Jethon, szefowa Programu 3 Polskiego Radia

Komitet Badań Radiowych, w skład którego wchodzą wyłącznie stacje komercyjne, podjął decyzję, że zmieni metodologię ważenia danych słuchalności. Aby być bliżej rzeczywistości, wprowadzi do nich kryterium wykształcenia. Mówiąc najprościej zmniejszy w grupie badanej liczbę osób z wykształceniem wyższym. Analizując nowe wyniki fala do fali, łatwo zauważyć, że zmiana w ważeniu badań uderza najmocniej w Trójkę, w której odsetek osób z wykształceniem wyższym jest największy.

Z faktem zmiany metodologii nie zamierzam dyskutować. Jednak zwracam uwagę, że jedynym uczciwym rozwiązaniem jest odcięcie grubą kreską nowych badań od starych. Jeśli się tego nie zrobi, powstanie obraz nieprawdziwy. Jeżeli policzy się falę sierpień – październik, w której dwa miesiące liczone będą „starą metodą”, a jeden miesiąc nową metodą, następnie falę wrzesień – listopad, w której jeden miesiąc będzie liczony starą metodą i dwa miesiące nową, następnie falę październik – grudzień, gdzie trzy miesiące będą ważone nową metodą, to powstanie nieprawdziwy obraz świadczący o stałej (trwającej kolejne trzy miesiące) tendencji spadkowej słuchalności Trójki.

Dariusz Grzywaczewski, prezes zarządu Radia PiN

Jeśli zmienia się korpus danych, a jak rozumiem mamy w pewnym sensie do czynienia z taką sytuacją, to nie ma wyjścia i trzeba to uwzględnić, żeby wyniki badań były jak najbardziej zbliżone do rzeczywistości. Jak i kiedy to zrobić, to bardzo dobre pytanie, na które nikt chyba nie ma dobrej odpowiedzi. Osobiście wprowadzałbym takie zmiany od początku 2013 roku.

Dokładnie przyglądamy się, jak opracowywany jest i jakie zasady przyporządkowania rządzą nowym korpusem danych. Na razie nie uzyskaliśmy odpowiedzi na wszystkie nasze wątpliwości i pytania, które zadaliśmy SMG. W związku z czym trudno precyzyjnie ostatecznie ocenić, czy porównanie wyników falowych liczonych „nową metodą” i „starą metodą” będzie rzetelne.

Na razie, na podstawie dostępnych informacji, obawiam się, że zestawienie niespójnych „metodologicznie” wyników różnych fal z roku 2012 i 2013 może wygenerować pogorszenie wyników stacji penetrujących grupy słuchaczy z wykształceniem magister lub magister plus. Obawiamy się także, że zmiana metodologiczna może doprowadzić do „statystycznego” zwiększenia udziału słuchaczy z wyższym wykształceniem w odniesieniu do stacji „mainstreamowych”.

Kuba Antoszewski, PR Manager MillwardBrown SMG/KRC

Źródłem ostatniej modyfikacji metodologii badania Radio Track jest oparte na informacji z ostatniego spisu powszechnego przeświadczenie, że ważenie danych w oparciu o zmienną wykształcenia pozwoli na otrzymanie wyników o wyższej jakości niż dotychczasowe, czyli lepiej odzwierciedlających strukturę audytorium radiowego. Oczywiście każda zmiana metodologii pociąga za sobą zmianę systemową w wynikach, co oznacza konieczność zachowania ostrożności przy porównywaniu fal w okresie przejściowym. Przypomnijmy jednak, że głównym celem Radio Track nie jest budowanie trendów lub prowadzenie analiz o charakterze historycznym, ale dostarczanie aktualnego i maksymalnie wiarygodnego narzędzia wyceny wartości reklamowej czasu antenowego poszczególnych nadawców. Wprowadzona zmiana oznacza znaczące zwiększenie jakości i wiarygodności tego narzędzia.

Monika Polewska, rzecznik prasowy Komitetu Badań Radiowych

Nie dotarły do nas żadne informacje o kontrowersjach, dotyczących wprowadzenia kategorii wykształcenia do ważenia danych surowych Radio Track, a konsultowaliśmy się nie tylko w gronie KBR i SMG/KRC, ale także z innymi podmiotami radiowymi, m.in. z Polskim Radiem i Audytorium 17. Przedstawiciele tych podmiotów uczestniczyli w obradach KBR, mieli wgląd do testowanych modeli ważeniowych i nie zgłaszali uwag, co do merytoryki zastosowanego rozwiązania.

Metodologia Radio Track nie zmienia się, jest to Day After Recall (wywiad dotyczący dnia poprzedniego), CATI (wywiady przeprowadzane przez telefon). Zmiana polega tylko na dołożeniu kategorii wykształcenia do ważenia danych surowych (dotychczas ważono przez następujące kategorie: płeć, wiek, miejsce zamieszkania, wielkość gospodarstwa i dzień tygodnia). KBR zaleca branie pod uwagę tego faktu przy analizie danych słuchalności i porównywaniu danych rok do roku.

Struktura demograficzna społeczeństwa ulega ciągłym zmianom i wyrazem uczciwości wobec całego rynku jest dbałość o to, by badanie możliwie najlepiej odzwierciedlało aktualną strukturę badanej populacji. Od momentu opublikowania najnowszych danych GUS z Narodowego Spisu Powszechnego, mamy nową, najbardziej aktualną podstawę struktury polskiego społeczeństwa pod względem wykształcenia, do której należy się odnosić. I dane te zostały po prostu zastosowane do badania.

Zmiana wynika z odpowiedzialności wobec rynku i troski o jakość badania. Aktualizacja schematu ważenia jest – w badaniach ciągłych – warunkiem podstawowym jego stałej reprezentatywności. Ze względów praktycznych (np. ze względu na częstotliwość udostępniania danych przez GUS), aktualizacja taka odbywa się zwykle raz w roku, co nie powoduje, iż dane przestają być porównywalne. Przeciwnie – brak aktualizacji powodowałby ograniczenie reprezentatywności danych w kolejnych okresach, a co za tym idzie – brak porównywalności wyników. Np. z roku na rok poszczególnie przedziały wiekowe społeczeństwa zmieniają swoją liczebność nawet o kilka procent, co znajduje odzwierciedlenie w aktualizacji procesu ważenia danych.