Prawda w pomiarach nigdy nie była tak ważna jak dziś. Dlatego prawda jest naszym jedynym celem. Ale dotarcie do tej prawdy nigdy nie było bardziej skomplikowane. Podczas gdy wielu postrzega big data jako panaceum na pomiary w cyfrowym świecie, wiemy, że nie jest to takie proste.
Nielsen’s panels have been the foundation of persons-level measurement for decades, and they remain so today. The growth of big data, however, can’t be ignored as a source of valuable information. But big data alone isn’t suitable for representative measurement. Think about when you change the channel on your TV. That change becomes part of big data, but there is no record of who made the change or who witnessed it.
To highlight the shortcomings of big data from a measurement perspective, we conducted an analysis in the U.S. earlier this year that compared set-top box data with set-top box data that we calibrated with Nielsen panel data. The analysis found that the uncalibrated data is inherently biased and underrepresents minority audiences.
Nie oznacza to jednak, że duże zbiory danych nie mają żadnej wartości. Wręcz przeciwnie. Muszą one jednak opierać się na fundamentalnym zestawie prawd. W tym miejscu do gry wkraczają nasze panele i sztuczna inteligencja (AI). Nasze dane panelowe - klucz do pomiarów na poziomie osób - są idealnym zestawem prawd do szkolenia dużych zbiorów danych.
Dzięki zastosowaniu sztucznej inteligencji wykorzystujemy duże zbiory danych, aby znacznie poszerzyć nasze możliwości pomiarowe przy jednoczesnym zachowaniu jakości i reprezentatywności. Obecnie sztuczna inteligencja jest integralną częścią naszych metod pomiarowych. Na przykład, odegrała ona kluczową rolę w rozwoju naszych rozszerzonych możliwości pomiarowych dla lokalnych rynków telewizyjnych, które łączą skalę dużych zbiorów danych (dane o ścieżce zwrotu {RPD} z odbiorników telewizyjnych) z w pełni reprezentatywnymi danymi panelowymi na rynku.
Starając się zintegrować RPD z naszymi lokalnymi pomiarami, zidentyfikowaliśmy cztery kluczowe zastosowania sztucznej inteligencji.
Rozpoznawanie wzorców danych
Badając sposoby integracji RPD z naszymi pomiarami, zidentyfikowaliśmy ograniczenia związane z RPD poprzez to, co nazywamy "analizami wspólnych domów". W tych analizach, które są kontynuowane do dziś, porównujemy dane strojenia z mierników Nielsena z danymi strojenia RPD. Analizy te obejmują ponad 5000 domów (12 000 telewizorów) każdego miesiąca i wykazały, że RPD pomija niektóre strojenia.
Aby zaradzić temu niedociągnięciu, opracowaliśmy oczekującą na opatentowanie technikę, która wykorzystuje klasyfikatory do rozpoznawania wzorców związanych z brakiem dostrojenia w domach RPD. Następnie algorytmy sztucznej inteligencji usuwają te domy z użycia w pomiarach.
Wiedza o tym, kiedy dekodery są włączone, a telewizory wyłączone
Analizy Nielsena analizują ponad 77 milionów minut strojenia w danym miesiącu, co zapewnia potężny wgląd. To strojenie nie zawsze jest jednak dokładne. Na przykład ludzie nie zawsze wyłączają swoje dekodery, gdy wyłączają telewizory. RPD przedstawia te sytuacje jako oglądanie telewizji, nawet jeśli nikt jej nie ogląda.
Możemy przezwyciężyć to ograniczenie, wykorzystując klasyfikatory głębokiego uczenia się do identyfikacji sytuacji, w których dekoder jest włączony, a telewizor jest wyłączony. Następnie algorytm usuwa nieprawidłowe dostrojenie z RPD.
Identyfikacja cech gospodarstwa domowego i informacji demograficznych z RPD
RPD jest bezimienny i bezimienny i nie może dostarczyć informacji demograficznych. Informacje demograficzne mają kluczowe znaczenie dla prawidłowego reprezentowania wszystkich segmentów populacji. Poza tym dokładny pomiar oznacza możliwość pomiaru ludzi, a nie tylko gospodarstw domowych.
Aby odblokować potężne informacje w domach RPD, kalibrujemy RPD za pomocą znanych cech, danych demograficznych i informacji o strojeniu z ponad 45 000 domów opomiarowanych przez Nielsen oraz cech i danych demograficznych przypisanych przez strony trzecie. Następnie dodajemy te dane wejściowe do zgłoszonej do opatentowania rekurencyjnej sieci neuronowej i techniki mieszanego programowania całkowitoliczbowego, która dokładnie identyfikuje cechy i dane demograficzne domów RPD. Ten algorytm sztucznej inteligencji pozwala nam dokładnie raportować cechy demograficzne osób i gospodarstw domowych.
Określanie lokalizacji pomieszczenia z dekoderem
Informacje z panelu Nielsen dostarczają informacji o widzach i lokalizacji oglądania. RPD nie zapewnia żadnej z tych informacji. Możemy jednak uzyskać te informacje od RPD za pośrednictwem sztucznej inteligencji. Używamy sprawdzonej naukowo metodologii, aby zidentyfikować, który członek gospodarstwa domowego ogląda i gdzie w domu odbywa się oglądanie.
Badania wykazały, że lokalizacja pokoju jest jednym z kluczowych predyktorów tego, którzy członkowie gospodarstwa domowego są widzami. Dlatego używamy klasyfikatora do identyfikacji lokalizacji pokoju dekodera, w którym odbywa się strojenie w domach RPD. W ten sposób możemy użyć tej zmiennej w procesie przypisywania widzów.
Przy tak dużej ilości dostępnych obecnie informacji kuszące jest postrzeganie dużych zbiorów danych przez różowe okulary. Jednak bez powiązania z osobami, duże zbiory danych są dalekie od dokładności. Odkryliśmy, że sztuczna inteligencja jest skutecznym sposobem radzenia sobie z uprzedzeniami w dużych zbiorach danych i z przyjemnością wprowadziliśmy tę innowację dla klientów. Innowacja ta korzysta zarówno z bogactwa informacji dostarczanych przez źródła big data, jak i z zestawu prawd, który zapewnia, że mogą planować, aktywować i mierzyć w oparciu o dane, które są reprezentatywne i dokładne.
This article first appeared on Medium.
