測定における真実が今日ほど重要な時代はない。それゆえ、真実こそが私たちの唯一の課題なのだ。しかし、その真実に到達することは、かつてないほど複雑になっている。多くの人がビッグデータを、デジタルが発達した世界における計測の万能薬とみなしているが、私たちはそれがそれほど単純なものではないことを知っている。
Nielsen’s panels have been the foundation of persons-level measurement for decades, and they remain so today. The growth of big data, however, can’t be ignored as a source of valuable information. But big data alone isn’t suitable for representative measurement. Think about when you change the channel on your TV. That change becomes part of big data, but there is no record of who made the change or who witnessed it.
To highlight the shortcomings of big data from a measurement perspective, we conducted an analysis in the U.S. earlier this year that compared set-top box data with set-top box data that we calibrated with Nielsen panel data. The analysis found that the uncalibrated data is inherently biased and underrepresents minority audiences.
しかし、ビッグデータに価値がないというわけではない。正反対だ。しかし、それは基礎となる真実セットに基づく必要がある。そこで登場するのが、パネルと人工知能（AI）だ。人レベル測定の鍵となるパネルデータは、ビッグデータをトレーニングするための完璧な真理セットなのだ。
AIを活用することで、品質と代表性を維持しながら、ビッグデータを活用して測定能力を飛躍的に向上させている。今日、AIは当社の測定手法に不可欠なものとなっている。例えば、ビッグデータの規模（テレビからのリターン・パス・データ｛RPD｝）と完全に代表的な市場内パネル・データを組み合わせた、地方テレビ市場向けの強化された測定能力の開発において、AIは極めて重要な役割を果たしました。
RPDを地元での測定に統合しようとするなかで、AIの4つの重要な利用法を特定した。
データパターンの認識
RPDを測定に統合する方法を研究する中で、私たちは "コモン・ホームズ分析 "と呼ばれるものを通じて、RPDに関連する限界を特定した。現在も続いているこの分析では、ニールセンのメーターから得たチューニングデータとRPDのチューニングデータを比較しています。これらの分析では、毎月5,000以上の家庭（12,000台のテレビ）を対象としており、RPDがいくつかのチューニングを見逃していることが判明している。
この欠点に対処するために、私たちは、RPDホームのチューニングの欠落に関連するパターンを認識する分類器を使用する特許出願中の技術を開発しました。そこから、AIアルゴリズムがこれらのホームを測定に使用しないようにします。
セットトップボックスのオンとテレビのオフを知る
ニールセンの一般家庭分析では、ある月に7700万分以上のチューニングを分析し、強力なインサイトを提供している。しかし、そのチューニングは必ずしも正確ではない。例えば、テレビの電源を切るときにセットトップボックスの電源を切るとは限らない。RPDはこのような状況を、誰も見ていないにもかかわらず、テレビ視聴として表示する。
この限界を克服するには、ディープラーニングの分類子を採用して、テレビがオフのときにセットトップボックスがオンになっている状況を識別する。その後、アルゴリズムはRPDから無効なチューニングを削除する。
RPDから世帯特性と人口統計情報を特定する
RPDは名前も顔もなく、人口統計学的情報も提供できない。人口統計学的情報は、人口のすべてのセグメントを正しく表現する上で非常に重要である。そしてそれ以上に、正確な測定とは、世帯だけでなく人々を測定できることを意味する。
そこで、RPDホームの強力な情報を解き放つために、45,000以上のニールセン測定ホームから得られた既知の特性、人口統計、チューニング情報、およびサードパーティが割り当てた特性と人口統計を使ってRPDを校正します。そして、これらの入力を特許出願中のリカレント・ニューラル・ネットワークと混合整数計画法に加え、RPDホームの特性と人口統計を正確に特定します。このAIアルゴリズムにより、個人と世帯の人口統計学的特徴を正確に報告することができます。
セットトップボックスの部屋位置の決定
ニールセンのパネル情報は視聴者情報と視聴場所を提供する。RPDはどちらも提供していない。しかし、私たちはAIを通じてRPDからその情報を得ることができます。私たちは科学的に証明された方法論を使って、どの世帯員が視聴しているか、家庭内のどこで視聴が行われているかを特定します。
研究により、部屋の位置は、どの世帯員が視聴者であるかを予測する重要な要因のひとつであることがわかっている。そこで、RPDの家庭でチューニングが行われているセットトップボックスの部屋の位置を識別するために分類器を使用する。そうすることで、視聴者割り当てプロセスでこの変数を使用することができます。
多くの情報が手に入る今日、ビッグデータをバラ色のメガネで見たくなる。しかし、人とのつながりがなければ、ビッグデータは正確とは言い難い。私たちは、AIがビッグデータの偏りに対処する強力な方法であることを発見し、このイノベーションをクライアントに提供できることを嬉しく思っています。このイノベーションは、ビッグデータ・ソースが提供する豊富な情報と、代表的で正確なデータに基づいて計画、活性化、測定ができることを保証する真理セットの両方から恩恵を受ける。
This article first appeared on Medium.
