测量中的真相从未像今天这样重要。因此，真理是我们唯一的目标。但是，获得真相从来没有像今天这样复杂。虽然许多人将大数据视为数字化世界中测量工作的灵丹妙药，但我们知道事情并没有那么简单。
Nielsen’s panels have been the foundation of persons-level measurement for decades, and they remain so today. The growth of big data, however, can’t be ignored as a source of valuable information. But big data alone isn’t suitable for representative measurement. Think about when you change the channel on your TV. That change becomes part of big data, but there is no record of who made the change or who witnessed it.
To highlight the shortcomings of big data from a measurement perspective, we conducted an analysis in the U.S. earlier this year that compared set-top box data with set-top box data that we calibrated with Nielsen panel data. The analysis found that the uncalibrated data is inherently biased and underrepresents minority audiences.
但这并不是说大数据没有价值。恰恰相反。但是，大数据确实需要以一套基本的真理为基础。这就是我们的面板和人工智能（AI）发挥作用的地方。我们的面板数据--人员层面测量的关键--是训练大数据的完美真相集。
通过应用人工智能，我们利用大数据极大地拓宽了我们的测量能力，同时保持了质量和代表性。如今，人工智能已成为我们测量方法中不可或缺的一部分。例如，人工智能在我们增强本地电视市场测量能力的开发过程中发挥了关键作用，它将大数据（来自电视机的返回路径数据{RPD}）的规模与完全具有代表性的市场面板数据相结合。
当我们试图将 RPD 纳入本地测量时，我们确定了人工智能的四个主要用途。
识别数据模式
在研究如何将 RPD 纳入我们的测量工作时，我们通过所谓的 "普通家庭分析 "发现了与 RPD 相关的局限性。这些分析一直持续到今天，我们将尼尔森仪表的调谐数据与 RPD 调谐数据进行比较。这些分析每月覆盖 5,000 多个家庭（12,000 台电视机），发现 RPD 错过了一些调谐。
为了解决这一缺陷，我们开发了一种正在申请专利的技术，利用分类器来识别与 RPD 住宅中缺失调谐相关的模式。在此基础上，人工智能算法将这些住宅从测量中移除。
了解机顶盒何时开启、电视机何时关闭
尼尔森的普通家庭分析在一个月内分析了超过 7700 万分钟的调频，从而提供了强大的洞察力。然而，这种调谐并不总是准确的。例如，人们并不总是在关闭电视机的同时关闭机顶盒。在这种情况下，即使没有人在看电视，RPD 也会将其显示为在看电视。
我们可以利用深度学习分类器来识别机顶盒打开而电视关闭的情况，从而克服这一局限。然后，算法会从 RPD 中删除无效调谐。
从 RPD 中识别住户特征和人口信息
RPD 既无名又无脸，无法提供人口信息。人口信息对于正确代表各阶层人口至关重要。除此之外，准确的测量意味着能够测量人，而不仅仅是家庭。
因此，为了释放 RPD 家庭中的强大信息，我们利用来自 45,000 多个尼尔森计量家庭的已知特征、人口统计和调谐信息以及第三方分配的特征和人口统计信息对 RPD 进行了校准。然后，我们将这些输入添加到正在申请专利的递归神经网络和混合整数编程技术中，该技术可准确识别 RPD 家庭的特征和人口统计信息。这种人工智能算法使我们能够准确报告个人和家庭的人口统计特征。
确定机顶盒机房位置
尼尔森面板信息提供观众信息和收视地点。RPD 并不提供这两项信息。不过，我们可以通过人工智能从 RPD 处获取这些信息。我们采用经过科学验证的方法来确定哪位家庭成员正在收看节目以及收看节目的地点。
研究发现，房间位置是预测哪些家庭成员是收视观众的关键因素之一。因此，我们使用一个分类器来识别机顶盒的房间位置，即在 RPD 家庭中正在进行调谐的房间位置。这样，我们就可以在观众分配过程中使用这一变量。
如今信息如此丰富，人们很容易戴着有色眼镜看待大数据。然而，如果不与人联系起来，大数据就远远不够准确。我们发现人工智能是解决大数据偏差的有力方法，并很高兴能将这一创新带给客户。这种创新既得益于大数据源提供的丰富信息，也得益于确保他们能够根据具有代表性和准确性的数据进行规划、激活和衡量的真相集。
This article first appeared on Medium.
