비딩 데이터의 문제점

최근의 사례

미국의 측정 서비스 기업 컴스코어(Comscore)는 닐슨(Nielsen)의 휴대용 시청률 측정기(PPM) 데이터 사용 중단에 따라, 향후 글로벌 기업 익스피리언(Experian)의 컨슈머뷰(ConsumerView) 데이터베이스 데이터 세트를 활용해 측정 목적의 개인 시청자 식별을 수행할 것이라고 발표했습니다.빅데이터가 미래의 것이라면 그 방향으로 전환하는 것은 좋은 일이어야 한다는 의미에서, 해당 발표는 업계 언론에 의해 '진화'로 받아들여졌습니다.

그러나 해당 기업의 고객에게도, 소비자들에게도, 안타깝게도 그렇지 않습니다.

현재 개인 식별이 가능한 정보를 기반으로 데이터셋 매칭을 수행하고 직접 수집 및 모델링된 인구통계학적 데이터를 제공하는 제3자 벤더 기업이 다수 존재합니다. 닐슨은 이러한 데이터를 정기적으로 면밀히 검토합니다. 자사의 견고한 패널 데이터로부터 직접 정보를 측정하여 1) 각 가구와의 정확한 매칭이 이루어지고 있는지, 그리고 2) 시청자 속성 데이터 및 특성이 정확히 보고되고 있는지에 대한 관점에서 제3자 데이터의 정확성을 검증합니다. 

닐슨의 검증 결과는 광고주의 주목을 충분히 받을 만합니다. 

현재 데이터 세트의 대부분은 시청자 속성 프로필이 아닌 청구서 정보와 온라인 행동 수집을 중심으로 구축되어 있습니다. 이러한 데이터 세트에는 연령, 소득, 인종, 민족 등 사람들의 상세한 정보가 포함되어 있지 않지만, 견고한 패널을 사용하면 그러한 정보도 얻을 수 있습니다. 이러한 데이터 세트는 기계 간 전송을 통해 생성되기 때문에 낭비나 부정성이 포함될 가능성이 높습니다. 

따라서 특정 가구에 실제로 거주하는 사람에 대한 확실한 정보는 제한적입니다. 또한 가구 내 특정 인물이 특정 시간에 특정 프로그램을 시청하는지 여부를 확인할 수 없습니다. 다른 데이터 소스를 활용해 이러한 데이터셋에 삼각 측량(triangulation)을 수행하더라도, 추정에 큰 격차나 오차가 발생할 가능성이 매우 높습니다. 이러한 데이터의 활용 방식이 타게팅(타겟팅)인 경우에는 문제가 없을 수 있으나, 측정을 목적으로 할 경우 이 데이터셋들은 측정에 요구되는 정확성, 객관성 및 투명성을 갖추지 못합니다.

왜 그것이 중요한가?

그렇다면 실제로 어떤 의미가 있을까요? 여기에는 여러 가지 의미가 있습니다. 

컴스코어는 실제 확인된 약 10만 명의 사람들에게 마이크를 부착하여 그들이 무엇을 보고 있는지 정확히 추적하는 닐슨의 PPM에서 전환을 진행하고 있습니다.

그 결과, 누가 무엇을 보고 있는지 정확히 파악할 수 없게 됩니다.

그러나 더 큰 의미는 이 변화로 인해 업계가 미국의 진정한 모습을 파악하는 데서 멀어지게 된다는 점입니다.

이러한 데이터셋이 장기간 자가주택에 거주하는 가구에 대해서는 상대적으로 유용하다는 것은 잘 알려진 사실이며, 이는 타당합니다. 문제는 장기간 자가주택에 거주하는 가구가 대개 백인인 경우가 많으며, 전국 평균보다 소득과 연령이 현저히 높은 경향이 있다는 점입니다. 이러한 데이터셋은 설계상 증가 추세에 있는 아프리카계 및 라틴계, 나아가 소득과 연령이 낮은 거주자들을 과소 계상합니다. 

이는 셋톱박스 데이터로 구축된 데이터셋에도 해당되며, 이러한 데이터셋은 유료 케이블 방송에 돈을 쓰는 부유한 생활자를 과대 계수하는 경향이 있습니다. 그 결과, 많은 기업의 마케팅 담당자가 목표로 삼는 상대적으로 소득이 낮은 계층이 불균형하게 제외되게 됩니다. 

미디어 업계는 아프리카계 및 라틴계 커뮤니티를 정확하게 대표하는 것을 최우선 과제로 삼고 있습니다. 닐슨의 수십 년에 걸친 실적은 완벽하지는 않았지만, 오늘날 우리는 미국 현실을 가장 정확하고 정교하게 파악하고 있습니다.

대표성이 있고 검증·감사를 거친 패널로 뒷받침되지 않은 빅데이터에서 파생된 측정 도구는 안타깝게도 닐슨의 수준에는 미치지 못합니다. 닐슨이 보유한 패널은 인구조사에 포함된 많은 인구통계학적 변수에 대해 1%의 통계적 변동률로 타겟팅이 가능합니다. 반면 빅데이터에 특화된 도구들은 명백히 정확도가 낮습니다. 업계는 빅데이터의 대표성이라는 과제를 솔직히 인식하고 대응해야 합니다.

업계 전체를 위한 보다 광범위한 과제

여기서는 Comscore를 예로 들어 빅데이터의 문제점을 다루었지만, 이는 현재 제공되는 모든 빅데이터 세트에 관련된 중대한 과제입니다.

2020年8月、ANA （Association of National Advertisers、全米広告主協会）は業界団体のMRC （Media Rating Council）とSequent Partnersと共に、メディアターゲティングにおける多文化オーディエンスの代表性度合を把握する調査を実施した際、ニールセンのデータをベンチマークとして採用しました。この研究では、高品質のマーケティングデータとメディアデータを集約して、アフリカ系、ラテン系やアジア系オーディエンスへのターゲティングの正確性を把握しました。調査から得られたファインディングスには問題が散見されましたが、ニールセンにとって問題自体は想定の範囲内でした。

동 조사에서 업계가 신뢰하는 빅데이터 세트는 마케팅 담당자에게 중요한 상기 3개 커뮤니티를 정확히 타겟팅하지 못하는 것으로 밝혀졌습니다. 견고한 패널과 달리, 이러한 빅데이터 세트는 설계상 해당 소비자 집단의 전체적인 모습을 파악할 수 없기 때문에 데이터에 잘못된 표현이나 불충분한 표현이 다수 존재하며 대표성이 부족하다는 심각한 문제가 드러났습니다. 

이에 반해 닐슨의 견고한 패널은 실제 인물로부터 직접 수집되며, 미국 전체 인구를 대표하는 다양한 정보를 제공합니다. 누가 집에 살고 있는가? 몇 살인가? 어떤 인종이나 민족을 인식하는가? 특정 시점에 누가 TV를 보고 있는가? 닐슨 패널은 이러한 질문에 답해줍니다.

패널만으로는 완벽하지 않지만, 제약사가 약품 승인을 받을 때 패널과 유사한 접근법을 채택하는 데에는 이유가 있습니다. 위험이 높을 때는 실제로 사람들로부터 정보를 얻어 검증하는 것 외에 대안이 없기 때문입니다.

빅데이터의 가능성에 대한 기대는 다양한 업계에서 높아지고 있으며, 닐슨 역시 빅데이터의 가치와 가능성을 평가하고 있다. 그러나 미디어 업계 관계자들은 빅데이터로 해결 가능한 것과 불가능한 것을 솔직히 인정해야 할 것이다. 닐슨이 그리는 미디어 측정 미래 비전은 빅데이터의 리치와 실제 개인으로 구성된 강력한 패널의 결합이다. 많은 업계 관계자들이 빅데이터의 가능성에 기대를 걸고 있다는 점을 잘 알고 있으며, 우리 역시 마찬가지입니다. 그러나 업계 차원에서는 빅데이터로 해결할 수 있는 것과 불가능한 것을 솔직히 설명할 필요가 있습니다. 닐슨이 제시하는 미디어 측정 미래 비전은 빅데이터의 도달 범위와 실제 개인으로 구성된 견고한 패널의 결합을 통해 실현됩니다.

This article originally appeared on Next TV.