Исследование под названием «Когда меньше значит больше: данные и сила в рекламных экспериментах» было проведено Гарреттом Джонсоном из Университета Рочестера, Рэндаллом Льюисом из Netflix и Дэвидом Рейли из Pandora, которые проводили исследования для Yahoo! на момент исследования.Yahoo! Исследователи работали с неназванным национальным розничным продавцом одежды, чтобы оценить влияние рекламы этого продавца.
Они участвовали в крупномасштабном полевом эксперименте с участием более 3 миллионов Yahoo! пользователей. В течение двух недель Yahoo! пользователи экспериментальной группы видели рекламу фирменной одежды от продавца, а пользователи контрольной группы видели рекламу Yahoo! Поиск.
По сравнению с исходным уровнем, установленным контрольной группой, эксперимент показал, что кампания розничного продавца увеличила продажи на 3,6 процента, или примерно в три раза, его расходы на рекламу.Рейли сказал: «Этот продавец одежды обратился к нам с интересной проблемой:« Как мне узнать, работают ли мои онлайн-объявления, когда 90% моих продаж находятся в офлайн-режиме? »»Авторы решили эту проблему, сопоставив записи о покупателях между продавцом и Yahoo !. Важно отметить, что авторы объединили данные о продажах онлайн и офлайн на уровне клиентов с контролируемым экспериментом, который позволил им оценить, сколько потребители купили бы в отсутствие рекламной кампании.
Они определили, что 84% прироста продаж за счет рекламы приходятся на офлайн-продажи. Рейли добавил: «Без эксперимента розничный торговец мог бы ошибочно заключить, что реклама только увеличивала продажи в Интернете, а не в офлайн.
По иронии судьбы, это могло привести к недостаточным инвестициям в онлайн-рекламу».В исследовании отмечается, что их новый экспериментальный дизайн может быть ценным для компаний, стремящихся измерить эффективность рекламы. Льюис отметил: «Мы и раньше проводили эксперименты с этим продавцом, но это был самый крупный эксперимент, в котором мы использовали« контрольную рекламу », чтобы определить, какие члены контрольной группы увидели бы рекламу.
Это позволило нам игнорировать статистический шум от покупок. потребителей, которые никогда не видели рекламу. Мы также обнаружили, что нам нужно смотреть на продажи только после первого объявления, потому что реклама может повлиять на вас только после того, как вы ее увидели. Эти два приема позволили нам повысить статистическую точность предполагаемых выгод от интернет-рекламы ".Повышение точности за счет использования контрольной рекламы критически важно для менеджеров, принимающих рекламные решения.
Джонсон объяснил: «Оценки эффективности рекламы, как правило, невелики, но также неточны. Даже с учетом исследования 3 миллионов пользователей стандартные методы повышения точности за счет учета прошлого поведения и демографических данных клиентов оказались менее эффективными, чем ожидалось.
Благодаря использованию контрольной рекламы мы в шесть раз повысили статистическую точность наших оценок эффективности рекламы. Для менеджеров это улучшение может стать решающим фактором в понимании того, оказывает ли интернет-реклама явное и статистически значимое положительное влияние. Мы надеемся, что идеи в наш дизайн может помочь фирмам уверенно инвестировать в рекламные кампании, когда они могут быть прибыльными ».