Хорошее «подталкивание» лучше хорошего прогноза

Все мы знаем, что работающая прогнозная модель является мощным оружием для бизнеса. Превращая данные в идеи, предприятия могут повысить качество обслуживания, сохранить большее количество клиентов и увеличить доход. Поэтому сейчас компании тратят достаточно много ресурсов на разработку или покупку решений на основе машинного обучения.

В то время как на прогнозную аналитику возлагаются большие надежды, практическое внедрение машинного обучения на предприятиях не всегда проходит гладко. Интересно, что проблема часто заключается не в качестве данных или алгоритмов. Я работал в нескольких компаниях, которые собирали большое количество данных, обеспечивали их качество, использовали научно обоснованные алгоритмы, воплощавшиеся в жизнь высококвалифицированными специалистами по обработке данных, и тем не менее не могли получить положительные результаты. Что же было неправильно? Разве хорошие данные плюс хорошие алгоритмы не должны обеспечивать хорошие решения?

Если говорить кратко, проблема заключалась в оценке. Невозможно улучшить то, что неправильно измерено. Ошибочный подход к оценке заставляет нас выбирать неэффективные решения в области машинного обучения. Я заметил ряд распространенных ошибок, которые допускали компании, стараясь оценить свои прогнозные модели. В данной серии статей я представлю различные оценочные методы и решения, а также практические примеры их применения. В первой статье я рассмотрю показатели для оценки точности и покажу различия между хорошим прогнозом и хорошим «подталкиванием».

Хорошие прогнозы? Хорошие «подталкивания».

Давайте в качестве примера возьмем отрасль розничной торговли. Многие ритейлеры убеждены в том, что если бы они точно предсказывали будущие покупательские предпочтения своих клиентов, то смогли бы увеличить объемы продаж. В конце концов, все слышали истории о том, как компания Target выявляла беременных девушек-подростков и об успехе рекомендательной системы компании Nextflix. Это якобы безупречное предположение о том, что точные прогнозы могут увеличить объемы продаж, легко опровергается, как только мы применим показатели для оценки точности на практике.

В сфере машинного обучения показатели, основанные на некоторых предопределенных правилах оценки, измеряют, насколько эффективно работает прогнозная модель. Затем различные модели можно сравнить. Например, при анализе рекомендательных систем такие показатели, как полнота/точность (recall/precision), среднеквадратичное отклонение, усредненная величина средней точности (mean average precision) часто используются для того, чтобы оценить, насколько «хорошо» работает модель. Проще говоря, эти показатели предполагают, что хорошая модель может точно предсказать, какие товары клиент будет покупать или отметит наивысшей оценкой.

В чем же тогда проблема? Предположим, я хочу купить овсяные хлопья и молоко с помощью сервиса Google Shopping Express. Теперь представим, что когда я открываю приложение, система предвидит, что я буду покупать овсяные хлопья и молоко, и показывает их мне. Я щелкаю мышью и покупаю их. Это здорово, не так ли? Но погодите, ведь первоначально ритейлер ожидал, что прогнозная модель увеличит объемы продаж. В данном случае я собирался купить овсяные хлопья и молоко в любом случае, независимо от точности прогноза. Несмотря на то, что мое впечатление от сервиса, вероятно, улучшилось, тем не менее это не означает, что я куплю больше товаров. Если целью является увеличение продаж, то показатель должен оценивать, например, насколько хорошо модель может прогнозировать и рекомендовать товары, которые «подтолкнут» меня купить намного больше, чем просто хлопья и молоко.

Как правило, истинная цель заключается в том, чтобы «подтолкнуть» клиентов к какому-либо выбору или действию.

«Подталкивание» представляет значительный интерес для исследователей и предприятий. Например, руководством продуктового магазина Lowe’s в Эль-Пасо был успешно проведен эксперимент, в рамках которого клиентов «подталкивали» купить больше овощей. Как? Они просто разместили на полу большие зеленые стрелки, которые указывали на проходы, ведущие к витринам с овощами. Еще одним успешным примером «подталкивания» является «благотворительность на кассе»: розничные торговые сети собирают миллионы долларов на благотворительность, размещая на экранах касс просьбу сделать небольшое пожертвование.

Правильное применение прогнозных возможностей технологий машинного обучения для «подталкивания» может быть крайне полезным. Однако многие светлые статистические умы сбивает с толку тонкое различие между хорошим прогнозом и хорошим «подталкиванием». Если мы перепутаем два этих понятия в процессе оценки, в итоге мы выберем модель, которая не поможет нам достичь цели. Например, эксперимент по исследованию «эмоциональной заразительности» компании Facebook, несмотря на его противоречивость, не только показывает нам, как данные влияют на эмоции пользователей, но и дает яркий пример ситуации, в которой целью применения показателей должна быть оценка эффективности влияния (или «подталкивания»), а не прогноза.

Наиболее эффективными показателями являются те, которые согласуются с вашей бизнес-целью. Зачастую, истинная коммерческая цель заключается в том, чтобы «подтолкнуть» клиентов к какому-либо выбору или действию. Возможно, настало время специалистам по обработке данных обратить внимание на показатели, которые характеризуют данный тип психологического воздействия, реализуемый с помощью машинного обучения, – иногда для получения максимального результата требуется больше, чем просто хороший прогноз.

Автор: Саймон Чен

Перевод Станислава Петренко

По материалам: O’reilly Radar 

Добавить комментарий

Ваш e-mail не будет опубликован.

закрыть

Поделиться

Отправить на почту
закрыть

Вход

закрыть

Регистрация

+ =