Перевод статьи Дэвида Андерсона, размещённой на medium.com.
Оригинал можно прочитать здесь.
Когда вы используете эволюционный подход к улучшению вашего продукта, сервиса или поставке сервиса, с помощью Lean-стартапа, Канбана и ESP, вам нужен метод, позволяющий оценить, действительно ли изменение дизайна обеспечивает улучшение. Соответствие продукта или сервиса предназначению и вероятность его выживания и процветания всегда видны глазами потребителя. Вам всегда решать, идти ли ва-банк, улучшать сервис или нужен пивот? А в какую сторону менять направление? Опросы Fit For Purpose и Fitness Box Scores призваны предоставить эту информацию и помочь принять важные решения о том, что предлагать и насколько хорошо это делать.
Традиционные подходы к исследованию рынка и опросам удовлетворённости потребителей не очень хорошо подходят для эволюционных подходов к рынку как к экосистеме. Важно, чтобы опрос не подвергал сомнению, как и почему потребитель использует продукт или сервис. Вместо этого лучше использовать опрос, чтобы понять их цель, потребности и ожидания.
Ещё в январе я опубликовал наше первое мнение о замене оценки Net Promoter Score для оценки предоставления сервисов на использование нашего нового метода опроса — Fit For Purpose (Соответствие предназначению).
С момента этой первоначальной публикации мы и другие участники сообщества экспериментировали с этой техникой. Во время нашей летней серии семинаров Kanban Leadership Retreat мы пересмотрели наши результаты и пересмотрели метод. Этот пост представляет собой официальную публикацию версии 2.0 опроса Fit For Purpose и нового метода отчётности Fitness Box Score.
Мотивация
Для начала, хотим напомнить о мотивации, лежащей в основе оценки Fit For Purpose, и о том, почему мы почувствовали необходимость внедрить новый метод оценки удовлетворённости клиентов:
Fit For Purpose был создан по двум причинам. Во-первых, необходимо было оценить, действительно ли продукт или сервис, которые разрабатываются и совершенствуются эволюционным и экспериментальным способом, улучшаются в глазах потребителя. Вторая, и не несвязанная с этим мотивация, проистекала из неудовлетворённости клиентов использованием показателя Net Promoter Score (NPS), который часто описывался как отсутствие действенного руководства. Net Promoter Score показывает бизнесу, стали ли его товары или сервисы более популярными или нет, но часто не даёт никакого представления о том, что можно сделать для улучшения ситуации. Мы также хотели связать результаты опросов клиентов напрямую с практическими показателями или Ключевыми показателями эффективности (KPI). Например, если клиенты оценивают время доставки, а их порог допуска составляет 2 дня, для них KPI для сервиса должно быть время выполнения с ожидаемым уровнем обслуживания (Service Level Expectation, SLE) в 2 дня. Когда показатели выражаются таким образом и напрямую связаны с ожиданиями клиентов, мы называем их метриками соответствия (Fitness Criteria Metrics), а уровень приемлемой производительности — Fitness Criteria Threshold Level (Пороговый уровень метрик соответствия) или просто «пороговое значение» (threshold value) для краткости. Между тем, мы хотели бы предоставить единственное число в качестве исполнительного отчёта, которое показывает, насколько тот или иной продукт или сервис «соответствует предназначению» и как воспринимается потребителями.
Опрос Fit For Purpose
Вопрос 1. Расскажите, почему вы выбрали наш [продукт или сервис]? Выберите до 3 причин или целей, которые у вас были при выборе нашего [продукта или сервиса].
(а) ________________________________________
(b) ________________________________________
(c) ________________________________________
Вопрос 2. По каждой причине/цели из Вопроса 1, пожалуйста, укажите, насколько наш [продукт или сервис] соответствовал предназначению и вашим ожиданиям. Оцените каждую причину или цель отдельно по следующей шкале:
5. Превзошёл ожидания
4. Мои ожидания полностью оправдались.
3. Мои ожидания в основном оправдались, но остались некоторые незначительные сомнения.
2. Некоторые существенные потребности остались без внимания.
1. Я получил некоторую выгоду, но большинство моих ожиданий не оправдались.
0. Ничего полезного не нашёл. Это не соответствовало предназначению.
Оценка (а) _______ (b) _______ (c) ________
Вопрос 3. Расскажите, почему вы поставили такую оценку (-и) в Вопросе 2:
(а) ________________________________________
(b) ________________________________________
(c) ________________________________________
Что мы узнали из использования опросов Fit For Purpose
Во-первых, мы узнали, что люди часто потребляют продукты или сервисы с несколькими целями или задачами. В настоящее время опрос был изменён, чтобы учесть это. Мы считаем, что достаточно указать до трёх причин, и это не будет избыточным. Ранее, когда мы использовали бумажные формы, мы обнаружили, что респонденты изменяли форму, чтобы описывать несколько целей. Учитывая относительно небольшую выборку опросов, собранных нами за последние 3 месяца, мы считаем, что оптимальным будет именно описание до трёх целей.
Во-вторых, мы обнаружили, что мы хотели бы отказаться от использования Net Fitness Score, т.к. этот способ скрывает жизненно важную информацию, необходимую для принятия мер. Net Fitness Score был заменён оценкой Fitness Box Score [см. Ниже].
В-третьих, мы обнаружили, что результаты опросов дают практические рекомендации. Они также предоставляли ценную информацию о том, почему люди потребляют продукты или сервисы, и это позволило улучшить сегментацию рынка, а маркетинговые сообщения сделать более целенаправленными. Мы обнаружили, что даже вручную можно сгруппировать ответы на Вопрос 1, чтобы указать цели, и сгруппировать ответы на Вопрос 3, чтобы получить полезную информацию. Мы также можем соотнести ответы на Вопрос 2 с заявленными целями, чтобы лучше понять поведение потребителей и то, что мы хотим усилить или ослабить с помощью нашего маркетинга.
В-четвёртых, для вычисления общей оценки мы в настоящее время берём лучший результат, указанный человеком. Мы рассматриваем возможность экспериментов с явным запросом общей оценки отдельно от конкретных причин, целей или задач. Мы также обнаружили, что люди не всегда откровенно объясняют свои причины. Некоторые цели могут быть неудобными, и люди не хотят их признавать. Например, люди, посещающие наши конференции, у которых на самом деле просто оплачиваемый отпуск за счёт своего работодателя, и которым неудобно в этом признаваться.
Наконец, хочу предостеречь, что этот подход всё ещё зарождается и развивается по мере того, как мы учимся и используем его. Недавний опрос, проведенный в Испании после учебного занятия, не дал результата лучше 3 с несколько философским ответом, что «никакая цель никогда не может быть по-настоящему и полностью достигнута». Являются ли эти испанские философы исключением и аномалией, ещё предстоит выяснить.
Кроме того, мы разработали этот опрос для использования с сервисами. Пока не ясно, как это будет происходить с физическими продуктами, такими как газонокосилки или зубные щётки. Несомненно, мы продолжим учиться на опыте использования опроса Fit For Purpose и мы ожидаем некоторых дальнейших усовершенствований в методе.
Fitness Box Score
Fitness Box Score заменяет Net Fitness Score. Оценки 4 или 5 считаются «соответствием предназначению». Оценка 3 считается «нейтральной», потому что потребитель, скорее всего, будет доволен тем, что сможет повторно обратиться к нам или рекомендовать нас, он определённо не будет плохо отзываться о нашем продукте или сервисе. Но это предлагает нам потенциальные способы улучшения наших продуктов или сервисов, если мы можем адекватно зафиксировать ответы потребителей на Вопрос 3. Оценка 2 или ниже считается «несоответствием предназначению».
Ранее Net Fitness Score была смоделирована на основе Net Promoter Score (индекс потребительской лояльности), где итоговая оценка — это процент ответов, указывающих на соответствие предназначению, минус процент, указывающий на несоответствие предназначению. Однако эти оценки скрывают ценную информацию. Чтобы проиллюстрировать это, рассмотрим вырожденный случай, когда 50% указывают на соответствие предназначению, а другие 50% указывают на несоответствие. Итоговая оценка = 0%. Это тот же результат, что и 100% нейтральных оценок 3 из 5. Но это не эквиваленты! 100% голосов за оценку 3 указывает на то, что наш продукт посредственный, но его можно улучшить. В то время как соотношение соответствия-несоответствия 50 на 50 указывает на то, что нам нужно лучше сегментировать рынок, а наш продукт уже вполне подходит для некоторых рыночных ниш. Один результат говорит нам, что мы должны улучшать продукт или предоставление сервиса, а другой говорит нам, что мы должны улучшить наш маркетинг. Поскольку это очень разные результаты, мы считаем, что net scores вводят в заблуждение. Показатели, предназначенные для использования руководителями, становятся опасными, когда они предоставляют вводящую в заблуждение информацию и неопределённые рекомендации. Таким образом, Net Fitness Score больше не используется, и его заменяет Fitness Box Score — система, вдохновлённая историческими подходами к освещению бейсбольных матчей.
Fitness Box Score записывается так…
[% Соответствие: % Нейтрально: % Несоответствие] (# ответы / генеральная совокупность выборки)
Например, общий балл Fitness Box Score для семинара по Канбан-лидерству в Азиатско-Тихоокеанском регионе на Бали (Индонезия), в июне…
[60:30:10] (18/20)
Было 20 платных участников. Из них 18 ответили на опрос — 2 человека покинули мероприятие раньше. Из 18 ответивших, 60% сочли мероприятие «соответствующим предназначению», 30% были нейтральными, но в основном удовлетворены, в то время как 10% пришли не на то мероприятие и были не довольны, для них мероприятие «не соответствовало предназначению».
В настоящее время мы рекомендуем округлять оценки до ближайших 5%, хотя в некоторых случаях это даёт возможность получать значения до 105%.
При детализации для конкретных целей мы сообщаем о генеральной совокупности выборки как о тех, кто действительно ответил на опрос. Вот полный набор аналитических материалов для Kanban Leadership Retreat на Бали…
Цель и оценка
Нетворкинг [85:15:0] (13/18)
Изучение Канбан [45:45:15] (7/18)
Обмен знаниями [50: 50:0] (6/18)
Обратная связь и валидация [75:25:0] (4/18)
Опыт Kanban Leadership Retreat [100:0:0] (2/18)
Канбан-маркетинг и стратегия продаж [0:50:50] (2/18)
Знакомство с Дэвид Дж. Андерсоном [50:50:0] (2/18)
Улучшение поставки проекта [0:0:100] (2/18)
Из этих результатов мы видим, что большинство участников приходят на Kanban Leadership Retreat по причинам, на которые мы надеемся, — нетворкинг, обмен знаниями, обратная связь и валидация. Это наше первое мероприятие в Азиатско—Тихоокеанском регионе, мы также привлекли людей, которым было бы лучше на более общей конференции Lean Kanban, про изучение Канбан и улучшение поставки проекта.
С помощью этого конкретного опроса мы узнали, как мы можем улучшить наше маркетинговое сообщение, и мы узнали, что нам следует рассмотреть возможность проведения конференции Lean Kanban в Юго-Восточной Азии, ориентированной на общую аудиторию Азиатско-Тихоокеанского региона.
Выводы
Опросы Fit for Purpose бывают весьма полезными. В целом, мы считаем, что высокий показатель «соответствия предназначению» будет коррелировать и являться ведущим показателем продукта или сервиса, которые будут процветать и выживать. В настоящее время мы будем продолжать использовать его в сочетании с другими методами опроса удовлетворённости клиентов. Например, в опросе Fit For Purpose прямо не задаётся вопрос «Понравилось ли вам место проведения конференции?» или «Понравился ли кейтеринг и сервис в месте проведения?». Но, если бы они были неудовлетворительными, мы ожидали бы, что они появятся в ответах на Вопрос 3. Однако бывают моменты, когда вы действительно хотите задать чёткие вопросы и получить конкретные ответы.
Как и во всех опросах клиентов, большой недостаток такого метода заключается в том, что он не опрашивает тех, кто не выбирал ваш продукт или сервис. У нас нет результатов опроса для тех, кто не выбрал тренинг по Канбан или конференцию по Lean Kanban Таким образом, мы не можем сказать, действительно ли наш маркетинг «соответствует предназначению» или он отпугивает потенциальных клиентов и посылает неправильные сигналы.
Таким образом, опрос Fit for Purpose — это не лекарство от всех болезней, но это полезный новый маркетинговый инструмент, хорошо совместимый с эволюционными подходами к улучшению продуктов или сервисов, такими как Lean- стартап, Канбан и ESP. Мы считаем, что анализ, проведённый в ходе этих опросов, значительно улучшит процесс принятия решений о том, когда следует придерживаться существующей концепции или бизнес-модели, а успех пивота будет значительно улучшен благодаря пониманию целей клиентов и вытекающей из этого сегментации рынка.
Книга, Fit For Purpose — How modern businesses find, satisfy & keep customers («Соответствие предназначению — Как современные компании находят, удовлетворяют и удерживают клиентов»), теперь доступна на Amazon и в других интернет-магазинах.
А также посмотрите интересное видео на тему Fitness Box Score:
