Проведение опросов. Интерпретация данных

Проведение опросов

Зачем проводить опрос по продукту и сервису

Гипотеза — это то, в чём вы не уверены и хотели бы проверить. Пока не проведена проверка, «все ваши идеи — это галлюцинации».

– Зачем тестировать гипотезы?
– Чтобы быстрее найти свой problem-solution fit = подтвердить спрос, а именно:

1. Ответить, кто наш пользователь и какая у него проблема
2. Ответить, какую ценность даёт продукт или сервис
3. Подтвердить это спросом (деньгами)

HADI-цикл — непрерывный и цикличный механизм проверки гипотез и анализ результатов этой проверки. 

Внимание! Результатом цикла HADI является вывод, а не совершённые действия.

Закончили цикл  и начинаем формулировать новые гипотезы. Они (новые гипотезы) обязательно должны следовать из выводов предыдущих циклов.

Как часто нужно проводить опросы 

Частота проведения опросов зависит от конкретных условий и целей, которые вы ставите перед собой и ряда факторов: 

1. Цели опроса: Если опрос проводится для оценки удовлетворенности пользователей или для получения обратной связи, то его нужно проводить регулярно, например, каждые 3-6 месяцев. Если же опрос проводится для оценки внедрения новой функциональности, то его можно проводить после каждого обновления.
2. Размер пользовательской базы: Если база большая, то опросы можно проводить реже, например, раз в год или раз в полгода. Если же база маленькая, то опросы можно проводить чаще, например, каждый квартал.
3. Тип продукта (сервиса): Если продукт быстро меняется или имеет короткий жизненный цикл, то опросы нужно проводить чаще. Если же продукт имеет долгий жизненный цикл и изменения в нём происходят нечасто, то опросы можно проводить реже.
4. Ресурсы: Количество ресурсов, которые вы готовы выделить на проведение опросов, также может влиять на частоту их проведения. Если у вас есть достаточно времени и денег, то опросы можно проводить чаще.

Простое правило: проводить опросы пользователей больше одного раза в год можно, меньше — нельзя.

Простой совет: Составьте годовой план по проведению опросов, учитывайте в нём регулярные опросы и оставляете возможность для внезапных (по ситуации).

Какую классификацию опросов мы используем

по взаимодействию с информацией

• UX-опрос — это быстрый и относительно простой метод получения информации (данных) о ваших пользователях (мнение о продукте/сервисе, степень осведомлённости, выявление потребностей, формирование лояльности). Внимание! При неправильной формулировке вопросов, результаты опроса будут бесполезными или создадут неверную картину.

• Программирующий (формирующий) опрос — это метод, который направлен на распространение информации с целью формирования определённой точки зрения. Респонденту задаются особые вопросы и предлагаются особые варианты ответов, в результате чего он вынужден принять определённое мнение, поскольку именно эти формулировки вопросов и ответов приводят респондента к конкретной идее. 

Внимание! Этот метод топорно используется пропагандой и обычно вызывает негативное отношение. Чтобы его использовать правильно (прививать людям доброе и полезное), нужна очень тонкая настройка. Рекомендуется использовать комбинированную методику, то есть направленную и на сбор информации, и на распространение.

по форме общения с респондентами

• Email-рассылки
• Сайт продукта
• Мессенджер TG
• Интервью (индивидуальное и фокус-группы)

Какие бывают виды вопросов

• Открытые вопросы (неструктурированные, качественные) — исследователь задает респондентам вопросы, требующие развернутого ответа в свободной форме. Этот вид опроса позволяет получить более глубокое понимание мнений и взглядов респондентов.
• Закрытые вопросы (струрироуванные, количественные) — исследователь задает респондентам вопросы, требующие выбора ответа из заранее определённого списка вариантов. Этот вид опроса позволяет получить более точные и однозначные данные о мнении респондентов.
• Опрос смешанного типа — это опрос, при котором используются закрытые и открытые вопросы. Этот вид опроса позволяет собрать как количественные, так и качественные данные.

Какие правила помогут подготовить эффективные опросники (ТОП-10)

1. Одна ключевая цель и вопросы должны работать на эту цель. Лучше проведите несколько опросов с разными целями, чем один, рассчитанный на несколько — это зря потраченное время и ваше, и ваших пользователей
2. Один вопрос — одна тема
3. Простые по конструкции и понятные по смыслу предложения (говорите на языке вашего пользователя, а не разработчика, все термины раскрывайте, чтобы респондент правильно понял вопрос)
4. Гендерно нейтральные формулировки (русский язык достаточно богат, чтобы найти корректную форму вопроса, а не использовать канцелярщину — смотрел(а) и подобное)
5. Не задавайте вопросы о будущем, спрашивайте о конкретном опыте (очень подробно и доходчиво это и многое другое разбирается в книге «Тест для мамы»)
6. Оставляйте опции. Не загоняйте респондентов в узкие рамки, предоставляйте возможность ответить по-своему, для этого есть вариант ответа «Другое»
7. Сбалансированная шкала оценок (положительные и отрицательные варианты в пропорции), не используйте нечётные цифровые шкалы (1-5), при автоматизме респонденты будут выбирать 3 и вам сложно будет интерпретировать эти данные, заменяйте цифры текстом
8. Фокус на времени прохождения, а не на количестве вопросов. Подумайте, может ли один качественный вопрос заменить несколько количественных, если да, сокращайте опросник
9. Нормальная когнитивная нагрузка. Уставший респондент может создать вам неверную картину. Предоставляйте вопросы по принципу: лёгкие – сложные – лёгкие
10. Доходимость (до конца). Информируйте о времени, которое требуется на прохождение. Если опросник состоит из разделов, сообщайте, сколько вопросов в каждом разделе. Так, респондент сможет правильно спланировать своё время на ваш опрос

Как вовлекать пользователей в опросы

1. Демонстрируйте своё уважение к участию пользователей в опросе (приёмы: рассказываем о цели опроса, сообщаем, сколько времени займёт, проводим анонимные опросы).
2. Поделитесь результатами по окончанию опроса и (опционально) расскажите о принятых решениях.
3. Если пользователь написал в опросе идею по улучшению продукта и оставил свои ФИО, то ему нужно обязательно ответить, поблагодарить и либо уточнить его идею, либо сообщить, что взяли решение на просчёт/обсуждение и т.д. Или объяснить, что сейчас эту идею невозможно реализовать. 
4. Связывайте внесённые в продукт/сервис изменения с результатами проведённых опросов.

Как качественно обработать результаты опросов 

1. Систематизируйте данные и сформулируйте выводы. Известно, что универсального метода нет, вам нужно выработать собственный. Изучите, как интерпретировать данные. Не делайте выводы по своим ощущениям. 
2. Проверяйте гипотезы путём их опровержения, как рекомендуют эксперты. Не выбирайте только те данные, которые будут соответствовать вашим текущим убеждениям.
3. Правильно планируйте выборку. Слишком много данных потребует от вас большого количества времени на обработку, и наоборот, недостаточное количество — сделает ваше исследование неточным. Вам нужно получить такое количество ответов, которое позволит сделать выводы и определить тенденции, не совершая ошибок.

Интерпретация данных

Что невозможно измерить, тем невозможно управлять Джек Уэлч, CEO General Electric

Простое правило: Не бывает плохой информации, бывает неправильный анализ.

Ещё одно просто правило: Во время анализа мы сверяем то, что получили и то, что планировали получить при формулировании гипотезы. Старайтесь не обмануть себя! Пример из продаж: Мы решили, что гипотеза востребованности продукта подтвердится, если покупку сделают 50% из зарегистрировавшихся на мероприятие, в результате купили 5 человек(компаний) из 20, но мы неправильно считаем, что гипотеза всё равно подтверждена.

Что дальше? Если гипотеза не подтвердилась, то мы можем планировать дальнейшие действия исходя из полученных результатов. Или перепроверить гипотезу.

Формула проверки гипотез

Мы предполагаем, что [количество] % пользователей [делают/знают/понимают] [объект опроса]. Если наша гипотеза подтверждается, то [решение 1], если процент меньше, то [решение 2]. 

Данные по шкале 0 – 10

Полученные ответы делите на три группы, в процентах. Критики — те, кто поставил от 0 до 6. Нейтралы — те, кто поставил 7 или 8. Промоутеры — те, кто дал 9 и 10 баллов. Вычитайте процент критиков из процента промоутеров — это и будет NPS. Если число получилось со знаком плюс, значит, фанатов у вас больше. Чем эта цифра больше, тем лучше. Если цифра получилась отрицательной, значит, у продукта(сервиса) серьёзные проблемы.

Алгоритм анализа данных 

1. Ознакомьтесь с собранной информацией. Соотнесите полученные показатели с целевым значением (параметр успеха) для каждой категории данных.
2. Визуализируйте данные.
3. Назовите выявленные тенденции.
4. Сформулируйте выводы.

Визуализация данных по методу GRID

Внимание! это упрощённый метод  https://www.ibm.com/design/thinking/page/toolkit/activity/feedback-grid

Визуализация данных для участников опроса

Из всех графиков одного опроса нужно составить укрупнённые графики по темам:

1. Удовлетворённость пользователей
2. Функциональность 
3. Удобство интерфейса
4. Уровень поддержки
5. Информационные каналы / Информирование пользователей
6. Новые идеи

Что почитать по теме:

• Книга «Спроси маму. Как общаться с клиентами и подтвердить правоту своей бизнес-идеи, если все кругом врут?» Роб Фитцпатрик, Альпина Паблишер, 2021
• Книга «Четыре шага к озарению. Стратегии создания успешных стартапов» Стив Бланк, Альпина Паблишер, 2021 В книге рассматривается методология customer development (CustDev)
• Книга «Думай как дизайнер. Дизайн-мышление для менеджеров» Жанна Лидтка и Тим Огилви, МИФ, 2015
• Книга «Дизайн-мышление в бизнесе. От разработки новых продуктов до проектирования новых бизнес-моделей» Тим Браун, МИФ, 2018
• Книга «Думай медленно. Решай быстро», Даниэль Канеман, М.: Издательство АСТ, 2013