Файл данных: ‘AB_Testing_Data_changed.csv’
Данные сформированы по образцу, предложенному AAD BUTT.
Файл данных содержит 294 478 строк и 12 столбцов, отражающих поведение пользователей, демографические и технические данные эксперимента для A/B-тестирования. Файл содержит статистические данные о взаимодействии двух групп (контрольной и экспериментальной) пользователей с сайтом в двух вариантах его представления (суть модификации сайта в процессе анализа не рассматривается). В процессе анализа определяются различия отношений к сайту контрольной и экспериментальной групп, вовлеченность пользователей и конверсия их поведения, с учетом статистической значимости результатов тестирования.
Обзор столбцов:
- user_id (строка): Уникальный идентификатор каждого пользователя.
- timestamp (дата и время): Дата и время записанной сессии пользователя.
- group (строка): Назначение группы для A/B-тестирования:
- контрольная группа (control)→ пользователи, которым показывалась старая версия.
- экспериментальная группа (treatment)→ пользователи, которым показывалась новая версия.
- landing_page (строка): Веб-страница, показанная пользователю (старая страница или новая страница).
- converted (целое число: 0/1): Указывает, совершил ли пользователь конверсию (1 = да, 0 = нет) – т.е. дошли до покупки ((CR, Conversion Rate= количество конверсий/общее число посетителей)*100). Количество конверсий – число, совершившее целевое действие.
- age (целое число): Возраст пользователя в годах.
- gender (строка): Пол пользователя (например, Мужской, Женский).
- location (строка): Страна/местоположение пользователя (например, Пакистан, Великобритания, США).
- session_duration (число с плавающей запятой): Длительность сессии в минутах.
- pages_visited (целое число): Количество страниц, посещенных за сессию.
- device_type (строка): Устройство, использованное для доступа к платформе (например, мобильное устройство, настольный компьютер).
- purchase_amount (число с плавающей запятой): Сумма денег, потраченная за сессию (0, если покупка не совершена).
Качество данных:
- Отсутствие пропущенных значений во всех столбцах и подходящие типы данных (числовой, категориальный, дата и время) – проверено до основной обработки.
- Достаточно большой размер выборки (≈ 294 тыс. строк) для надежного статистического анализа.
Направления исследования:
- Сравнение коэффициентов конверсии между контрольной и экспериментальной группами.
- Анализ поведения пользователей по типу устройства, полу и местоположению.
- Изучение влияния продолжительности сессии, возраста на конверсию.
- Влияния новой целевой страницы на доход.
Гипотезы:
- Новая версия дает эффект в поведении пользователей.
Основные расчеты A/B тестирования выполнены на Python с использованием библиотек numpy, pandas, matplotlib.pyplot, seaborn, scipy.stats/
Графическая обработка данных выполнялась средствами Python и Excel
Предварительный анализ данных, включая размерность матрицы данных, наличие нулевых значений и формат данных по каждому столбцу представлены таблицей:
1. Определение конверсий для групп “control” “treatment” во всем объеме эксперимента – обобщенный результат представлен на графике:
Конверсия в экспериментальной группе превышает конверсию в контрольной группе, примерно, на 29%, что является существенным в данной метрике.
2. Расчет конверсии (successes / total) по группам в зависимости от устройств – представлен в таблице и на графике (в двух вариантах для наглядности):
3. Расчет конверсии (successes / total) по группам в зависимости от места расположения – представлен в таблице и на графике (в двух вариантах для наглядности):
Отмечено более значимое влияние вводимых изменений на исследовательскую группу (до 18…42%), чем на контрольную группу. При том, что влияние местоположения на вариации конверсии внутри группы имеют менее существенные значения (в контрольной группе 1…11%, в экспериментальной группе 1…10%, и сопоставимы между группами).
4. Расчет критерия хи-квадрат, используемого для определения отклонения, p — для определения вероятности совпадения этого отклонения.
В результате расчета получены значения: Chi-square: 64.39, p_value: 1.018e-15
На основании полученных результатов, можно с уверенностью сказать, что предложенное изменение в сайте влияет на поведение людей. Вероятность совпадения мнений двух испытуемых групп невероятно низка, что исключает нулевую гипотезу.
Результаты статистического теста говорят о наличии крайне высокой статистической значимости.
1. Стандартный порог значимости обычно составляет 0.05 (или 5%), полученное значение несоизмеримо меньше этого порога, следовательно, отвергаем нулевую гипотезу. Вероятность того, что такая разница (или связь) в данных возникла случайно, практически равна нулю.
2. Chi-square (χ2 — Хи-квадрат) Критерий хи-квадрат показывает большое отклонение — значение 64.39 само по себе является довольно высоким для большинства типичных исследований.
Величина критерия Хи-квадрат показывает, насколько сильно наблюдаемые данные отклоняются от ожидаемых (тех, что были бы при полном отсутствии связи). Чем больше это число, тем сильнее выражена зависимость между переменными или тем больше различие между группами, т.е. имеет место реальный эффект или закономерность, которая не является случайным шумом.
5. Определение t-статистики по времени, проведенном в сессии (которое показывает среднюю разницу в продолжительности сеансов между двумя группами).
Результат: t-statistic: 0.2106, p-value: 0.8332, а также, представлен на графике – диаграмме размаха (боксплот), отображающей распределение набора данных через пять основных метрик: минимум, первый квартиль, медиану, третий квартиль и максимум.
Разница в продолжительности сеансов просмотра на самом деле не так уж велика, и вероятность совпадения высока, поэтому принимаем, что существенной разницы в продолжительности сеансов между «старым и новым вариантом» нет, что также подтверждает график.
- Расчет конверсии по возрастам, включая проценты (сколько человек данного возраста было в выборке)
Для вычисления количества конверсий и их частоты (коэффициента конверсии) данные группировались по двум признакам: возрасту и тестовой группе. Если столбец конверсии содержит значения 0 и 1, то сумма значений даст общее количество конверсий, а среднее арифметическое — долю конверсии (????).
Результат представлен на графике:
По графику – визуально имеет место равнозначное влияние на поведение конверсии для обеих возрастных групп.
Резюме
- В результате тестирования обнаружены статистически значимые различия в привлечении внимания пользователей. Гипотеза о том, что изменение на сайте не влияет на поведение, отвергнута. Изменение оказало существенное влияние на выборку из 294 478 человек
- Анализируя критерии просмотров страниц, времени, проведенного на сайте, типа устройства и местоположения обеих групп, а также возраста клиентов в группах, можно по сумме реакций с уверенностью сказать, что группа B показала лучшие результаты по всем параметрам, за исключением времени, проведенного на сайте, просмотров страниц и возрастных особенностей, но в целом, использование исследуемых изменений на сайте, приводит к большему количеству конверсий.
- Статистическая достоверность: Полученные результаты обладают исключительной статистической значимостью. Вероятность того, что зафиксированные различия в поведении пользователей являются случайными, стремится к нулю.
- Надежность: Учитывая большой объем выборки (> 294 тыс.), результаты являются репрезентативными и устойчивыми.
Заключение
Изменение на сайте продемонстрировало математически доказанную эффективность в привлечении внимания клиентов. Рекомендуется интерпретировать данный результат как успешное подтверждение тестируемой гипотезы.