Меню

Сравнение средних значений двух выборок python



15 статистических тестов гипотез в Python (шпаргалка)

Дата публикации 2018-08-15

Краткое руководство по 15 тестам статистических гипотез, которые вам нужны в
прикладное машинное обучение, с примером кода на Python.

Хотя существуют сотни статистических тестов гипотез, которые вы могли бы использовать, существует лишь небольшое подмножество, которое вам может понадобиться в проекте машинного обучения.

В этой статье вы найдете шпаргалку для самых популярных статистических тестов гипотез для проекта машинного обучения с примерами, использующими Python API.

Каждый статистический тест представлен последовательно, в том числе:

  • Название теста.
  • Что тест проверяет.
  • Основные предположения теста.
  • Как результат теста интерпретируется.
  • Python API для использования теста.

Обратите внимание, что когда речь идет о допущениях, таких как ожидаемое распределение данных или размер выборки, результаты данного теста, скорее всего, будут изящно ухудшаться, а не станут сразу непригодными для использования в случае нарушения допущения.

Как правило, образцы данных должны быть репрезентативными для домена и достаточно большими, чтобы подвергать их распределение анализу.

В некоторых случаях данные могут быть исправлены, чтобы соответствовать допущениям, таким как исправление почти нормального распределения, чтобы оно было нормальным, путем удаления выбросов или использования корректировки на степени свободы в статистическом тесте, когда выборки имеют различную дисперсию, чтобы назвать два Примеры.

Наконец, может быть несколько тестов для данной проблемы, например, нормальность. Мы не можем получить четкие ответы на вопросы со статистикой; вместо этого мы получаем вероятностные ответы. Таким образом, мы можем прийти к разным ответам на один и тот же вопрос, рассматривая вопрос по-разному. Отсюда необходимость в нескольких разных тестах для некоторых вопросов, которые у нас могут быть о данных.

  • Обновление ноябрь / 2018: Добавлен лучший обзор покрытых тестов.

Обзор учебника

Этот урок разделен на четыре части; они есть:

  1. Тесты нормальности
    1. Тест Шапиро-Вилка
    2. Тест д’Агостино на K ^ 2
    3. Тест Андерсона-Дарлинга
  2. Корреляционные тесты
    1. Коэффициент корреляции Пирсона
    2. Ранговая корреляция Спирмена
    3. Ранговая корреляция Кендалла
    4. Тест хи-квадрат
  3. Параметрические статистические проверки гипотез
    1. Студенческий т-тест
    2. Парный студенческий т-тест
    3. Анализ дисперсионного теста (ANOVA)
    4. Повторные измерения ANOVA Test
  4. Непараметрические статистические проверки гипотез
    1. U-тест Манна-Уитни
    2. Тест Уилкоксона со знаком
    3. Kruskal-Wallis H Test
    4. Тест Фридмана

1. Тесты на нормальность

В этом разделе перечислены статистические тесты, которые вы можете использовать, чтобы проверить, имеют ли ваши данные распределение Гаусса.

Тест Шапиро-Вилка

Проверяет, имеет ли выборка данных распределение Гаусса.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • H0: образец имеет гауссово распределение.
  • H1: образец не имеет гауссовского распределения.

Тест д’Агостино на K ^ 2

Проверяет, имеет ли выборка данных распределение Гаусса.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • H0: образец имеет гауссово распределение.
  • H1: образец не имеет гауссовского распределения.

Тест Андерсона-Дарлинга

Проверяет, имеет ли выборка данных распределение Гаусса.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • H0: образец имеет гауссово распределение.
  • H1: образец не имеет гауссовского распределения.

2. Корреляционные тесты

В этом разделе перечислены статистические тесты, которые вы можете использовать, чтобы проверить, связаны ли две выборки.

Коэффициент корреляции Пирсона

Проверяет, имеют ли два образца линейную зависимость.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждой выборке обычно распределяются.
  • Наблюдения в каждом образце имеют одинаковую дисперсию.
  • H0: два образца независимы.
  • H1: существует зависимость между образцами.

Ранговая корреляция Спирмена

Проверяет, имеют ли два образца монотонные отношения.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждом образце могут быть ранжированы.
  • H0: два образца независимы
  • H1: существует зависимость между образцами.

Ранговая корреляция Кендалла

Проверяет, имеют ли два образца монотонные отношения.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждом образце могут быть ранжированы.
  • H0: два образца независимы.
  • H1: существует зависимость между образцами.

Тест хи-квадрат

Проверяет, являются ли две категориальные переменные связанными или независимыми.

  • Наблюдения, использованные при расчете таблицы сопряженности, являются независимыми.
  • 25 или более примеров в каждой ячейке таблицы сопряженности.
  • H0: два образца независимы.
  • H1: существует зависимость между образцами.

3. Параметрические статистические проверки гипотез

В этом разделе перечислены статистические тесты, которые вы можете использовать для сравнения выборок данных.

Студенческий т-тест

Проверяет, значительно ли отличаются два независимых образца.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждой выборке обычно распределяются.
  • Наблюдения в каждом образце имеют одинаковую дисперсию.
  • H0: средства образцов равны.
  • H1: средства образцов неравны.

Парный студенческий т-тест

Проверяет, значительно ли отличаются два парных образца.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждой выборке обычно распределяются.
  • Наблюдения в каждом образце имеют одинаковую дисперсию.
  • Наблюдения по каждому образцу являются парными.
  • H0: средства образцов равны.
  • H1: средства образцов неравны.

Анализ дисперсионного теста (ANOVA)

Проверяет, значительно ли отличаются два или более независимых образца.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждой выборке обычно распределяются.
  • Наблюдения в каждом образце имеют одинаковую дисперсию.
  • H0: средства образцов равны.
  • H1: одно или несколько средств отсчетов неравны.
Читайте также:  Пшеница 3 класс сравнение

Повторные измерения ANOVA Test

Проверяет, значительно ли отличаются два или более парных образца.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждой выборке обычно распределяются.
  • Наблюдения в каждом образце имеют одинаковую дисперсию.
  • Наблюдения по каждому образцу являются парными.
  • H0: средства образцов равны.
  • H1: одно или несколько средств отсчетов неравны.

В настоящее время не поддерживается в Python.

4. Непараметрические статистические проверки гипотез

U-тест Манна-Уитни

Проверяет, равны ли распределения двух независимых выборок или нет.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждом образце могут быть ранжированы.
  • H0: распределения обоих образцов равны.
  • H1: распределения обоих образцов не равны.

Тест Уилкоксона со знаком

Проверяет, равны ли распределения двух парных выборок или нет.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждом образце могут быть ранжированы.
  • Наблюдения по каждому образцу являются парными.
  • H0: распределения обоих образцов равны.
  • H1: распределения обоих образцов не равны.

Kruskal-Wallis H Test

Проверяет, являются ли распределения двух или более независимых выборок равными или нет

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждом образце могут быть ранжированы.
  • H0: распределения всех образцов равны.
  • H1: распределения одной или нескольких выборок не равны.

Тест Фридмана

Проверяет, равны ли распределения двух или более парных выборок или нет.

  • Наблюдения в каждой выборке независимы и одинаково распределены (iid).
  • Наблюдения в каждом образце могут быть ранжированы.
  • Наблюдения по каждому образцу являются парными.
  • H0: распределения всех образцов равны.
  • H1: распределения одной или нескольких выборок не равны.

Дальнейшее чтение

Этот раздел предоставляет больше ресурсов по теме, если вы хотите углубиться.

Резюме

В этом руководстве вы обнаружили ключевые тесты статистических гипотез, которые могут вам понадобиться в проекте машинного обучения.

В частности, вы узнали:

  • Типы тестов для использования в различных обстоятельствах, такие как проверка нормальности, отношения между переменными и различия между выборками.
  • Основные предположения для каждого теста и как интерпретировать результат теста.
  • Как реализовать тест с использованием Python API.

У вас есть вопросы?
Задайте свои вопросы в комментариях ниже, и я сделаю все возможное, чтобы ответить.

Я пропустил важный статистический тест или ключевое предположение для одного из перечисленных тестов?
Позвольте мне знать в комментариях ниже.

Источник

Как использовать параметрические тесты статистической значимости в Python

Дата публикации 2018-05-18

Параметрические статистические методы часто означают те методы, которые предполагают, что выборки данных имеют гауссово распределение.

в прикладном машинном обучении нам необходимо сравнить выборки данных, в частности, среднее значение выборок. Возможно, чтобы увидеть, работает ли один метод лучше, чем другой, в одном или нескольких наборах данных. Чтобы количественно оценить этот вопрос и интерпретировать результаты, мы можем использовать методы тестирования параметрических гипотез, такие как t-критерий Стьюдента и ANOVA.

В этом руководстве вы найдете параметрические тесты статистической значимости, которые количественно определяют разницу между средними значениями двух или более выборок данных.

После завершения этого урока вы узнаете:

  • T-критерий Стьюдента для количественной оценки разницы между средним двух независимых выборок данных.
  • Парный t-критерий Стьюдента для количественной оценки разницы между средним двух зависимых выборок данных.
  • ANOVA и повторные измерения ANOVA для проверки сходства или разницы между средними 2 или более выборок данных.
  • Обновлено май / 2018: Улучшенный язык вокруг отклонения против неспособности отклонить статистические тесты.

Обзор учебника

  1. Параметрические тесты статистической значимости
  2. Тестовые данные
  3. Студенческий т-тест
  4. Парный студенческий t-тест
  5. Анализ дисперсионного теста
  6. Повторные измерения ANOVA Test

Параметрические тесты статистической значимости

Параметрические статистические тесты предполагают, что выборка данных была взята из определенного распределения населения.

Они часто ссылаются на статистические тесты, которые предполагают распределение Гаусса. Поскольку данные так часто соответствуют этому распределению, более часто используются параметрические статистические методы.

Типичный вопрос, который может возникнуть у нас о двух или более выборках данных, заключается в том, имеют ли они одинаковое распределение. Параметрические тесты статистической значимости — это те статистические методы, которые предполагают, что данные поступают из одного и того же гауссовского распределения, то есть распределения данных с тем же средним и стандартным отклонением: параметрами распределения.

В общем, каждый тест вычисляет статистику теста, которая должна интерпретироваться с некоторой подготовкой в ​​статистике и более глубокими знаниями самого статистического теста. Тесты также возвращают значение p, которое можно использовать для интерпретации результата теста. Значение p можно рассматривать как вероятность наблюдения двух выборок данных с учетом базового предположения (нулевая гипотеза), что две выборки были взяты из совокупности с одинаковым распределением.

Читайте также:  Формула впр для сравнения двух таблиц

Значение p можно интерпретировать в контексте выбранного уровня значимости, называемого альфа. Обычное значение для альфа составляет 5%, или 0,05. Если значение p ниже уровня значимости, то тест говорит, что имеется достаточно доказательств, чтобы отвергнуть нулевую гипотезу, и что выборки, вероятно, были взяты из популяций с различным распределением.

  • p & lt; = альфа: отвергнуть нулевую гипотезу, другое распределение.
  • p & gt; альфа: не в состоянии отклонить нулевую гипотезу, то же самое распределение.

Тестовые данные

Прежде чем мы рассмотрим конкретные параметрические тесты значимости, давайте сначала определим тестовый набор данных, который мы можем использовать для демонстрации каждого теста.

Мы сгенерируем две выборки из разных дистрибутивов. Каждый образец будет взят из распределения Гаусса.

Мы будем использоватьфункция randn () NumPyдля генерации выборки из 100 гауссовских случайных чисел в каждой выборке со средним значением 0 и стандартным отклонением 1. Наблюдения в первой выборке масштабируются до среднего 50 и стандартного отклонения 5. Наблюдения во второй выборке масштабируется, чтобы иметь среднее значение 51 и стандартное отклонение 5.

Мы ожидаем, что статистические тесты обнаружат, что выборки были взяты из различных распределений, хотя небольшой размер выборки в 100 наблюдений на выборку добавит некоторого шума в это решение.

Полный пример кода приведен ниже.

Выполнение примера генерирует выборки данных, затем вычисляет и печатает среднее и стандартное отклонение для каждой выборки, подтверждая их различное распределение.

Студенческий т-тест

Студенческий т-тестявляется тестом статистической гипотезы о том, что две независимые выборки данных, которые, как известно, имеют распределение Гаусса, имеют одинаковое распределение Гаусса по имени Уильяма Госсета, который использовал псевдоним «Ученик«.

Одним из наиболее часто используемых t-тестов является t-критерий независимых выборок. Этот тест используется, когда вы хотите сравнить средние значения двух независимых выборок по заданной переменной.

Предположение или нулевая гипотеза теста заключается в том, что средства двух групп населения равны. Отказ от этой гипотезы указывает на то, что имеется достаточное количество доказательств того, что средства населения различны, и, в свою очередь, что распределения не равны.

  • Не в состоянии отклонить H0: Распределения выборки равны
  • Отклонить H0: Распределения выборки не равны.

T-тест Студента доступен на Python черезФункция ttest_ind () SciPy, Функция принимает две выборки данных в качестве аргументов и возвращает вычисленную статистику и значение p.

Мы можем продемонстрировать t-тест Стьюдента на тестовой задаче, ожидая, что тест обнаружит разницу в распределении между двумя независимыми образцами. Полный пример кода приведен ниже.

При выполнении примера вычисляется t-критерий Стьюдента на сгенерированных выборках данных и выводится статистика и значение p.

Интерпретация статистики обнаруживает, что выборочные средние значения различаются со значением не менее 5%.

Парный студенческий т-тест

Мы можем захотеть сравнить средние значения между двумя образцами данных, которые каким-то образом связаны между собой.

Например, образцы данных могут представлять две независимые меры или оценки одного и того же объекта. Эти выборки данных повторяются или зависят и называются парными выборками или повторными измерениями.

Поскольку образцы не являются независимыми, мы не можем использовать t-критерий Стьюдента. Вместо этого мы должны использовать модифицированную версию теста, которая исправляет тот факт, что образцы данных являются зависимыми, называемый парным t-тестом Стьюдента.

Т-тест зависимых выборок также используется для сравнения двух средних значений по одной зависимой переменной. Однако, в отличие от теста независимых выборок, t-тест зависимых выборок используется для сравнения средних значений для одной выборки или двух согласованных или парных выборок.

Тест упрощен, потому что он больше не предполагает, что существуют различия между наблюдениями, что наблюдения проводились парами, до и после лечения одного и того же субъекта или субъектов.

Предположение по умолчанию, или нулевая гипотеза теста, заключается в том, что нет разницы в средних между образцами. Отказ от нулевой гипотезы указывает на то, что имеется достаточно доказательств того, что выборка означает разные.

  • Не в состоянии отклонить H0: Парные выборки распределены одинаково.
  • Отклонить H0: Парные выборки распределений не равны.

Парный t-тест Стьюдента может быть реализован на Python с использованиемФункция ttest_rel () SciPy, Как и в случае непарной версии, функция принимает в качестве аргументов две выборки данных и возвращает вычисленную статистику и значение p.

Мы можем продемонстрировать парный t-тест Стьюдента на наборе тестовых данных. Хотя выборки являются независимыми, а не спаренными, мы можем притвориться ради демонстрации того, что наблюдения спарены, и рассчитать статистику.

Полный пример приведен ниже.

При выполнении примера вычисляется и распечатывается статистика теста и значение p. Интерпретация результата предполагает, что образцы имеют разные средние значения и, следовательно, разные распределения.

Анализ дисперсионного теста

Иногда возникают ситуации, когда у нас может быть несколько независимых выборок данных.

Читайте также:  Бразилия часовой пояс по сравнению с москвой

Мы можем выполнить t-тест Стьюдента попарно для каждой комбинации образцов данных, чтобы понять, какие образцы имеют разные значения. Это может быть обременительным, если нас интересует, имеют ли все образцы одинаковое распределение или нет.

Чтобы ответить на этот вопрос, мы можем использоватьанализ дисперсионного тестаили ANOVA для краткости. ANOVA — это статистический тест, который предполагает, что среднее значение для 2 или более групп одинаково. Если данные свидетельствуют о том, что это не так, нулевая гипотеза отклоняется, и по крайней мере одна выборка данных имеет другое распределение.

  • Не в состоянии отклонить H0: Все примеры распределений одинаковы.
  • Отклонить H0: Одно или несколько примеров распределений не равны.

Важно отметить, что тест может только прокомментировать, являются ли все образцы одинаковыми или нет; он не может количественно определить, какие образцы отличаются или насколько.

Цель одностороннего дисперсионного анализа (односторонний ANOVA) состоит в том, чтобы сравнить средние значения двух или более групп (независимой переменной) по одной зависимой переменной, чтобы увидеть, значительно ли отличаются групповые значения друг от друга.

Тест требует, чтобы выборки данных были гауссовским распределением, чтобы выборки были независимыми и чтобы все выборки данных имели одинаковое стандартное отклонение.

Тест ANOVA можно выполнить в Python, используяf_oneway () функция SciPy, Функция принимает две или более выборки данных в качестве аргументов и возвращает статистику теста и значение f.

Мы можем изменить нашу тестовую задачу, чтобы иметь две выборки с одинаковым средним значением и третью выборку с немного другим средним значением. Затем можно ожидать, что тест обнаружит, что по крайней мере один образец имеет другое распределение.

Полный пример приведен ниже.

При выполнении примера вычисляется и распечатывается статистика теста и значение p

Интерпретация p-значения правильно отвергает нулевую гипотезу, указывающую, что одно или несколько выборочных средних отличаются.

Повторные измерения ANOVA Test

У нас может быть несколько образцов данных, которые связаны или зависят каким-либо образом.

Например, мы можем повторить одни и те же измерения на объекте в разные периоды времени. В этом случае образцы больше не будут независимыми; вместо этого у нас будет несколько парных образцов.

Мы могли бы повторить попарный критерий Стьюдента несколько раз. Кроме того, мы можем использовать один тест, чтобы проверить, имеют ли все образцы одинаковое среднее значение. Можно использовать вариант теста ANOVA, модифицированный для тестирования более чем 2 образцов. Этот тест называется тестом ANOVA с повторными измерениями.

Предположение по умолчанию или нулевая гипотеза состоит в том, что все парные выборки имеют одинаковое среднее значение и, следовательно, одинаковое распределение. Если образцы предполагают, что это не так, то нулевая гипотеза отклоняется, и один или несколько парных образцов имеют другое среднее значение.

  • Не в состоянии отклонить H0: Все парные выборочные распределения одинаковы.
  • Отклонить H0: Одно или несколько парных распределений выборок не равны.

Однако ANOVA с повторными измерениями имеет ряд преимуществ перед парными t-тестами. Во-первых, с помощью ANOVA с повторными измерениями мы можем исследовать различия по зависимой переменной, которая была измерена более чем в двух временных точках, тогда как с помощью независимого t-теста мы можем сравнивать оценки по зависимой переменной только из двух временных точек.

К сожалению, на момент написания, в SciPy нет версии теста ANOVA для повторных измерений. Надеюсь, этот тест будет добавлен в ближайшее время.

Я упоминаю этот тест на полноту, если вам требуется его в вашем проекте и вы можете найти и найти альтернативную реализацию.

расширения

В этом разделе перечислены некоторые идеи по расширению учебника, которые вы, возможно, захотите изучить.

  • Обновите все примеры для работы с образцами данных, имеющими одинаковое распределение.
  • Создайте блок-схему для выбора каждого из трех тестов статистической значимости с учетом требований и поведения каждого теста.
  • Рассмотрим 3 случая сравнения выборок данных в проекте машинного обучения, предположим, что распределение выборок негауссово, и предложите тип теста, который можно использовать в каждом случае.

Если вы исследуете какое-либо из этих расширений, я хотел бы знать.

Дальнейшее чтение

Этот раздел предоставляет больше ресурсов по теме, если вы хотите углубиться.

книги

статьи

Резюме

В этом руководстве вы обнаружили параметрические тесты статистической значимости, которые количественно определяют разницу между средними значениями двух или более выборок данных.

В частности, вы узнали:

  • T-критерий Стьюдента для количественной оценки разницы между средним двух независимых выборок данных.
  • Парный t-критерий Стьюдента для количественной оценки разницы между средним двух зависимых выборок данных.
  • ANOVA и повторные измерения ANOVA для проверки сходства или разницы между средними двух или более выборок данных.

У вас есть вопросы?
Задайте свои вопросы в комментариях ниже, и я сделаю все возможное, чтобы ответить.

Источник