![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
mr_bisonА кто силен в теории вероятности?
Есть такая штука как проверка статистических гипотез.
Возьмем, например, монетку и проверим честная ли она (т.е. что вероятность выпадения орла и решки одинакова и равна 1/2 или 0,5) подбросив ее 10 раз. Предположим монетка или броски честные. Если наша гипотеза верна, то соотношение орлов и решек должно стремиться к 50 на 50. Причем, чем больше бросков, тем точнее должно быть соотношение. На бесконечности так вообще должно стать ровно 50 на 50. Но мы монету бросаем не бесконечное число раз, а всего 10. Поэтому и соотношение может отклоняться от 50 на 50 в обе стороны. Дальнейший подход зависит от уровня нашей паранойи. Чем сильнее отклоняется соотношение от 50 на 50 тем больше вероятность, что с монетой что-то не то. Однако вероятность того, что это просто такое редкое совпадение, что, скажем, выпало 10 орлов подряд тоже не равна нулю. Просто очень мала. И это опять-таки "мала" в зависимости от того, что считать малой вероятностью. Так что это, честно скажем, дело вкуса и практики, где проводить границу и говорить, например, "Я еще могу поверить, что случайно может выпасть 8 орлов или решек из 10, но 10 или 9 из 10 это уже чересчур! Не верю! Монета или броски нечестные!". Если мы примем довольно распространенный уровень значимости в 0,05 то собственно к подобному критерию и придем.
Вопрос собственно вот в чем. Примем решку за 0 и орел за 1 и рассмотрим следующие комбинации.
0101010101
1010101010
1111100000
0000011111
и т.д.
Ведь явно с этими комбинациями что-то не то и не верится, что они случайные, хоть соотношение тут орлов и решек самое что ни на есть 50 на 50. А представьте, что бросков не 10, а скажем 1000, или 1000000, или больше. Если я подобные последовательности увижу при тысяче бросков, я тут же решу, что с бросками монеты что-то не то. Но почему? Как объяснить мое недоверие не на уровне интуиции, а формально с точки зрения теории вероятности?
PS. Есть у меня одно соображение, но сначала я хотел бы выслушать тех, кто теорию вероятности лучше меня помнит.
Есть такая штука как проверка статистических гипотез.
Возьмем, например, монетку и проверим честная ли она (т.е. что вероятность выпадения орла и решки одинакова и равна 1/2 или 0,5) подбросив ее 10 раз. Предположим монетка или броски честные. Если наша гипотеза верна, то соотношение орлов и решек должно стремиться к 50 на 50. Причем, чем больше бросков, тем точнее должно быть соотношение. На бесконечности так вообще должно стать ровно 50 на 50. Но мы монету бросаем не бесконечное число раз, а всего 10. Поэтому и соотношение может отклоняться от 50 на 50 в обе стороны. Дальнейший подход зависит от уровня нашей паранойи. Чем сильнее отклоняется соотношение от 50 на 50 тем больше вероятность, что с монетой что-то не то. Однако вероятность того, что это просто такое редкое совпадение, что, скажем, выпало 10 орлов подряд тоже не равна нулю. Просто очень мала. И это опять-таки "мала" в зависимости от того, что считать малой вероятностью. Так что это, честно скажем, дело вкуса и практики, где проводить границу и говорить, например, "Я еще могу поверить, что случайно может выпасть 8 орлов или решек из 10, но 10 или 9 из 10 это уже чересчур! Не верю! Монета или броски нечестные!". Если мы примем довольно распространенный уровень значимости в 0,05 то собственно к подобному критерию и придем.
Вопрос собственно вот в чем. Примем решку за 0 и орел за 1 и рассмотрим следующие комбинации.
0101010101
1010101010
1111100000
0000011111
и т.д.
Ведь явно с этими комбинациями что-то не то и не верится, что они случайные, хоть соотношение тут орлов и решек самое что ни на есть 50 на 50. А представьте, что бросков не 10, а скажем 1000, или 1000000, или больше. Если я подобные последовательности увижу при тысяче бросков, я тут же решу, что с бросками монеты что-то не то. Но почему? Как объяснить мое недоверие не на уровне интуиции, а формально с точки зрения теории вероятности?
PS. Есть у меня одно соображение, но сначала я хотел бы выслушать тех, кто теорию вероятности лучше меня помнит.
no subject
Date: 2017-10-29 09:58 pm (UTC)Ключове слово — N-грами (N-grams).
Для наведених вами випадків цілком достатньо їхньої підмножини — біграм.
Фізичний смисл біграми: «ймовірність випадіння події Б за умови, що їй передувала подія А».
Для 10 дослідів будуєте 9 пар виду:
перший+другий
другий+третій
ітд.
Потім сумуєте однакові випадки. І маєте для перших двох дослідів
P(0,0) = P(1,1) = 0
P(0,1) = P(1,0) = 1
Для 3 і 4 випадків
P(0,0) = P(1,1) = 4/5
P(0,1) = P(1,0) = 1/5
А «правильне» розподілення було б по 0.5 всюди.
Зауваження 1. Випадіння «тільки 0», «тільки 1» або «більшість 0» цими біграмами також легко помітити. Серед програмістів це вважається хорошою прикметою, коли виняткові випадки перестають бути винятковими і отримують можливість бути обробленими стандартним алгоритмом, без необхідності особливої гілки if-then.
Зауваження 2. Вочевидь, *бі*-грам недостатньо для виявлення більш складних патернів виду 001001 110110, тут треба триграми чи N-грами більш високих порядків.
no subject
Date: 2017-10-29 10:01 pm (UTC)