03.com.ua- свободная медицинская энциклопедия. Каждый зарегистрированый участник может редактировать статьи

Принцип максимального правдоподобия

Материал из 03.com.ua.
Перейти к навигации Перейти к поиску

Принцип максимального правдоподобия является спорным принципом статистического вывода, который предполагает, что вся информация о статистической выборке содержится в функции правдоподобия.

Функция правдоподобия основывается на условной вероятности взятием ее как функции от второго аргумента при фиксировании первого. Например рассмотрим модель в которой плотностью вероятности случайной величины X зависит от параметра θ. Тогда для некоторого конкретного значения x случайной величины X функция L(θ | x) = P(X=x | θ) и есть функция правдоподобия θ, определяя насколько правдоподобно каждое конкретное значение параметра θ при условии, что нам известно значение x величины X. Две функции правдоподобия являются равными, если одна есть произведение второй на некоторую скалярную величину.

Пример

Рассмотрим случайные величины

  • X количество успехов в двенадцати независимых испытаний с распределением Бернулли с вероятностью успеха θ в каждом из них.
  • Y количество независимых испытаний с распределением Бернулли, необходимых для получения трех успехов. Вероятность успеха в каждом из испытаний θ.

Тогда рассмотрение X = 3 даст функцию правдоподобия

<math>L(\theta|X=3)=\begin{pmatrix}12\\3\end{pmatrix}\;\theta^3(1-\theta)^9=220\;\theta^3(1-\theta)^9</math>

а рассмотрение Y = 12 даст функцию правдоподобия

<math>L(\theta|Y=12)=\begin{pmatrix}11\\2\end{pmatrix}\;\theta^3(1-\theta)^9=55\;\theta^3(1-\theta)^9.</math>

Они равносильны, так как одна равняется произведению второй на скалярное значение. Принцип максимального правдоподобия в данном случае говорит, что выоды, сделанные о значении переменной θ должны быть одинаковы в обоих случаях.

Разница в наблюдении X = 3 и наблюдении Y = 12 исключительно в дизайне эксперимента: в одном случае изначально было решено делать двенадцать попыток, а в другом делать попытки, пока не будет трех успешных. Результат будет одинаковым в обоих случаях. Поэтому принцип максимального правдоподобия иногда выражают следующим образом:

Вывод должен зависеть только от исхода эксперимента, а не от дизайна эксперимента.

Закон максимального правдоподобия

Связяная с принципом максимального правдоподобия концепция это закон максимального правдоподобия, говорящий, что отношение того, какое значение параметра более применимо, равняется отношению их функций правдоподобия. Тогда отношение

<math>\Lambda = {L(a|X=x) \over L(b|X=x)} = {P(X=x|a) \over P(X=x|b)}</math>

является мерой того, насколько величина x принимает параметр a в отношении к b. Таким образом, если отношение равняется 1, то разницы нет, а если больше 1, то a предпочтительней b и наоборот.

Из принципа максимального правдоподобия и закона максимального правдоподобия следует, что парамаетр, который максимизирует функцию правдоподобия является лучшим. Это и является основой широко известного метода максимального правдоподобия.

Историческая справка

Принцип максимального правдоподобия был впервые упомянут в печати в 1962г. Однако основы принципа и применение его на практике были опубликованы ранее в работах Р.А. Фишера в 1920г.

Аргументы за и против принципа максимального правдоподобия

Принцип максимального правдоподобия принимается не всеми. Некоторые широко используемые методы традиционной статистики, как например проверка статистических гипотез противоречат принципу максимального правдоподобия. Рассмотрим кратко некоторые за и против этого принципа.

Зависимость результата от дизайна эксперимента

Неосуществленные события действительно играют роль в некоторых общих статистических методах. Например результат проверки статистической гипотезы зависит от вероятности результата так же или даже более, чем изучаемая величина, а эта вероятность может зависить от дизайна эксперимента. Таким образом там где такие методы применимы, принцип максимального правдоподобия неприменим.

Некоторые классичекие методы проверки гипотез базируются не на правдоподобии. Часто приводимый пример это проблема оптимальной остановки. Предположим я сказал, что бросил монету 12 раз и получил 3 решки. Из этого вы сможете сделать некоторые выводы о вероятности выпадения решки у этой монеты. А теперь предположим, что я бросал монету пока решка не выпала 3 раза и бросли так же 12 раз. Сделаете ли вы теперь другие выводы?

Функция правдоподобия одинакова в обоих случаях и пропорциональна

<math>p^3 \; (1-p)^9</math>.

В соответствии с принципом правдоподобия выоды должны быть одинаковы в обоих случаях.

Предположим некоторая группа ученых определяет вероятность некоторого исхода (который мы будем называть 'успехом') серией экспериментов. Здравый смысл подсказывает нам, что если нет никакой основы пологать успех или неудачу более вероятными, то вероятность успеха будет одна вторая. Ученый Адам сделал 12 испытаний и получил 3 успеха и 9 неудач, после чего умер.

Его коллега по лаборатории Билл продолжил работу Адама и опубликовал результаты с результатом проверки гипотезы. Он проверил гипотезу что p, вероятность успеха, равняется одной второй против p < 0.5. Вероятность того, что из 12 испытаний будет 3 или менее успехов (что еще менее вероятно) равняется

<math>\left({12 \choose 9}+{12 \choose 10}+{12 \choose 11}+{12 \choose 12}\right)\left({1 \over 2}\right)^{12}</math>

что есть 299/4096 = 7.3%. Таким образом гипотеза не отвергается при 5% уровне доверия.

Шарлотта, другая ученая, прочитав статью Билла, пишет письмо, говорящее, что возможно Адам продолжал испытания пока не получил 3 успеха, тогда вероятность что потребуется 12 или более испытания равняется

<math>1-\left({10 \choose 2}\left({1 \over 2}\right)^{11}+{9 \choose 2}\left({1 \over 2}\right)^{10}+\cdots +{2 \choose 2}\left({1 \over 2}\right)^{3}\right)</math>

что есть 134/4096 = 3.27%. И теперь результат отвергается при уровне в 5%.

Для этих ученых зависимость результата испытаний зависит от дизайна эксперимента, а не только от правдоподобия результата.

Очевидно, парадокс такого рода пологается некоторымим как аргумент против принципа правдоподобия, для других же он иллюстрирует его значение и разрешает парадокс.

Литература

См. также


Ссылки

en:Likelihood principle

Шаблон:Заготовка

Получено с http://03.com.ua/index.php?title=Принцип_максимального_правдоподобия&oldid=21944