ГлавнаяФункция предельного правдоподобия (англ. Marginal Likelihood Function) или интегрированное правдоподобие (англ. integrated likelihood) — это функция правдоподобия, в которой некоторые переменные параметры исключены. В контексте байесовской статистики, функция может называться обоснованностью (англ. evidence) или обоснованностью модели (англ. model evidence).
Концепция
Если дано множество независимых одинаково распределённых точек данных X = ( x 1 , … , x n ) , {displaystyle mathbb {X} =(x_{1},ldots ,x_{n}),} , где параметр x i ∼ p ( x i | θ ) {displaystyle x_{i}sim p(x_{i}| heta )} согласно некоторому распределению вероятностей с параметром θ {displaystyle heta } , где параметр θ {displaystyle heta } сам по себе является случайной величиной, заданной распределением, то есть θ ∼ p ( θ | α ) {displaystyle heta sim p( heta |alpha )} . Функция предельного правдоподобия в общем случае спрашивает, какова вероятность события p ( X | α ) {displaystyle p(mathbb {X} |alpha )} , где θ {displaystyle heta } исключено (путём интегрирования по этому параметру):
p ( X | α ) = ∫ θ p ( X | θ ) p ( θ | α ) d θ {displaystyle p(mathbb {X} |alpha )=int _{ heta }p(mathbb {X} | heta ),p( heta |alpha ) operatorname {d} ! heta }Определение выше сформулировано в контексте байесовской статистики. В классической (частотной) статистике концепция предельного правдоподобия появляется вместо этого в контексте совместного параметра θ = ( ψ , λ ) {displaystyle heta =(psi ,lambda )} , где ψ {displaystyle psi } является фактическим параметром, а λ {displaystyle lambda } является мешающим параметром. Если существует распределение вероятности для λ {displaystyle lambda } , часто желательно рассмотреть функцию правдоподобия лишь в терминах ψ {displaystyle psi } путём исключения λ {displaystyle lambda } :
L ( ψ ; X ) = p ( X | ψ ) = ∫ λ p ( X | λ , ψ ) p ( λ | ψ ) d λ {displaystyle {mathcal {L}}(psi ;mathbb {X} )=p(mathbb {X} |psi )=int _{lambda }p(mathbb {X} |lambda ,psi ),p(lambda |psi ) operatorname {d} !lambda }К сожалению, предельные правдоподобия, как правило, трудно вычислить. Точные решения известны для малого класса распределений, в частности, когда исключаемый параметр является сопряжённым априорным распределением распределения данных. В других случаях нужен некий метод численного интегрирования, либо общий метод интегрирования, такой как метод Гаусса или метод Монте-Карло, или метод, разработанный специально для статистических задач, такой как аппроксимация Лапласа, семплирование по Гиббсу/Метрополису, или EM-алгоритм.
Можно также применить вышеприведённые соглашения к отдельной случайной величине (точке данных) x, а не к множеству наблюдений. В контексте байесовской теории это эквивалентно априорному прогнозируемому распределению точки данных.
Приложения
Сравнение байесовских моделей
При сравнении байесовских моделей исключённые переменные являются параметрами для определённого типа модели, а оставшиеся переменные являются характеристиками модели. В этом случае предельное правдоподобие является вероятностью данных при заданном типе модели без предположения о значениях каких-либо конкретных параметров. Функция предельного правдоподобия для модели M равна
p ( x | M ) = ∫ p ( x | θ , M ) p ( θ | M ) d θ {displaystyle p(x|M)=int p(x| heta ,M),p( heta |M),operatorname {d} ! heta }Именно в этом контексте обычно используется термин обоснованность модели. Эта величина важна, поскольку отношение апостериорных шансов для модели M1 и другой модели M2 вовлекает отношение функций предельного правдоподобия, так называемый коэффициент Байеса:
p ( M 1 | x ) p ( M 2 | x ) = p ( M 1 ) p ( M 2 ) p ( x | M 1 ) p ( x | M 2 ) {displaystyle {frac {p(M_{1}|x)}{p(M_{2}|x)}}={frac {p(M_{1})}{p(M_{2})}},{frac {p(x|M_{1})}{p(x|M_{2})}}}что можно схематично сформулировать как
апостериорные шансы = априорные шансы × коэффициент Байеса