Теорема Рао — Блэквелла — Колмогорова

Электромонтаж Ремонт и отделка Укладка напольных покрытий, теплые полы Тепловодоснабжение

Теорема Рао — Блэквелла — Колмогорова

18.12.2020

Теорема Рао — Блэквелла — Колмогорова — утверждение в математической статистике, на основе которого можно улучшать статистические оценки параметров.

Пусть X 1 , … , X n {displaystyle X_{1},ldots ,X_{n}} — последовательность независимых одинаково распределённых случайных величин с распределением, зависящим от некоторого неизвестного параметра θ ∈ Θ . {displaystyle heta in Theta .} Пусть θ ^ ( X ) {displaystyle {hat { heta }}(X)} — некоторая статистическая оценка этого неизвестного параметра с конечной матрицей вторичных моментов, а T = T ( X ) {displaystyle T=mathrm {T} (X);} — достаточная статистика для параметра θ . {displaystyle heta .} Тогда существует θ ^ 1 ( X ) = E [ θ ^ ( X ) | T ( X ) ] {displaystyle {hat { heta }}_{1}(X)={ extrm {E}}[{hat { heta }}(X)|T(X)]} и кроме того θ ^ 1 ( X ) {displaystyle {hat { heta }}_{1}(X)} является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть для любого вектора z необходимой размерности выполняется неравенство:

z E [ ( θ ^ 1 ( X ) − θ ) T ( θ ^ 1 ( X ) − θ ) ] z T ⩽ z E [ ( θ ^ ( X ) − θ ) T ( θ ^ ( X ) − θ ) ] z T . {displaystyle z{ extrm {E}}[({hat { heta }}_{1}(X)- heta )^{T}({hat { heta }}_{1}(X)- heta )]z^{T}leqslant z{ extrm {E}}[({hat { heta }}(X)- heta )^{T}({hat { heta }}(X)- heta )]z^{T}.}

Равенство выполняется лишь тогда, когда θ ^ {displaystyle {hat { heta }}} является измеримой функцией от T.

Доказательство

Доказательство для случая когда параметр является одним числом, то есть его размерность равна единице. Тогда

E ⁡ [ θ ^ 1 ( X ) − θ ] 2 = E ⁡ [ E ( θ ^ ( X ) | T ( X ) ) − θ ] 2 = E ⁡ [ E ( θ ^ ( X ) − θ | T ( X ) ) ] 2 ⩽ E ⁡ [ E ( ( θ ^ ( X ) − θ ) 2 | T ( X ) ) ] = E ⁡ ( θ ^ ( X ) − θ ) 2 . {displaystyle operatorname {E} [{hat { heta }}_{1}(X)- heta ]^{2}=operatorname {E} left[{ extrm {E}}({hat { heta }}(X)|T(X))- heta ight]^{2}=operatorname {E} left[{ extrm {E}}({hat { heta }}(X)- heta |T(X)) ight]^{2}leqslant operatorname {E} left[{ extrm {E}}(({hat { heta }}(X)- heta )^{2}|T(X)) ight]=operatorname {E} ({hat { heta }}(X)- heta )^{2}.}

Неравенство следует из того, что для любой случайной величины W, var ⁡ W = E ⁡ W 2 − ( E ⁡ W ) 2 ] ⩾ 0 , {displaystyle operatorname {var} W=operatorname {E} W^{2}-(operatorname {E} W)^{2}]geqslant 0,} если взять W = E ( θ ^ ( X ) − θ | T ( X ) ) . {displaystyle W={ extrm {E}}({hat { heta }}(X)- heta |T(X)).} Отсюда также видим, что равенство выполняется лишь когда var W = 0 , {displaystyle operatorname {var} ,W=0,} то есть когда θ ^ ( X ) − θ {displaystyle {hat { heta }}(X)- heta } принимает одно значение для каждого значения T, то есть θ ^ ( X ) {displaystyle {hat { heta }}(X)} является функцией от T.


Имя:*
E-Mail:
Комментарий: