Полурекуррентные ядерные оценки базовых функционалов по независимым наблюдениям

Тип работы:
Реферат
Предмет:
Физико-математические науки


Узнать стоимость

Детальная информация о работе

Выдержка из работы

УДК 519. 2
ПОЛУРЕКУРРЕНТНЫЕ ЯДЕРНЫЕ ОЦЕНКИ БАЗОВЫХ ФУНКЦИОНАЛОВ ПО НЕЗАВИСИМЫМ НАБЛЮДЕНИЯМ
А.В. Китаева*, Г. М. Кошкин
*Томский политехнический университет Томский государственный университет Отдел проблем информатизации ТНЦ СО РАН, г. Томск E-mail: kit1157@yandex. ru
Рассматриваются оценки подстановки для широкого класса функционалов от многомерных плотностей распределений, содержащего функционалы от условных распределений. В качестве элементов подстановки предлагаются рекуррентные ядерные оценки с векторным параметром размытости (оценки базовых функционалов). Находится главная часть асимптотической сред-неквадратической ошибки оценок базовых функционалов. Показывается, что в асимптотике при оптимальном выборе параметров размытости выбором ядра можно добиться неограниченного сближения скорости сходимости в среднеквадратическом предложенных непараметрических и обычных параметрических оценок
Введение
Для широкого класса статистических задач при синтезе оптимальных процедур и отыскании их характеристик требуется оценивать различные выражения от многомерных распределений, которые можно представить в форме:
3(х) = Н ({а,. (х)}, {а,(1 л (х)},, = 1,7+1, ] = ш) =
= Н (х,{а (х)}, {а х)}). (1)
Здесь хеК& quot-, Я^К^+'-^Я1 — заданная функция, а базовые функционалы определяются следующим образом:
(х) = а (х) = | (у) / (х, у) ф,, = 177+1, (2)
а,(1 Л (х) = да (х),, = 17+1, ] = 1 т, (3)
дх /
а (ол (х) = а (х) = (а (х),…, а7+1(х)), а}(х) = = Ц (1Л (х),…, а™(х)),
где g1,…, gs — известные измеримые по Борелю скалярные функции, причем gs+1=1, /(х, у) — неизвестная плотность распределения наблюдаемого случайного вектора 1=(Х, Т) еКп+1. Интегрирование в (2) проводится на всей числовой оси, т. е. считается, что — далее в подобных случаях будет использоваться аналогичная замена. При фиксированном значении х будем называть /(х) характери-зационным функционалом.
Впервые выражения типа (1) без производных рассматривались в работах [1, 2] при изучении условных центральных моментов. Нетрудно видеть, что класс характеризационных функционалов содержит важный класс функционалов от условных распределений
Ь,(0Л (х) = Ь, (х) = а (х)/ р (х) =
= а,(х)/а+1(х) = |& amp- (у)/(у I x) dy, г = I7
где р (х) — плотность распределения вектора X, /(ух)=/(х, у)/р (х) — условная плотность распределе-
ния. Будем называть для краткости функционалы от условных распределений условными функционалами.
Условные функционалы обычно представляют собой отношения некоторых функций, что позволяет отнести их к классу функционалов с особенностями. При исследовании статистических свойств оценок отношений, например, сходимости в среднеквадратическом, приходится преодолевать дополнительные трудности, связанные с возможной неограниченностью оценок таких функционалов. Эти проблемы можно решать разными способами (см., например, [3−6]).
Ядерные оценки имеют непараметрический характер [7]. М. Розенблатт впервые в 1956 г. ввел класс ядерных оценок плотностей и исследовал их асимптотическую несмещенность и состоятельность [8]- позднее Е. Парзен (1962) доказал их асимптотическую нормальность [9]. Главная особенность непараметрического оценивания состоит в том, что класс распределений не определяется с точностью до конечного числа параметров. Несмотря на «бедность» исходной информации, непараметрические процедуры во многих случаях почти не проигрывают в эффективности параметрическим, когда оба типа процедур строятся по данным, соответствующим известной модели, и существенно выигрывают, если выбранная параметрическая модель неадекватно описывает реальность. Отметим, что в ряде случаев параметрические модели нельзя построить в принципе, либо это требует значительных затрат времени и средств [10]. Следует обратить внимание также и на то, что при решении целого класса задач нелинейной обработки сигналов непараметрические процедуры дают более обозримые результаты, чем параметрические рекуррентные процедуры, связанные с решением нелинейных дифференциальных уравнений в частных производных [11] или разложением плотности распределения в ряды.
Приведем ряд примеров характеризационных функционалов, возникающих при математическом описании различных прикладных задач. Обозначим 0({Ь (х)})=И (Ш}).
Важнейшую роль, безусловно, играет функция регрессии
r (x) = E (Y | X = x) = E (Y | x) =
f J yf (x, y) dy
¦¦ I yf (y | x) dy = 1---
J p (x)
(4)
минимизирующая среднеквадратическое отклонение (СКО) истинных выходов объекта и модели. В этом случае Я (а1,а2)=а1/а2, й (у)=у, g2(y)=1.
В регрессионной модели (4) функция чувствительности по у-му входу имеет вид
dr (x)
n (lj) п n (lj)
(ij) «eiЛ_ a_ nin2
T (x) = -^- H (п, n2, ni1 j), П21 j)) =
dxj n2
gi (y) = y, g2(y) =1
(5)
и характеризует степень связи между изменениями входных и выходных характеристик объекта.
Погрешность регрессионной модели можно измерять остаточной или условной дисперсией (ске-дастическая кривая [12. С. 462])
Б (7 / х) = | у2 / (ух)йу — г 2(х) —
Ь2) = Ь2 -ЬI g1(y) = у, я2(у) = у2 или условным стандартным отклонением ст (х) = у]Б (7 /х), б (Ь"Ь2)Ь2 -Ь2.
Кроме того, остаточная дисперсия вместе с условными центральными моментами третьего и четвертого порядков определяют, соответственно, условный коэффициент асимметрии или клитическую кривую
Ч3
А (x) =
E ((Y — r (x)) | x), [^(Y | x)]3 2 '-
?ft,. 2, A3) = Ь — ^ + 2b13
Sri)
i
(x) = - in K'-g (Y)K (r
hm
С) У
= nr-i (x) —
Jrj)
i (x) -П h-1g (Yn)K (r
k=1 r = 0,1,
'- x — X ^
'-(n)
(6)
где Z=(X, Y), 1=1,n — (т+1)-мерная выборка, характеризуемая плотностью f (x, y),
K
(0 j)
(u /h (0) = K (u /h (l)) = ПK (u / h)
— m-мерное мультипликативное ядро, масштабированное по каждой компоненте,
Ж (u / h (0) =
K (1 j '-(u / h (0) =
5и.
= K (u1 / hn) —
xK, l)(ui. / h.) K (u
K (ui-1/ h, (. -1)) x * u / h™),
7 +1 / h, (j+1))
dK (
(1)
(1) ^ '-(u,. /hj) K (1)(u,. / h,.) =-IJ-.
du j
чисел (Ank)^0 Vk=1,m,
an'-)(x)=(ainto,(x),…, a|+i)n (x)), s (y)=(fi (y),… ,&-+1(j)).
(Ь2 — ь2Г2
и куртическую кривую
в = Е ((7 — г (х))х)4 [ Б (7х)]2 '- связанную с условным эксцессом [12. С. 462].
1. Постановка задачи
В качестве рекуррентных ядерных оценок базовых функционалов а (х)=ат)(х) и их производных а (1Л (х) в точке х возьмем объединенную статистику
последовательности j),…
Впервые рекуррентные ядерные оценки плотности были предложены и изучены в [13, 14]. Последовательные процедуры обладают рядом преимуществ: они, как правило, легко реализуются на компьютерах, экономя машинную память, на каждом такте работы алгоритма дают готовый результат, и поступление новых измерений не приводит к громоздким перерасчетам, что позволяет обрабатывать информацию в режиме реального времени.
Оценивание характеризационных функционалов проводится методом подстановки, т. е. путем замены в (1) неизвестных базовых функционалов и их производных оценками (6). Метод подстановки прост, конструктивен и лежит в основе большинства приемов оценивания [15. C. 41]. Свойства таких оценок определяются отдельно свойствами статистик ctfXx) и преобразования Н. Можно ожидать, что если оценки являются „хорошими“, то получим также и „хорошую“ оценку Jn (x). Если мы знаем свойства оценок аЩ!)(х), то теоремы непрерывности А. А. Боровкова [16. C. 34] позволяют получить и свойства оценки Jn (x).
Например, в качестве полурекуррентных (числитель и знаменатель оцениваются рекуррентно) оценок подстановки условных функционалов b (x)=(b1(x),…, bs (x)) в точке x будем рассматривать
b» (x) =
= 1П g (Y)K
f x — X Л

/ in h*K
1=1 k=1
f x — X. Л

n" (x)
n.
(0 j)
(x)
(7)
Рп (х) & lt-/)" (х)
Заметим, что оценки (7) можно записать также в форме
Ьп (х) = Ьп-,(х) + (я (Уя) — Ьп-,(х)) х
т
х[1 + (п -1)Рп-,(х)ПЬпк (к ((х- Хп) /)))-1]-1,
к=1
где ^"_1(х) — рекуррентная ядерная оценка многомерной плотности. Такое представление удобно в задачах прогнозирования, поскольку g (Yn)-bn-1(x) -ошибка прогноза на и-ом шаге.
. =1
2. Асимптотические свойства ядерных рекуррентных оценок базовых функционалов
Будем считать для простоты обозначений, что g (Y): Л'-^Л1. Пусть ||/||=тах|/-| - норма вектора а'-ЧхНШЩХ: })Лу, М)=Щх)-1(х) — смещение оценки? п (х), тр=тр, Т=и!К (и)йи, 7=1,2,…
х хеГ '-
Для доказательства асимптотической несмещенности оценок воспользуемся утверждением [17]: если последовательность функций |/П (х)| сходится к функции Дх) в точке х при п^да, то
lim J- X f (x) = f (x).
(8)
Лемма 1 (асимптотическая несмещенность ап (х)). Если функция а (х) непрерывна в точке х и 8ира1+(х)& lt-да- ядро обладает свойствами: |К (и)с?и=1 и] | К (и)йи& lt- да- последовательность чисел (кпк)^0 Ук=1,т, то
lim b (an (x)) = 0.
(9)
Доказательство. По определению математического ожидания и теореме Фубини
1 — т Ean (x)| & lt- - ХП
n i=1 k=1
i g (y)K
(x -1
v h (i))
f (t, y) dtdy
i n m
=1X П
1=1 k=1
(-1 л
J K x- J g (y) f (t, y) dydt
V h (1))
1 n m
& lt- supa'-+ (x)-ХПh-
x n 1=1 k=1
JK
с Л
x -1
V h (1))
dt
& lt- да.
Сделав в повторных интегралах замену переменных (х-)/Нц=ий и обозначив и (1)=(ий,…, иы), и (1)к (,)=(ийкй,…, и1тк1т) получаем
Еап (х) =
1
— 1=1
X J K (U (1)) J g (y) f (x y) dydu (l) =
1 n
-X J a (x-U (l)h (l))K (u (i))du (i). (10)
+2sup a1+ (x) J |K (u)|du.
JjK (u)|du. Справедливость (9), учитывая вышеприведенное утверждение, показана.
Лемма 2 (асимптотическая несмещенность an (1J)(x)). Если функции a (1J)(x) и a (x) непрерывны в точке x, supa1+(x)& lt-<-«, sup|a (U)(x)|& lt-<-«- ядро K (u) удовлетворяет условиям леммы 1 и дополнительно i|K (1)(u)|du& lt-^, jjm K (u)=0- последовательность векторов (й («))^0, то
lim b (a-j)) = lim Ea-1 j} (x) — a{lj) (x) = 0. (11)
-^да -^да
Доказательство, в сущности, аналогично предыдущему и здесь не приводится.
Обозначим
Tv d (v)a (rj& gt-(x)
ю.
(rj)
(x) =
,(0 j)
v! dxv,
(x) =4i (x).
Пусть последовательности (hw) при и^да удовлетворяют следующему условию
-ХПh-= s Vxк Inh + о\ л
(12)
где множество /е (1,2,…, т|, к-=0,1,2,… постоянная? зависит от / и суммы показателей степеней {к}.
Замечание. Равенство (12) выполняется, например, для к7=0(га), 0& lt-а<-1 (именно такой вид имеют оптимальные параметры размытости (14)), при этом постоянную? можно определить согласно формуле Эйлера-Маклорена [18. С. 544].
Лемма 3 (скорость сходимости смещения). Пусть выполняются условия леммы 1 (или 2), и для г=0 (или 1) функции а (й (х) непрерывны на Л вместе со своими частными производными до у-го порядка включительно, причем
5(у) а (г)(х)
sup
x
dxi dxt… dxq
& lt-да, l, t,…, q =1, m.
Ядро К (и) дополнительно удовлетворяет условиям \и'-К (и)^и& lt-да, Т=0,, 7=1,…, V-1, Т0, К (и)=К (-и), а последовательность (к{п))-10 — соотношению (12). Тогда при п^да
Разобьем пространство Кт для каждого 1=1,п на два множества: Л^б^иуЦи^к^б} и Л^б^и^ЦиокоИ^З}, б& gt-0 — произвольное. Тогда
J (a (x-u (i)h (i)) — a (x))K (u (i))duii)
& lt- sup |a (x -u (l)h (l)) -a (x)| J |K (u)|du + ||u» A i)|& lt-a
b (a-r 4 x)) — S (v))(xW-,
= о \h
)
соответственно для г=0 (или 1).
Доказательство (г=0). Для простоты обозначений без ограничения общности будем считать у=т. В формуле (10) разложим функцию, а (х-ик») по формуле Тейлора в точке х с остаточным членом в форме Лагранжа:
1 п
Еап (х) = -X а (х -ы (1 Д))К (м (/))^м (/} =
К, (З)
Первое слагаемое выбором б можно сделать сколь угодно малым вследствие непрерывности функции а (х) в точке х. Второе слагаемое выбором достаточно большого п также можно сделать сколь угодно малым вследствие сходимости интеграла
1 —
=1X
— ,=1
a (x) +X h,
da (rj)(x) dx,
J uK (u)du —
1 m, , d2a (x)
+TT X h, ih,
2! 11=1
dxi dxt R
J uu, K (u)K (ut)diijdut +… +
i =1
?=1 jEj
i =1
R
R
1 m 5v-1a (x)
± X hiA hp-x
(v-1)! i. cp=i sx, ax, … axp
x J ulut ¦¦¦upK (ul)K (ut)••• K (up)duldut … dup
Rm-1
1 m dva (x + u (i) h ??) ± X АЙАЙ — hh---x
v ! ll 1l? p ?q — -
l, t,…, p, q=1
?q dx, dxt… dx dxq
x J ulut ¦•• upuqK (u,) — K (uq)diu … duq
Rm
1 n m 1 n
=a (x)± XXh& gt-v,(x)± X y.
. =-!¦ J
«I J
где
X h, ihtt hphq
dva (x + u. fh. fff)
l, t… p, q =1
-Yh.- u
a p. 1
l=1 xl
dx, Dx,… dx dx
l t p q
K (u)du, 0 & lt-в<- 1.
1
-X h = S (v)K, + oh
(n)
чим
lim
l^M
П h +|& lt-П W
= 0
n2 cov (a™(x), af)(x)) Xn tf cov| g, ft) K& quot->- ], ft) K (- 1 x- X
Xn h-
J g. OOg, (y)K& quot-"- | I K& lt-q"- IZ-L I f (t, y) dtdy-
— J g,(^)K& lt-"-[ ^h-^ If (t, y) dtdy J gp (y)K"& gt-(I f (t, y) dtdy
Rm+1 ^ h (l) J Rm+1 ^ & quot-('-) J
=X 13 * [ h H lit И1 d'---'-•?& quot- & gt-K"-(f h-- ° И v) d =
= XnhiKKq J a, p (x-umhm)K'-M (um)K& lt-q'->-(«(,))d"(,) —
i=l S= [, m
-П hs J a,(x — & quot-c h))K& quot-'->-("-(, Л,) J aP (x — u (, Л))K'-& quot-(u (l))du (l)
s=1 Rm Rm
= X m-h/hr/a, (x)L& lt-r'-q)(1)L<-r q)(1) (L (0'-0) (1))m-1 +? Y,
Применив теорему Лебега о мажорируемой сходимости, видим, что последовательность у-=о (||А (-)||у). Учитывая (12), а именно
y, =П К^'-К
J [a, p (x — u (,)h (i)) — a, P (x)]K& quot-'->-("- (,)) K q*& gt-("- (,) —
и то, что Т=0 дляу=1,…, у-1, получаем требуемый результат. Для г=1 доказательство проводится аналогично.
Вернемся к векторной функции g (y). Обозна-
-П hs J a,(x — u (l Д))K& quot-'->-("-«))d"-») J ap (x — u (l)h (l))K& lt- q*& gt-("-(l))d& quot-(f
По теореме Лебега о мажорируемой сходимости при 7-=о (1).
Согласно условию (12)
?О^© = jK®(М)(см, r, q = 0,1, c eЛ1-
P (x) = j a (y) (y) /(y) dy-
a'-up (x) = j| Si (У) gp (y) /(x, y) dy, i, p = 1,5 +1-
B (r*) = Lr, q)(1)(?(0,0(1))"-1, p (x).
Лемма 4 (ковариация). Пусть функции ahl (x), a,(x), ap (x) непрерывны на Rm,
sup a,'-+p (x) & lt- да, sup a1 (x) & lt- да, sup ap+ (x) & lt-да- j|Kmax (r'-q) (m) fu & lt-да, j K (u)du = 1-
Xn h^'-h^h- =
l=1 s=1 m
S (- m — r — q) П hnXjh- + o (| |h.
|-(m+ r+ q)
(n ^).
Лемма доказана.
Следствие (дисперсия). Пусть i=p, j=k, r=q- функции au (x) непрерывны на Rm,
sup a1+ (x) & lt- да, sup a]+ (x) & lt-да- j|K®(u)du & lt-да, jK (u)du =1-
lim
= 0.
П hs +|ln hlshl2
i=1
Тогда при и^да D'-af'-x& gt->- = B (r, r) S (-m — 2r «П I +
и выполняется (12). Тогда при и^да ССУ (х), арП & gt-(х)) =
т
=)5(-т — г — 9)(иП)-1 +
I=1
/ II-(т+ г+д)
+о (п «)||) —
Доказательство. По определению ковариации, основываясь на независимости выборки (Х1, ^?),… ,(Х», Г»), находим
-1 II l|- (m+ 2 r)
+o (n& quot- h (nj
(13)
Из полученн^1х результатов видно, что выбором последовательности векторов (h{n)) можно повысить скорость сходимости СКО оценок 0?(x) к нулю. В этом случае (h{n)), вообще говоря, будут зависеть от t=, s+, j=1,m ?=0,1. Обозначим СКО оценок базовых функционалов и их производных wXa?(x))=Aa?(x))+bXa?(x)).
Теорема (СКО). Если выполнены условия леммы 3 и следствия, то для оптимальных по скорости сходимости последовательности (h ($°) и СКО
l=1 s=1
R
s=1
R
?=1
s=1
u2 (x)|
^ | = u 2(arn) 0 (X))
справедливы соотношения
(1 Л
Ш?) 1 = о
К& quot-)
m+2(v + r)

(2v Л
u 2(а& quot-л 0 (x)) = о n m+2(v+r). V
Доказательство. Рассмотрим u2{a (nj) (x)) = B?/)S (-m — 2r) (n]]hnl& quot-
X S)(x)K,
11 ||-(m+ 2r) II ||2v +0(n — h (n) + h (n J)•
Дифференцируя главную часть СКО по ^ и приравнивая полученные выражения к нулю, получаем первую формулу (14) — учитывая полученный результат в (15), получаем вторую формулу (14).
Из теоремы следует, что при среднеквадра-тическое отклонение для оптимальных по скорости сходимости оценок ведет себя так же, как для параметрических оценок. Таким образом, выбором ядра
(14) можно улучшать скорость сходимости в среднеква-дратическом оценок (6) за счет повышения скорости сходимости к нулю смещения. Впервые эту проблему для ядерных оценок плотностей поставил и решил М. Бартлетт [19]. Заметим, что при v& gt-2 ядра будут знакопеременными, т. е. не обладающими характеристическими свойствами плотности (неотрицательность и нормировка на 1).
Асимптотические свойства полурекуррентных ядерных оценок подстановки функционалов (1)
(15) будут рассмотрены далее.
СПИСОК ЛИТЕРАТУРЫ
1. Конаков В. Д. Непараметрическое оценивание условных и частных моментов // Теория вероятностей и ее применения. -1973. — Т. 18. — Вып. 2. — С. 440−442.
2. Konakov V.D. Asymptotic properties of some functions of nonpara-metric estimates of a density function // J. Multiv. Anal. — 1973. -V. 3. — № 4. — P. 454−468.
3. Алексеев В. Г. О непараметрических оценках кривых и поверхностей регрессии // Автоматика и телемеханика. — 1988. — № 7. — С. 81−87.
4. Надарая Э. А. Об оценке регрессии // Теория вероятностей и ее применения. — 1964. — Т. 19. — Вып. 1. — С. 147−149.
5. Bosq D., Cheze-Payaud N. Optimal Asymptotic Quadratic Error of Nonparametric Regression Function Estimates for a Continuous-Time Process from Sampled-Data // Statistics. — 1999. — V. 32. -P. 229−247.
6. Добровидов А. В., Кошкин Г. М. Непараметрическое оценивание сигналов. — М.: Наука, Физматлит, 1997. — 336 с.
7. Wand M.P., Jones M.C. Kernel Smoothing. — London: Chapman & amp- Hall, 1995. — 210 p.
8. Rosenblatt M. Remarks on some nonparametric estimates of a density function // Ann. Math. Statist. — 1956. — V. 27. — № 3. -P. 832−837.
9. Parzen E. On estimation of a probability density function and mode // Ann. Math. Statist. — 1962. — V. 33. — № 3. — P. 1065−1076.
10. Jianqing Fan, Qiwei Yao. Nonlinear Time Series: Nonparametric and Parametric Methods. — New York: Springer-Verlag, 2003. — 577 p.
11. Пугачев B.C. Теория вероятностей и математическая статистика. — М.: Наука, 1979. — 496 с.
12. Кендалл М., Стьюарт Дж. Статистические методы и связи. -М.: Наука, 1973. — 900 с.
13. Wolverton C.T., Wagner T.J. Asymptotically optimal discriminant functions for pattern classification // IEEE Trans. — 1969. -V. IT-15. — № 2. — P. 258−266.
14. Banon G. Sur un estimateur non parametrique de la densite de probabilite // Rev. Statist. appl. — 1976. — V. 24. — № 4. — P. 61−73.
15. Боровков А. А. Математическая статистика. — Новосибирск: Наука, 1997. — 772 с.
16. Симахин В. А. Непараметрическая статистика. Ч. 1. Теория оценок. — Курган: Изд-во Курганского гос. ун-та, 2004. — 216 с.
17. Ahmad J.A., Lin P.E. Nonparametric sequential estimation of a multiple regression function // Bull. Math. Statist. — 1976. — V. 17. — № 1−2. — P. 63−75.
18. Фихтенгольц Г. М. Курс дифференциального и интегрального исчисления. Т. 2. — М.: Наука, 1966. — 800 с.
19. Bartlett M.S. Statistical Estimation of Density Function // Indian. J. Statist. — 1963. — V. A25. — № 3. — P. 245−254.
Поступила 17. 12. 2007 г.

ПоказатьСвернуть
Заполнить форму текущей работой