Проблема идентификации нестационарных моделей

Тип работы:
Реферат
Предмет:
Физико-математические науки


Узнать стоимость

Детальная информация о работе

Выдержка из работы

УДК 519. 6
ПРОБЛЕМА ИДЕНТИФИКАЦИИ НЕСТАЦИОНАРНЫХ МОДЕЛЕЙ
ГРИЦЮК в. и.
Рассматривается проблема оценивания порядка и параметров нестационарных временных рядов. Исследуются вопросы состоятельности и асимптотической нормальности оценок максимума правдоподобия для параметров, изменяющихся во времени. Предлагаются методы определения порядка для переменных во времени AR моделей с применением AIC приближения.
Проблеме оценивания числа параметров, также как их величин, для модели, подогнанной по данным наблюдений, уделено иного внимания в литературе. Акайке [1 ] решал эту проблему подгонки через меру максимума энтропии, основанную на информацион -ном расстоянии Кульбака-Лейблера, которое использует функцию максимума правдоподобия. Критерий Акайке AIC по существу следует из состоятельности и асимптотической нормальности оценок максимума правдоподобия и применяется к неизменным во времени AR моделям, где асимптотические свойства легко устанавливаются. Представляет интерес вопрос обоснованности AIC приближения для более общего случая. Установим условия, гарантирующие обоснованность приближения AIC для класса переменных во времени AR моделей.
Пусть Yn = {yt- t = 0,1, -, N -1 — набор наблюдаемых
данных yt, генерируемых некоторой системой, которая включает неизвестное число неизвестных параметров. Предположим, что истинное число параметров k конечно, т. е. существует целое l такое, что k х l, и соответствующий истинный параметр 9(= 9 k) принадлежит некоторому компактному набору пространства конечной размерности. Конечность k требуется для установления результата состо —
ятельности. Определим параметр 9 k, ограниченный k — мерным подвектором
0 k, k+i = - = 0 кд = 0 R1, 0 к =
= (0k, 1,0k, 2' • • • 0k, k,0, • • •, 0) T
Предположим, что 9 k є © k для k = 1, -, l и © k с © і для каждого k, где © k компактный под набор в R1. Оценки параметра 9 N определяются как
inf qN (0k) = 9n (0N) (1)
а-1) C{qN (0k)} -равномерно ограничена на (c)k для каждого N и Q (9k) = limN^ q{qN (0k)} существует на © k-
а-2) qN (0 k) ^ Q (0 k) с вероятностью 1 равномерно по Qk при N ^да-
а-3) Q (9k) непрерывна на Qk. а-4) существует
единственный параметр 9k є (c)k такой, что (c)(9k) ^ (c)(9k) с равенством, если 9k = 9k.
Если qN (0k) соответствует (а-2)-(а-4), то ^ 0 с вероятностью 1 при N ^ да, для k=1,
2, —, l. Для того, чтобы показать, как этот класс оценок (как функция порядка k) сходится к истинной величине 9, покажем следующее.
Пусть qN (0k) соответствует (а-2)-(а-4), а-5) Q (9k) & gt- Q (9) с равенством, если 9k = 0. Тогда
& gt-N-0k
lim
)N
k
= 0 с вероятностью 1, где 9 N определяется
minqN (9N) = qN (9N). (2)
1& lt-k<-l k k
Если множество параметров не содержит истинную систему, то условия (2) ведут к той модели, характеризуемой параметром 9k, которая минимизирует неотрицательное расстояние Q (9 k) — Q (9).
Можно указать, что эти условия не ведут в общем к состоятельности оценки порядка k. Определено, [2] что k меняется в наборе k & lt- k & lt- l.
Если qN (0 k) удовлетворяет условиям (а-1)-(а-5) и существует случайная переменная ф, для которой
qN (0k)ф равномерно на N, 9k є(c)k и (^|& lt-^}хда тогда
lim min СjqN (6N)j = Q (0) (3)
N^rc 1& lt-k<-l 1 k ' v'
Аппроксимируем Q (9) для достаточно больших N как
Q (9) = min C|qN (0N)}. (4)
Заметим, что если истинная система не содержится в множестве моделей, то Q (9) в (4) заменяется на Q (9k). Отметим, что условие нижней границы на
Предположим, что для каждого k = 1,2, • • •, l q n (0 k) удовлетворяет:
qN (9 k) содержится для широкого класса методов оценки параметров, включая максимум правдоподобия, наименьших квадратов и технику ошибки предсказания.
52
РИ, 2000, № 1
Соотношение (3) обеспечивается условиями Липшица: для некоторого р сфера M (9 k, р) с центром
є ® k
Qn (0k)-Qn (0k)BN (0ЪP)
иBn (0k, p)}^S равномерно на N, 9k є(c)
k •
Перепишем равенство (4) как
k
min C|qN (0N ^ = minn (0N) + 1& lt-k<-l v k — 1& lt-k<-lL k
+(c {in (0 N)} - qN (§ N))]
(5)
Член qN (0N) содержит параметр 0N ясно выраженный и предполагаемый порядок k.
Выражение
С |qN (0 N^- qN (0 N), (6)
стремится к нулю с вероятностью 1 при N ^ да • Асимптотическая аппроксимация этого выражения ведет к точной функции k, которая позволяет получить желаемую оценку порядка по конечному числу наблюдений Yn • Это приближение Акайке. Для того, чтобы изучить это выражение, предположим, что qN (0 k) удовлетворяет следующим аналитическим свойствам:
(б-1)qN (0N) = 0 —
(б-2) HN, k (9k) существует на (c)k, где
д д t
н"& lt-е «& gt- = аёГ (qN (e k"T-
(б-3)||н N, k (ЄОІ S у k на © k, где у k — интегрируемая-
(б-4) HNkdn)H (9k) с вероятностью 1 при
N. да, когда |n ^ 0k с вероятностью 1, когда
N ^ да, где H (9k) — постоянная положительно определенная матрица.
Из (б-1)-(б-4) следует, что выражение (6) для достаточно больших N может быть аппроксимировано как
с W0 N)} - qN (0 N)=i/2 fc{mnOo}+MN (kj+
+ On 00, (7)
Это то, что можно обобщить без точных статистических предположений.
Если мы предположим асимптотическую нормальность оценки параметров 0 N так, что:
(б-5) Vn (9N -0k) сходится к закону нормального
распределения N (0, r (9k)), тогда для достаточно больших N
C{Mn (k)} * N trr T/ 2 (9k)H (0k) x xr½(9k) = ^^trH (9k)r (9k) ,
где Г½ГT/2 =Г.
Более того, ^ |MN (k)j = 0(N2) также следует из (б-
5). Применяя аппроксимацию Mn (k) «C{Mn (k)} и
пренебрегая членом On (k) в (7) получаем для больших N
Q (9) и min C{qN} ~ min [qN (0N) +
1& lt-k<-l 1& lt-k<-P k («)
+1/ N trace H (0k)r (0k)] ()
Минимизация ожидания в (7) относительно k, 1 & lt- k & lt- l, получается в наборе с более высоким порядком
модели k & lt- k & lt- l с вероятностью 1 для больших N. Если семейство моделей, подогнанное к данным -параметрическое семейство, то приведенные рассуждения пригодны, если семейство не содержит истинную систему. Так как параметр 9k дает наилучшую
подгонку внутри семейства и 9k идентично для всех
k, k & lt- k & lt- l, то 9^ играет ту же самую роль, как 0 k в предшествующем обсуждении.
Кроме предположений (а-1)-(а-5) и (б-1)-(б-5) для qN (0 k) не предполагалась никакая точная форма. Для этого уровня обобщения член следа (8) не может
быть вычислен точно, так как H и 9k точно не известны. Существует важный случай, для которого этот член имеет очень простую форму k. В частности, если qN (0 k) — функция максимума правдоподобия и квадратичный критерий, можно показать, что
H (9k) не зависит от 9k и H = Г1. Поэтому след Hr = k. В этом случае (8) представляет AIC критерий
где Mn (k) = (0N-0k)TH (9k)(9N-9k) и 0N (k) = C [qN (0 k^_ qN (0k) +
+ cjj-qN (0 k) T (0 N-0k)j
min
1& lt-k<-l
Cn (0 N)}
min
1& lt-k & lt-l
qN (0k) +1
(9)
Рассмотрим два основных компонента проблемы оценивания порядка для переменных во времени AR
РИ, 2000, № 1
53
модели. Это — состоятельность и асимптотическая нормальность оценок параметров.
Исследуем следующую линейную изменяющуюся во времени AR модель:
yt + al (t _1)yt-1 4 hak (t _k)yt-k = ctwt
yt = 0 для t ч 0 (10)
где {w t} - n x 1 независимая последовательность с нулевым средним и вариацией I- {yt}-соответствующий nxlвыход, и jai (t), i = 1,2,•••, k], ct — nxn матрицы. В системе (10) коэффициенты {ai (t), i = 1,2,-, l^j и k представляют неизвестные коэффициенты и порядок, соответственно. Изменяющиеся во времени коэффициенты {a i (t)} представим как
m
ai (t) = ?аijSij (t) для каждого i = 1,2, — Д, (11) j=1
где ja .j I неизвестные постоянные параметры и {Sjj (t)}
известные n x n матрицы. Предполагается, что к находится в конечном наборе {1,2, -, 1}, где l как можно наибольший порядок. © L — компактный набор в Rl, l = 1 х m
(r)l ={0l|II®LI -a 4"}, (12)
т
где 0l = (a11,a12, •"a1m, a21, •», a1m)
Предполагается, что система (10) удовлетворяет следующим условиям:
(е-1) Условия (11), (12) выполняются-
(е-2) {Skj (t)| - известные равномерно ограниченные матрицы-
(е-3) ct — известная равномерно ограниченная и невырожденная матрица для всех t, то есть существуют rb r2 у 0 такие, что для всех t: r1I & lt- ctcT & lt- r2I-
(е-4) Система (10) с wt = 0 экспоненциально устойчива.
(е-5) L|wt||8 & lt- r3 х да для всех t ^ 0 —
функции Q (9 k) требуется для изучения асимптотического распределения оценок параметра, но не для установления состоятельности оценок.
Для системы (10) с условиями (е-1) — (е-6) значение логарифмической функции правдоподобия со знаком минус определяется
qN (0 K)
1
2N
Nr1(y{k))T (ctcT) -1y (k)
t=0
(13)
для 0K є(c)K, где
ytk) = yt + a1(t — 1) yt-1 + • «+ ak (t — k) yt-k © к ={б k|||9 k|| - a ^ «}, K = k x m
И 0к = (0к, 1,0K, 2, •», 9K, K,0, •», 0) T
Система (8) может быть выражена в матричной форме
Yn — ANCNWN, (14)
где Yn = (y
TT
Cn =
yN-1) T, Wn = (wT
О '- О 0 •• 0
0 c1 — 0
0 0 •• 0
0 0 •• cN —
T
w1 ,
TT — wN-1) '-
A n1 — треугольная матрица с единичными диагональными элементами. Из экспоненциальной устойчивости (е-4), следует, что существует
r4 у 0, 0 х X ¦& lt- 1 такое, что
|gt-j (j)|| ^ r4 ^ j для всех t & gt- j & gt- 0, (15)
где g t (j) — элементы матрицы A n1. Используя
выражения для Yn, данное (12), Qn (9к)может быть переписано как
qN (9K) — - YN KPNYN — - WN KRNWN ,
где
KPN — KANC NTC N1 KAN, KAN — An| 9=eK, KRN = CNANT KPNAN1cN
(е-6) ct — периодические матрицы с периодом To и
для каждого k = 1,2, -, 1 {Skj (t), j = 1,2, -, m j — линейно независимы и периодические матрицы с периодом To. Условие периодичности в (е-6) может быть заменено другим классом матриц, для которых
1im C (q N (0 k) существует. Существование предела
Так как ct, ct1 равномерно ограничены,
{a-(t), i = 1,2,-, k},{ii (t), i = 1,2,-, k}, из (15) следует равномерная ограниченность матрицы kRn в N для каждого k (или для K = k х m).
54
РИ, 2000, № 1
Можно показать, что для этого класса переменных во
времени коэффициентов 0 N определяется
K
min min qN (0к) = qN (0 N)
1& lt-K<-L Єкє(c)к к '-
Так как q N (0 к) — квадратичная в 0 к и ограниченный компактный набор © к может быть выбран как
можно большим, мы можем выбрать оценку 0N 0к как решение следующего уравнения
Доказывается также [2], что для каждого порядка k, 1 & lt- k & lt- l
Vn (0N-0к)к є AsN (0,Hjqn), (18)
где (у)к обозначает вектор в Як содержащий первые к компонент v и H^n — первый к -й главный минор Hl, n. Из (18) следует, что
С{(0N -0к)кНк, й (0N -0к)к (-к/N.
qN (§ N) — 0
50 к
(16)
для каждого порядка k и достаточно больших N. Так
как 0 є(c)l, 0 = 0l• Будем считать, что распределение
L — мерного случайного вектора, представляемого (17), сходится к нормальному
Поэтому, из (9) имеем
qN (0 N) + N
для достаточно больших N • Оценка параметра определяется выражением (1)
Разложение в ряд Тейлора выражения (16) дает
Q (0) = min
1& lt-^L
ZN, N -ч/N TT- (qN (0L))
O0l
N-1
= Z xN, t, t=0
1 9 -t —
-r ^ (wNlRnWn)
2/N 00 L
0L=e L
(17)
где 0 L
_ (0L, 1,'-'-'-, 0L, L), xN, t _ (xN, t' 'xN, t)
xNj) t ^/=wTct1Spq (t"p)yt-p
для каждого i = (p — 1) m + q, p = 1,2, -, l и
q = l, 2, -, m и GNN) = (-f-)lAn
O0 L, i
Асимптотическая нормальность оценок устанавливается с применением центральной предельной теоремы для мартингалов. Необходи-мыми условиями для установления асимптотической нормальности является следующее утверждение.
Для фиксированного L и для всех 0 l є© l существует постоянная, симметричная, положительно определенная матрица, такая, что
& gt-N — вL
4: '-
-1−1 г
50,
& quot-(qN (0 L))
,(19)
где
9 9 1 т
^ (^ qN) =-yN
50 L, i 50 L, j _ NN
-1n (j)
: CNf G
N N N
К
(G (i))T C _T (gN) CN
i, j = 1,2, —, L для каждого (20)
i = (p — 1) m + q, j = (r -1)m + s
Поэтому, (19) представляет то же самое асимптотическое выражение, что и для оценки (1), вычисляемой по накопленным данным. Таким образом, для
оценки параметров a ij можно применить последовательное оценивание изменяющегося векторного параметра, используя фильтр Калмана. Порядок модели определяем по мере поступления данных наблюдения, используя эффективные численные методы, предложенные в [3] и применяя предложенный критерий.
Нт = lim -------
N^-ro 90 l
д т
(~ZT~ qN (0 L))
90 L
c вероятностью 1. Отметим, что вторая производная q N (0 l) независима от 0 l, так как q n (0 l) квадратичная функция от 0 L.
Литература: 1. Akaike H. Information theory and an extension of the maximum likelihood principle // 2nd Int. Symp. Information Theory, Budapest. 1973, P. 267−281. 2. Kozin F. Estimation and modeling of non-stationary time series // Proc. Symp. Appl. Comput. Methods in Eng., 1977. Р. 603 -612. 3. Трицюк В. И. Рекуррентный алгоритм идентификации модели, основанный на ортогональном разложении / / Радиоэлектроника и информатика, 1998.С. 46 — 48.
Случайный вектор Znn сходится по распределению к нормальному с нулевым средним и матрицей ковариаций Hl при N ^ да. Можно доказать что
VN (0−0N) є AsN (0,Hl1).
Поступила в редколлегию 28. 01. 2000
Рецензент: д-р техн. наук, проф. Шабанов-Кушнаренко Ю.П.
Грицюк Вера Ильинична, канд. техн. наук, докторант ХТУРЭ. Научные интересы: стохастические системы управления. Хобби: музыка, литература. Адрес: Украина, 61 166, Харьков, пр. Ленина, 14, тел. 40−93−06.
РИ, 2000, № 1
55

ПоказатьСвернуть
Заполнить форму текущей работой