Identyfikacja - metoda najmniejszych kwadratów

Report
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Identyfikacja - metoda najmniejszych kwadratów
Typowa forma zadania estymacji parametrów
 Dany jest system dynamiczny, dla którego proponowany jest model
matematyczny oparty na doświadczeniu proponującego i który:
▪ zgodny jest ze wszystkimi znanymi prawami rządzącymi
zachowaniem się systemu,
▪ pozwala wykorzystać dostępne w systemie
porównania zachowania się modelu i systemu
pomiary
dla
▪ jego struktura spełnia wymagania pozwalające uzyskać pożądaną
dokładność
ale zawiera szereg niezbyt dobrze znanych parametrów
 Należy określić „najlepsze” estymaty wszystkich nieznanych
dobrze parametrów tak, aby model matematyczny zapewniał
„optymalną estymatę” zachowania systemu
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
1
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Każda metoda rozwiązująca zadanie o podanej strukturze –
realizacja procesu estymacji
Zadania estymacji: bardzo łatwe  ...... nierozwiązywalne
Podstawa wielu procesów estymacji – metoda najmniejszych
kwadratów
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
2
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
W procesie estymacji z każdą włączoną
zmienną/wielkością związane są trzy wartości:
w
ten
proces
x - wartość prawdziwa (rzeczywista) zmiennej
~x - wartość mierzona zmiennej

x - wartość estymowana zmiennej
Co można powiedzieć o tych wartościach?
x - wartość praktycznie nieznana
~x - wartość uzyskiwana z czujnika lub z innego pomiaru, nigdy
nierówna wartości prawdziwej, obarczona błędem pomiaru

x - wartość zmiennej uzyskiwana jako wynik procesu estymacji
W zadaniu estymacji zmienne x – parametry modelu
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
3
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Dwa błędy:
1. Błąd pomiaru (measurement error)
~
x  x~
e
błąd pomiaru
~
e  ~
x x
wartość prawdziwa
wartość mierzona
2. Błąd resztkowy (residual error)
 
~
x  xe
wartość mierzona
błąd resztkowy – residuum)
 ~ 
e  x x
wartość estymowana
Co można powiedzieć o tych błędach:
~
e - wartość praktycznie nigdy nieznana; mechanizm generujący ten
błąd zwykle jest aproksymowany przez pewien znany proces (np.
szum gaussowski o zerowej wartości średniej i znanej wariancji
σ2 ;

e - wartość znana w momencie wyznaczenia wartości estymowanej
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
4
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 1 (aproksymacja szeregu czasowego):
Rysunek – wyniki pomiaru pewnego procesu w czasie
System bez zewnętrznego wejścia – szereg czasowy
Pomiary
Szereg y(t)
czasowy
Czas (miesiące)
Możliwa interpretacja – historia notowań na giełdzie pewnej firmy w okresie
6 miesięcy
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
5
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Zadanie – zbudować model y(t) do predykcji perspektyw firmy
Dane:
~
y t 
(np.
notowań
zamknięcia
giełdy),
oznaczone
Pomiary y t 
dane dla przedziału 6 miesięcy
Wymagania:
Wartość bezwzględna błędów resztkowych (residuów) |μ| nie
większa niż 0.0075:
Odchylenie standardowe błędów resztkowych (residuów) σ nie
większa od 0.125
Średnia z próby:
 
m
1
m

~
  y t i   y t i 
m – liczba próbek,
liczba pomiarów
i1
Wariancja z próby:

2

1
m 1
 Kazimierz Duzinkiewicz, dr hab. inż.
m

2
   ~y t i   y t i    
i 1
Katedra Inżynierii Systemów Sterowania
6
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Proponowane modele:
Model 1 :
y 1 t   c 1 t  c 2 sin t   c 3 cos  2 t 
Model 2 :
y 2 t   d 1 t  2   d 2 t  d 3 t
2
3
t - czas [miesiące – m]
c 1 , c 2 , c 3 - stałe współczynniki – parametry Modelu 1
d 1 , d 2 , d 3 - stałe współczynniki – parametry Modelu 2
Ocena:
Jak dobrze każdy z proponowanych modeli z „optymalnymi”
wartościami współczynników ci oraz di dokonuje predykcji pomiarów?
W statystyce: proces „wpasowywania” krzywej takiej jak np. Model 1
lub Model 2 w posiadane pomiary - regresja
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
7
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Załóżmy, że znamy metodę najmniejszych kwadratów i
zastosowaliśmy algorytm tej metody do wyznaczenia „optymalnych”
wartości współczynników ci Modelu 1 oraz di Modelu 2
„Optymalne” wartości współczynników ci Modelu 1



c 1 , c 2 , c 3 T
 0 . 9967 , 0 . 9556 , 2 . 0030
T
„Optymalne” wartości współczynników di Modelu 2
  
d 1 ,d 2 ,d 3

Modele
z
współczynników
Model 1 :
Model 2 :

T
 0 . 6721 ,  0 . 1303 , 2 . 0210
„optymalnymi”
T
wartościami

y 1 t   0 . 9967 t  0 . 9556 sin t   2 . 0030 cos  2 t 

2
3
y 2 t   0 . 6721 t  2   0 . 1303 t  2 . 0210 t
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
8
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Model 1 :

y 1 t   0 . 9967 t  0 . 9556 sin t   2 . 0030 cos  2 t 
Model 1
C za s (m ie s ią ce )
Pomiary i najlepsza aproksymacja
(interpolacja)
P o m ia ry i n a jlep s za ap ro k s y m a c ja
(in te rp o la cja )
Porównanie modeli:
Model 2
Model 2 :

2
3
y 2  t   0 . 6721  t  2   0 . 1303 t  2 . 0210 t
Czas (miesiące)
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
9
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Porównanie modeli:
Model 1
Błędy resztkowe (residua)
Model 1 :

y 1 t   0 . 9967 t  0 . 9556 sin t   2 . 0030 cos  2 t 
Czas (miesiące)
B łę d y re s ztk o w e (re s id u a )
M odel 2
Model 2 :

2
3
y 2  t   0 . 6721  t  2   0 . 1303 t  2 . 0210 t
C za s (m ie s ią c e )
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
10
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Porównanie modeli:
Średnia z próby błędów resztkowych (residuów):
Model 1 :  1  1  10
Model 2 :  2  1  10
5
5
Odchylenie standardowe z próby błędów resztkowych (residuów):
Model 1 :  1  0 . 0921
Model 2 :  2  1 . 3685
Konkluzja:
Nie mając podstaw przypuszczać istnienia systematycznych błędów
w pomiarach stwierdzamy, że Model 1 może być używany do
dokładnej oceny zachowania y(t)
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
11
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Jaka będzie jakość predykcji y(t) poza przedziałem 0-6m?:

P o m ia ry
P o m ia ry i n a jlep s ze d o p a s o w a n ie
N a jlep s ze d o p a s o w a n ie
P rze d zia ł in te rp o la cji
P rze d zia ł e k s trap o lac ji
C za s (m ie s ią ce )
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
12
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Kuchnia naszego zadania:
Pomiary generowane zgodnie z równaniem
5
t
~
y 1 t   1  t  1  sin t   2  cos 2 t   4  10  e  ~
e1
Symulacja błędu pomiaru: generator szumu gaussowskiego o
zerowej wartości średniej i odchyleniu standardowym σ = 0.1
Propozycja strukturalnie poprawnego modelu:
Model 3 :
y 3 t   x 1 t  x 2 sin t   x 3 cos  2 t   x 4 e
t
„Optymalne” wartości współczynników xi Modelu 3

    T
 x 1 , x 2 , x 3 , x 4   0 . 9958 , 0 . 9979 , 2 . 0117 ,  4 . 232  10  5
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania

T
13
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Model strukturalnie poprawny – różnice wartości prawdziwych i
wartości estymowanych parametrów
Prawdziwe wartości współczynników xi Modelu 3
x1 , x 2 , x3 , x4 
T

 1 . 0 , 1 . 0 , 2 . 0 ,  4 . 0  10

5 T
Estymowane „optymalnie” wartości współczynników xi Modelu 3
(dane z okresu 0-6m)

   
 x 1 , x 2 , x 3 , x 4 T  0 . 9958 , 0 . 9979 , 2 . 0117 ,  4 . 232  10  5

T
Jedyna przyczyna – błędy pomiarów
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
14
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Jaka będzie jakość predykcji y(t) z wykorzystaniem strukturalnie
poprawnego modelu z wartościami parametrów estymowanymi w
oparciu o dane z okresu 0-6m?

Pomiary
Pomiary i najlepsze dopasowanie
Najlepsze dopasowanie
Przedział interpolacji
Przedział ekstrapolacji
Czas (miesiące)
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
15
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Wnioski z Przykładu 1
 ogromne znaczenie w praktyce estymacji poprawnego
strukturalnie modelu matematycznego systemu
 zaproponowanie strukturalnie poprawnego modelu jest zadaniem
trudnym dla nie – specjalisty z dziedziny aplikacji
 pominięte elementy modelu oraz błędy estymacji parametrów
modelu mogą prowadzić do błędnych wyników uzyskiwanych z
modelu, szczególnie poza obszarami objętymi pomiarami
Teoria estymacji może być rozwijana bez zwracania uwagi na konkretne
systemy dynamiczne, ale udane zastosowania teorii estymacji prawie zawsze
oparte są na łącznym zrozumieniu teorii estymacji i zasad rządzących
zachowaniem się rozważanego systemu
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
16
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Metoda najmniejszych kwadratów - jednokrotna estymacja liniowa
– (linear batch estimation)
Dane:
~
~
~
~
(1)
Pomiary y 1 , t 1 ; y 2 , t 2 ;  ; y j , t j ;  ; y m , t m


Proponowany model:
Liniowy względem parametrów
y t  
n
 x i h i t 
(2)
i1
h1 t , h 2 t , , hi t ,  , h n t 
- określony zbiór niezależnych (3)
funkcji bazowych
Parametry nieznane
xi ;
Założenie:
 Kazimierz Duzinkiewicz, dr hab. inż.
i  1,n
mn
Katedra Inżynierii Systemów Sterowania
17
Modelowanie i podstawy identyfikacji 2014/2015
Poszukiwanie:

x
Estymaty i ;
i  1,n
Identyfikacja – metoda najmniejszych kwadratów
nieznanych parametrów x i ;
i  1,n
Kryterium jakości doboru wartości estymowanych parametrów –
jak dobrze proponowany model dokonuje predykcji pomiarów
Argument kryterium – błędy resztkowe (residua)


ej  ~
yj  yj ,
j  1, m
Liczba błędów resztkowych – liczba pomiarów
Pamiętać należy też: błąd pomiędzy wartością prawdziwą a wartością
estymowaną – powody:
- błąd pomiaru
- niepoprawny wybór wartości parametrów xi, i=1, ..., n
- niepoprawna struktura modelu – błąd modelowania
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
18
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Zależności:
~y  ~y t  
j
j


y j  y t j  
n
 x h t   ~e
i
i1
n

i
j

x i hi t j ,
j
j  1, m
,
- model pomiaru (4)
j  1, m
(5)
i 1
gdzie
~
ej ,
j  1, m
- błędy pomiaru: zakładamy na razie, że ich mechanizm
nie jest znany i może mieć charakter przypadkowy
lub deterministyczny
Przyjmujemy
~y  y  e 
j
j
j
n

 


x i hi t j  e j ,
j  1, m
(6)
i1
gdzie


ej  ~
yj  yj ,
j  1, m
 Kazimierz Duzinkiewicz, dr hab. inż.
- błędy resztkowe
Katedra Inżynierii Systemów Sterowania
19
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Zależności w zwartej postaci
~y  H x  e~
(4a)
x   x 1 , x 2 , , x i , , x n 
- wektor prawdziwych wartości
parametrów

 

 T
x   x 1 , x 2 , , x i , , x n 
- wektor estymowanych wartości
parametrów
T




- wektor wartości estymowanych y
T
- wektor błędów pomiarów
~
y  ~
y1 , ~
y 2 , , ~
y j , , ~
ym
T

 


y  y 1 , y 2 , , y j , , y m

~
e  ~
e1 , ~
e 2 , , ~
e j , , ~
em
 Kazimierz Duzinkiewicz, dr hab. inż.
T

- wektor wartości mierzonych y
Katedra Inżynierii Systemów Sterowania
20
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Zależności w zwartej postaci –c.d.:
~y  H x  e

~
y  ~
y1 , ~
y 2 , , ~
y j , , ~
ym

- wektor wartości mierzonych y
T
- wektor estymowanych wartości
parametrów

 

 T
x   x 1 , x 2 , , x i , , x n 


 


e  e 1 , e 2 , , e j , , e m
(6a)

- wektor błędów resztkowych
(residuów)
T
 h 1 t 1  h 2 t 1  ... h i t 1  ... h n t 1  


 h 1 t 2  h 2 t 2  ... h i t 2  ... h n t 2  


.......... .......... .......... .......... .....

H 
 h1 t j

h 2 t j ... h i t j ... h n t j


 .......... .......... .......... .......... ..... 
 h t  h t  ... h t  ... h t  
2
m
i
m
n
m 
 1 m
 
 
 
 
T
Macierz obserwacji
Równania (4a) oraz (6a) – równania obserwacji
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
21
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 2: rozpuszczalność azotanu sodu w zależności od
temperatury
Pomiar Temperatura Rozpuszczalność
j
uj
yj
1
0
66,7
2
4
71,0
3
10
76,3
4
15
80,6
5
21
85,7
6
29
92,9
7
36
99,4
8
51
113,6
9
68
125,1
Proponowany model
Model :
y u   b0 
Funkcje bazowe:
 h0 u   1 , h1 u   u 
Wektor wartości mierzonych y:
 66 . 7 


71
.
0


 76 . 3 


 80 . 6 

~y  
85
.
7


 92 . 9 


99
.
4


 113 . 6 


 125 . 1 


Wektor wartości estymowanych y:
Wektor wartości prawdziwych
b1u parametrów:
Wektor wartości estymowanych
 b0 
parametrów:   b 
b  
b 
 1
 Kazimierz Duzinkiewicz, dr hab. inż.
? 
 
? 
? 
 
? 
  
y  ? 
? 
 
? 
? 
 
? 
 
Katedra Inżynierii Systemów Sterowania
b   0 
b 
 1
22
Modelowanie i podstawy identyfikacji 2014/2015
1

1
1

1

H  1
1

1
1

1

0 

4 
10 

15 

21 
29 

36 
51 

68 
Wektor błędów
pomiaru:
~
 e1
~
 e2
~
e
 3
~
e4
~
 e5
~
e6
~
 e7
~
e
 8
~
 e9
Równania obserwacji:
Identyfikacja – metoda najmniejszych kwadratów
~y  H b  e~
 66 . 7   1

 
 71 . 0   1
 76 . 3   1

 
 80 . 6   1

 
85
.
7

  1
 92 . 9   1

 
 99 . 4   1
 113 . 6   1

 
 125 . 1   1

 
Wektor błędów
resztkowych:















 Kazimierz Duzinkiewicz, dr hab. inż.

 e1

 e2
 e
 3
 e4

 e5

 e6

 e7
 e
 8
e
 9















0 

4 
10 

15 
  b0
21  
 b1
29 

36 
51 

68 
~
 e1
~
 e2
~
e
 3
~
e4
 ~
  e5
 
 ~
e6
~
 e7
~
e
 8
~
 e9
















 e1

 e2
 e
 3
 e4
 
  e5
 
 e
6

 e7
 e
 8
e
 9
















~y  H b  e
 66 . 7   1

 
71
.
0

 1
 76 . 3   1

 
 80 . 6   1

 
85
.
7

  1
 92 . 9   1

 
99
.
4

 1
 113 . 6   1

 
 125 . 1   1

 
0 

4 
10 

15  
 b
21   0
b

29  1

36 
51 

68 
Katedra Inżynierii Systemów Sterowania
23
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Metoda najmniejszych kwadratów – przypadek liniowy
Metoda najmniejszych kwadratów Gauss’a proponuje jako optymalny
wybór dla wartości nieznanych parametrów, wartość

 

 T
x   x 1 , x 2 , , x i , , x n 
który minimalizuje sumę kwadratów błędów resztkowych (residuów)
1 T 
J  e e
2
 
~
z (6a) y  H x  e


e  ~y  H x

1 ~
1 ~T ~
 T ~

 T T 
T
~
J   y  Hx   y  Hx  
y y  2 y Hx  x H Hx
2
2
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania

24
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 2: c.d.

1 ~
J 
y  Hb
2

~y T ~y  66 . 7

T
71 . 0

 T T 
1 ~T ~
~
~T
y  Hb 
y y  2 y Hb  b H Hb
2

76 . 3
 Kazimierz Duzinkiewicz, dr hab. inż.
80 . 6

85 . 7
92 . 9
99 . 4
113 . 6

 66 . 7 


 71 . 0 
 76 . 3 


 80 . 6 


125 . 1  85 . 7   76218 . 17
 92 . 9 


 99 . 4 
 113 . 6 


 125 . 1 


Katedra Inżynierii Systemów Sterowania
25
Modelowanie i podstawy identyfikacji 2014/2015

T
~
2 y H b  2 66 . 7
 2 811 . 3
71 . 0
76 . 3
80 . 6
85 . 7
Identyfikacja – metoda najmniejszych kwadratów
92 . 9
99 . 4
113 . 6
1

1
1

1

125 . 1  1

1

1
1

1
0 

4 
10 

15  
  b0 
21

 b 
 1
29 

36 
51 

68 





 b0 
24628 . 6     2 811 . 3 b0  24628 . 6 b1  1622 . 6 b0  49257 . 2 b1
b 
 1
 Kazimierz Duzinkiewicz, dr hab. inż.


Katedra Inżynierii Systemów Sterowania
26
Modelowanie i podstawy identyfikacji 2014/2015

T T 
b H H b  b0

 1
b 1 
0

Identyfikacja – metoda najmniejszych kwadratów
1
1
1
1
1
4
10
15
21
29

  9


234   b 0 
     9 b 0  234 b 1
b 1 
 
 234 10144   b 1 
2
 
 
2
 9 b 0  234 b 0 b 1  234 b 0 b 1  10144 b 1

 b0



1

1
1

1
1 
 1
68  
1

1
1

1

0 

4 
10 

15  
1
1
 b
21   0
b
36 51
29   1

36 
51 

68 


 b 
234 b 0  10144 b 1  0 
b 
 1







2
 
 
2
J b   76218 . 17  1622 . 6 b0  49257 . 2 b1  9 b0  234 b0 b1  234 b0 b1  10144 b1
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
27
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów

Co możemy powiedzieć o J  x  :
J 

1 ~
1


 

 y  H x T  ~y  H x   ~y T ~y  2 ~y T H x  x T H T H x
2
2




J
x
1. Możemy napisać n
J :R  R
- J jest funkcjonałem
Metoda najmniejszych kwadratów  zadanie minimalizacji
funkcjonału bez ograniczeń; zadanie minimalizacji bez ograniczeń
Dla danego w oparciu o równania obserwacji funkcjonału J(x)
poszukujemy wartości x* dającej minimalną wartość tego funkcjonału
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
28
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
2. Metoda najmniejszych kwadratów  Funkcja celu ma postać formy
kwadratowej

1 ~
1 ~T ~
 T ~

 T T 
T
~
J   y  Hx   y  Hx  
y y  2 y Hx  x H Hx
2
2

Forma kwadratowa
F( x ) 
1
x Ax  d x  c
T
T
2
gdzie: A - macierz symetryczna
AH H
T
 Kazimierz Duzinkiewicz, dr hab. inż.
d
T
T
  ~y H
1 ~T ~
c y y
2
Katedra Inżynierii Systemów Sterowania
29
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przypomnienie z rachunku różniczkowego ?
Warunki konieczne i wystarczające, jakie musi spełnić punkt x, aby można było
go uznać za dający minimalną wartość funkcjonału wyprowadzane są w oparciu o
jego rozwinięcie Taylor’a w otoczeniu punktu x
Przypomnienie z rachunku różniczkowego oraz podanie
wybranych faktów z teorii optymalizacji
- Dodatek A
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
30
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Warunki konieczne i wystarczające minimum metody
najmniejszych kwadratów

1 ~
1 ~T ~
 T ~

 T T 
T
~
J   y  Hx   y  Hx  
y y  2 y Hx  x H Hx
2
2

Warunek konieczny pierwszego rzędu:
J x 

xx

T
 H H x  H ~y  0
T
(1)
Warunek konieczny drugiego rzędu:
 x  J x 
T
2
T T



x


x
H
H

x

0
Δ
x
dla dowolnych

T
xx
H
T
H
 Kazimierz Duzinkiewicz, dr hab. inż.
dodatnio półokreślona
Katedra Inżynierii Systemów Sterowania
(2)
31
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Warunek wystarczający drugiego rzędu:
H
T
H
dodatnio określona
(3)
Fakty:
 Macierz HTH jest zawsze dodatnio półokreślona (jako macierz
symetryczna)
 Macierz HTH jest dodatnio określona, jeżeli macierz H ma
najwyższy rząd równy n
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
32
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Obliczanie wartości estymowanych nieznanych parametrów –
układ równań normalnych wynikający z warunku koniecznego
pierwszego rzędu
Układ równań normalnych

H H x  H
T
T
~y
(4)
Jeżeli macierz HTH jest nieosobliwa - posiada macierz odwrotną
- otrzymujemy jawne rozwiązanie optymalnej estymaty


T
x  H H
 Kazimierz Duzinkiewicz, dr hab. inż.

1
~
H y
T
Katedra Inżynierii Systemów Sterowania
(5)
33
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Fakty:
 Jawne rozwiązanie optymalnej estymaty wymaga nieosobliwości
macierzy HTH
 macierz HTH jest nieosobliwa jeżeli rząd macierzy H wynosi n,
czyli liczba liniowo niezależnych równań obserwacji jest
większa lub co najmniej równa liczbie poszukiwanych estymat
xi
Stąd warunek:
 zbiór funkcji bazowych powinien być liniowo niezależny
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
34
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 3:
Prawdziwe wartości parametrów x  1 1 
T
Proponowane zestawy funkcji bazowych H 1  sin t 2 cos t 
H 2  sin t 2 sin t 
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
35
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 4: rozpuszczalność azotanu sodu w zależności od
temperatury
Rozwiązanie normalnego układu równań

 b 0   67 . 51 
   


0
.
6706
y  67 . 51  0 . 6706 u
 b 1  

y
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
36
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 5: (estymacja parametrów prostego układu dynamicznego)
System
x  ax  bu
Dyskretna reprezentacja systemu z przedziałem dyskretyzacji Δt
x k  1   A D x k   B D u k 
gdzie:
AD  e
at
t
BD 
 be dt 
at
0
b
a
e
at
1

Zadanie: określić wartości stałych AD oraz BD wykorzystując zbiór
pomiarów dyskretnych
oraz
~
yk
uk
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
37
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Jak została zaproponowana reprezentacja dyskretna systemu – powtórzenie dla tego przykładu z SD
Poszukujemy odpowiedzi systemu na dowolne wymuszenie w przedziale czasu
[t0, t) – patrz wykłady z Podstaw automatyki
x t   a  x t   b  u t 
u(t)
x(t)
Obiekt
x t 0   y 0
Dla dowolnego wejścia u(t) określonego w przedziale [t0,t] odpowiedź systemu
x t   e
a t  t0

t
x0   e
t0
 Kazimierz Duzinkiewicz, dr hab. inż.
a  t 

bu   d   e
a t  t0

t
x0  e
at
e
 a
bu   d 
t0
Katedra Inżynierii Systemów Sterowania
38
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przyjmując przedział dyskretyzacji Ts możemy policzyć
x  kT s   e
a  kT s  t 0

kT s
x0  e
akT s
e
 a
bu   d 
t0
x  k  1T s   e
a   k  1 T s  t 0

x0  e
a  k  1 T s
 k  1 T s
e
bu   d 
 a
t0
Przemnażamy pierwszą zależność przez e
e
aT s
x  kT s   e
a   k  1 T s  t 0

x0  e
i odejmujemy od drugiej
aT s
a  k  1 T s
kT s
e
 a
bu   d 
t0
x  k  1T s   e
aT s
x  kT s   e
a  k  1 T s
 k  1 T s
e
 a
bu   d 
kT s
Ostatnia zależność po uporządkowaniu
x  k  1T s   e
aT s
x  kT s  
 k  1 T s
e
a   k  1 T s  

bu   d 
kT s
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
39
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Zmieniamy zmienną całkowania
k  1Ts  
t
Otrzymujemy
x  k  1 T s   e
aT s
x  kT s  
Ts
 e bu t  dt
at
0
Przyjmując stałość wejścia w przedziale próbkowania
x  k  1 T s   e
aT s
x  kT s  
Ts
 e b dt  u kT s 
at
0
AD
 Kazimierz Duzinkiewicz, dr hab. inż.
BD
Katedra Inżynierii Systemów Sterowania
40
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Eksperyment pomiarowy:
Na wejście układu w chwili k=1 podano impuls (Dirac’a) o intensywności 100 i
następnie obserwowano wyjście przez 101 chwil czasowych z Δt=0.1
Pomiary i najlepsze dopasowanie
*
Pomiary
Najlepsze dopasowanie
Czas (s)
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
41
Modelowanie i podstawy identyfikacji 2014/2015
Macierz wartości funkcji
bazowych:
Równanie obserwacji:
 Kazimierz Duzinkiewicz, dr hab. inż.
Identyfikacja – metoda najmniejszych kwadratów
~
 y1
 ~
y
 2
 
H   ~
 yj
 
~
 y 100
u1 

u2

 

uj 
 

u 100 

~y
 2 
 e2 
 ~ 
  
y3
e3





  
 AD    
~   H      
 B D   e j 1 
 y j 1 
  
  
~ 
 
 y 101 
 e101 
Katedra Inżynierii Systemów Sterowania
42
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Korzystając z (5):
~
 y2 
 ~ 
y3



  
 AD 
1
T
T
H ~ 
  H H
BD 
 y j 1 
  
~ 
 y 101 


Otrzymamy:

 A D   0 . 9048 
  

0
.
0950

BD  
Kuchnia naszego zadania:
Pomiary generowane
prawdziwych
były
z
wykorzystaniem
następujących
wartości
 A D   0 . 9048 

 

B
0
.
0952

 D 
Symulacja błędu pomiaru: generator szumu gaussowskiego o zerowej
wartości średniej i odchyleniu standardowym σ = 0.08
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
43
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Metoda ważonych najmniejszych kwadratów
Poprzednie podejście: jednakowe znaczenie wszystkich pomiarów
Ważniejsze te pomiary, które wykonywane są z mniejszym błędem
– dołączenie wag pomiarów do metody najmniejszych kwadratów
Znaleźć wartości nieznanych parametrów

 

 T
x   x 1 , x 2 , , x i , , x n 
minimalizujące
 ~

gdzie e  y  H x
W
1 T

J  e W e
2
- symetryczna macierz wag
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
44
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Warunek konieczny pierwszego rzędu:
J x 

x x

T
 H W H x  H W ~y  0
T
(6)
Warunek dostateczny drugiego rzędu:
 J x 
2
T
T

x x
 H W H
dodatnio określona
(7)
W dodatnio określona
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
45
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Jawne rozwiązanie optymalnej estymaty


T
x  H W H

1
~
H W y
T
(8)
Pomiary
Przykład 5: (nawiązanie do Przykład 1 (aproksymacja szeregu
czasowego)
Wykorzystanie 31 pomiarów
spośród 91 zebranych w okresie
Szereg y(t)
czasowy
6 miesięcy
Powzięto informację, że 3
pierwsze pomiary są obarczone
mniejszym błędem niż pozostałe
Nie ma informacji o dokładności
wartości par pomiarów
Czas (miesiące)
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
46
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Proponowana macierz wag:
W  diag  w , w , w ,1 , ,1 
Wykorzystujemy Model1:
Model 1 :
y 1 t   c 1 t  c 2 sin t   c 3 cos 2 t 
t - czas [miesiące – m]
c 1 , c 2 , c 3 - stałe współczynniki – parametry Modelu 1
Pierwsza estymacja:
w1
31 pomiarów
   T
c 1 , c 2 , c 3   1 . 0278 , 0 . 8750 , 1 . 9884
T
Wyniki gorsze niż przy wykorzystaniu dostępnych 91 pomiarów
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
47
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Zestawienie wyników estymacji:
Norma błędów resztkowych
wymuszanych

x
w
1x100
(1.0278, 0.8750, 1.9884)
3.21x10-2
1x101
(1.0388, 0.8675, 2.0018)
1.17x10-2
1x102
(1.0258, 0.8923, 2.0049)
7.87x10-3
1x105
(0.9047, 1.0949, 2.0000)
5.91x10-5
1x107
(0.9060, 1.0943, 2.0000)
1.10x10-5
1x1010
(0.9932, 1.0068, 2.0000)
4.55x10-7
1x1015
(0.9970, 1.0030, 2.0000)
0.97x10-9
x  1 , 1 , 2 
Zastosowanie ważonej metody najmniejszych kwadratów może
poprawić jakość estymacji
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
48
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Poprzednie podejścia:
 jednakowe znaczenie wszystkich pomiarów – wszystkie pomiary wykonywane
z jednakową dokładnością (jednakowo wiarygodne)
 różne znaczenie poszczególnych pomiarów – część pomiarów charakteryzuje
się większą dokładnością (większą wiarygodnością) inne mniejszą
dokładnością (mniejszą wiarygodnością
Rozważymy jeszcze jedną możliwość:
 część pomiarów jest dokładna (wykonywana z błędem pomijalnie małym w
stosunku do innych pomiarów)
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
49
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Wszystkie obserwacje-pomiary o liczebności m podzielimy na dwie
kategorie:
 m1 pomiarów-obserwacji wykonanych z ograniczoną dokładnością
 m2 pomiarów-obserwacji dokładnych
m1 + m 2 = m
T~y   ~
~
~
y 11 , , y 1 j1 , , y 1 m 1 
1
wektor wartości y mierzonych z
ograniczoną dokładnością
m1
Pomiary-obserwacje w obrębie tej kategorii mogą być zróżnicowane –
wprowadzenie macierzy W1
~y   ~y ,  , ~y , , ~y  T
2
21
2 j2
2 m2
- wektor wartości y mierzonych
dokładnie
m2
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
50
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Dla wszystkich przeprowadzonych pomiarów określane są macierze
wartości funkcji bazowych, odpowiednio H1, dla pomiarów niedokładnych i
H2, dla pomiarów dokładnych
Macierze wartości funkcji bazowych
 h1  t 11  ... h i  t 11  ... h n  t 11  


 .......... .......... .......... .....



H 1   h1 t 1 j1  ... h i t 1 j1  ... h n t 1 j1  
 .......... .......... .......... ......



 h t  ... h t  ... h t  
i 1m1
n 1m1 
 1 1m1
n
H2
T
m1
 h1  t 21  ......... h i  t 21  ....... h n  t 21  


 .......... .......... .......... .......... ........ 


  h1 t 2 j 2  ...... h i t 2 j 2  ....... h n t 2 j 2  
 .......... .......... .......... .......... ......... 


 h t  ........ h t  ........ h t  
i m2
n
m2
 1 m2

T
m2
n
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
51
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Dla pierwszej kategorii pomiarów:
T
~
~
~
~
e 1  e11 ,  , e1 j1 , , e1 m 1   0




T
e 1  e11 ,  , e1 j1 , , e1 m 1   0
m1
Dla drugiej kategorii pomiarów:
T
~
~
~
~
e 2  e 21 ,  , e 2 j 2 , , e 2 m 2   0



 T
e 2  e 21 , , e 2 j 2 , , e m 2   0
m2
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
52
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Równanie obserwacji będzie miało postać:

~y
 1  H 1 
e 1 
  
  
   x 
  

 
 ~y 2   H 2 
 0 
lub
 
~
y1  H 1 x  e1
~y  H x
2
2
(1)
(2)
(3)
Przyjmiemy z naturalnych powodów:
n  m2
n  m1
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
53
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Poszukujemy wektora wartości estymowanych nieznanych parametrów



 T
x   x 1 , , x i , , x n 
- wektor estymowanych wartości
parametrów
Zadanie poszukiwania tego wektora możemy sformułować:




Znaleźć wektor
x   x 1 , , x i , , x n  , który minimalizuje
sumę kwadratów błędów resztkowych (residuów) pomiarów niedokładnych
T
1 T
1 ~


 T

~
J  x   e1 W1e1   y1  H 1 x  W1  y1  H 1 x 
2
2
(4)
spełniając ograniczenia równościowe pomiarów dokładnych
~y  H x  0
2
2
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
(5)
54
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Rozwiązanie
postawionego
zadania
nieoznaczonych mnożników Lagrange’a
estymacji
metodą
Przedstawienie metody:
 wprowadzamy wektor dodatkowych zmiennych nazywanych
nieoznaczonymi mnożnikami Lagrange’a λ; wymiar wektora jest
równy liczbie ograniczeń równościowych
 ograniczenia równościowe przemnożone przez wektor
mnożników Lagrange’a włączone zostają jako składnik do
rozszerzonej funkcji celu
 wartości optymalne oryginalnych zmiennych oraz mnożników
Lagrange’a wyznaczane są drogą rozwiązania układu równań
będących zapisem warunku koniecznego pierwszego rzędu
minimum rozszerzonej funkcji celu
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
55
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Wektor nieoznaczonych mnożników Lagrange’a dla zagadnienia (4) –
(5):

λ   1 ,..., 
j2
,...,  m 2

(6)
T
Rozszerzona funkcja celu zagadnienia (4) – (5):
1 ~

 T


T ~
~
J L x , λ   y1  H 1 x  W1  y1  H 1 x   λ  y 2  H 2 x  
2

(7)
 

1 ~T
 T


T
T
T ~
~
~
y1 W1 y1  2 y1 W1 H 1 x  x H 1 W1 H 1 x  λ  y 2  H 2 x 
2
Warunki konieczne minimum rozszerzonej funkcji celu zagadnienia (4) – (5):




T
T
T
~
 x J L  x , λ  x  x   H 1 W 1 y 1  H 1 W 1 H 1 x  H 2 λ  0
(8)

 λ J L x , λ
(9)
λ λ
 Kazimierz Duzinkiewicz, dr hab. inż.
*

~
 y2  H 2 x  0
Katedra Inżynierii Systemów Sterowania
56
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów

x
Rozwiązujemy (8) względem



T
T
T
 H 1 W 1 ~y 1  H 1 W 1 H 1 x  H 2 λ  0


T
x  H 1 W1 H 1

1

T
~
H W1 y1  H 1 W1 H 1
T
1

1
(10)
T
H2 λ
Wynik (10) podstawiamy do (9)
~y  H x  0
2
2

~y  H H T W H
2
2
1
1
1

~y  H H T W H
2
2
1
1
1


T
1
λ  H 2 H W1 H 1
 Kazimierz Duzinkiewicz, dr hab. inż.



1
1
1

T
H W 1 ~y 1  H 1 W 1 H 1
T
1

1




T
H W 1 ~y 1  H 2 H 1 W 1 H 1
H
T
1
T
2
 
1
T
T
~
y 2  H 2 H 1 W1 H 1

H2 λ  0
1
1
Katedra Inżynierii Systemów Sterowania
T
H2 λ  0
T
~
H 1 W1 y1

(11)
57
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Wynik (11) podstawiamy do (10)


T
1
λ  H 2 H W1 H 1


T
x  H 1 W1 H 1


T
x  H 1 W1H 1

T
1
 H W1H 1


1

1

1
H
T
2
 
1

T
~
y 2  H 2 H 1 W1 H 1

T
~
H W1 y1  H 1 W1 H 1
T
1
1
H 1 W 1 ~y 1 
H
T
2

1

1
T
~
H 1 W1 y1

T
H2 λ
T
H
2
H
T
1
W1H 1

Macierz zależna od wartości
funkcji bazowych (wejść) i wag
pomiarów – macierz stała
 Kazimierz Duzinkiewicz, dr hab. inż.
1
H
T
2
 
1

~y  H H T W H
2
2
1
1
1

1
H 1 W 1 ~y 1
T

Optymalne
wartości
estymowane
nieznanych parametrów wyznaczone w
oparciu o pomiary niedokładne (patrz (8)
z poprzedniego wykładu)
Katedra Inżynierii Systemów Sterowania
58
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Możemy podać wynik rozwiązania zadania (4)-(5):

~
x  x  K  y2  H 2 x 
gdzie:

T
1

T
1
x  H W1 H 1

K  H W1 H 1
1

Optymalne wartości
estymowane nieznanych
parametrów wyznaczone w
oparciu o pomiary
niedokładne
 Kazimierz Duzinkiewicz, dr hab. inż.
(13)
H 1 W 1 ~y 1
1
K – macierz wzmocnień
(12)
T
H
T
2
H
2
H
T
1
W1 H 1
Wartości y mierzone
dokładnie

1
H
T
2

1
(14)
Predykcja wartości y z
wykorzystaniem wartości
estymowanych nieznanych
parametrów wyznaczonych
w oparciu o niedokładne
pomiary
Katedra Inżynierii Systemów Sterowania
59
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 1: (nawiązanie do Przykład 1 z W9 oraz Przykład 5 w W10
(aproksymacja szeregu czasowego)
Pomiary
Szereg y(t)
czasowy
Wykorzystanie
31
pomiarów
spośród 91 zebranych w okresie 6
miesięcy
Trzy przypadki:
Przypadek 1:
~y   ~y , ~y ,..., ~y  T , ~y  ~y
1
2
3
31
2
1
Przypadek 2:
Czas (miesiące)
~y   ~y , ~y ,..., ~y  T , ~y   ~y , ~y  T
1
3
4
31
2
1
2
Przypadek 3:
~y   ~y , ~y ,..., ~y  T , ~y   ~y , ~y , ~y  T
1
4
5
31
2
1
2
3
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
60
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Zestawienie wyników estymacji:
Przypadek

x
x
1
(1.0261, 0.8766, 1.9869)
(1.0406, 0.8629, 2.0000)
2
(1.0233, 0.8789, 1.9840)
(0.9039, 1.0901, 2.0000)
3
(1.0192, 0.8820, 1.9793)
(0.9970, 1.0030, 2.0000)
x  1 , 1 , 2 
Zastosowanie metody najmniejszych kwadratów z ograniczeniami może
poprawić jakość estymacji
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
61
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Dodatek A
Przypomnienie z rachunku różniczkowego
oraz podanie wybranych faktów z teorii
optymalizacji
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
62
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Mamy funkcjonał:
F :R  R
n
Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma
postać:
F  x   F x



x2
1 


F x

 x1
xx
*
F x
2  x1
2
*
x2  x    

2
2
F x
xx
 x 1  x 1 
xx

x1  x 
 Kazimierz Duzinkiewicz, dr hab. inż.
 2
1

1

xn

F x
xx
*
 x n  x n 
2
2  x 1 x 2
F x
xx

 x 1  x 1  x 2  x 2   
Katedra Inżynierii Systemów Sterowania
63
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
W najprostszym przypadku:
F :R  R
Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma
postać:
F  x   F x


1 d


2
2 dx
1 d
n
 Kazimierz Duzinkiewicz, dr hab. inż.
F x
dx
F x
2
n ! dx
d
n
F x
x  x 

xx
*
x  x 

x  x 

 2
x x

 n
x x

Katedra Inżynierii Systemów Sterowania
64
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 1 - skalarny:
F x  e
x

x 0:
Rozwinięcie w szereg Taylor’a w otoczeniu
F x  e
x
e
0
 1e
0
x  0 
F x  1  x 
Aproksymacja
1
2
1
e
0
x  0 
2
1
e
0
x  0  
3
6
x 
2
2
1
x 
3
6
F  x  skończoną liczbą wyrazów szeregu Taylor’a:
F  x   F0  x   1
F  x   F1  x   1  x
F  x   F2  x   1  x 
 Kazimierz Duzinkiewicz, dr hab. inż.
1
x
2
2
Katedra Inżynierii Systemów Sterowania
65
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Ilustracja graficzna:
6
F x
5
4
F2  x 
3
2
1
F1  x 
F0  x 
0
-2
 Kazimierz Duzinkiewicz, dr hab. inż.
-1
0
1
Katedra Inżynierii Systemów Sterowania
2
66
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 2 – skalarny:
F  x   cos  x 

Rozwinięcie w szereg Taylor’a w otoczeniu
F  x   cos  x   cos 0   sin 0   x  0  
1
x 0
cos 0   x  0  
2
2
F x  1 
1
Aproksymacja
sin 0   x  0   
3
6
1
x 
2
2
1
x 
4
24
F  x  skończoną liczbą wyrazów szeregu Taylor’a:
F  x   F0  x   1
F  x   F2  x   1 
F  x   F4  x   1 
 Kazimierz Duzinkiewicz, dr hab. inż.
1
2
1
2
x
2
2
x 
1
24
x
4
Katedra Inżynierii Systemów Sterowania
67
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Ilustracja graficzna:
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
68
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Jeżeli przyjąć oznaczenia:
jakobian - gradient funkcjonału
 

F x
 x

1






F  x 
F x  
  xi




 

F  x 

  xn

Warto pamiętać, że:
 Kierunek gradientu w punkcie x pokrywa się z
kierunkiem normalnej do powierzchni stałej wartości
funkcjonału przechodzącej przez punkt x.
 Zwrot gradientu w punkcie x odpowiada zwrotowi
najszybszego wzrostu wartości funkcjonału w
otoczeniu punktu x.




2

 Fx 


hessian funkcjonału 

 
 Kazimierz Duzinkiewicz, dr hab. inż.

2
 x1
2

Fx


2
xi x1



F x 

2
x n x1
Fx 

2
 x 1 x i
F x 

2
 x 1 x n

F  x 





2
2







F
x

F
x
2

 xi
 xi x n





2
2


F x 
F x 
2

 x n xi
 xn
Katedra Inżynierii Systemów Sterowania
69
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Postać macierzowa szeregu Taylor’a:
F  x   F x

1
2

 F x 
x  x 
 T
 F x
xi
2
*
x x
*
x  x    
F  x  wzdłuż osi
xi :
- i-ty element gradientu
Druga pochodna (krzywizna) funkcjonału
 Fx
xx
2
Pierwsza pochodna (nachylenie) funkcjonału
F  x 
x  x  
T
F  x  wzdłuż osi x i :
- (i,i)-ty element hessianu
xi
2
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
70
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Pierwsza pochodna (nachylenie) funkcjonału F  x  wzdłuż wektora p :
 p F x 
p F x 
T
p
Druga pochodna (krzywizna) funkcjonału F  x  wzdłuż wektora p :
 p F x 
2
 Kazimierz Duzinkiewicz, dr hab. inż.
p  F xp
T
2
p
2
Katedra Inżynierii Systemów Sterowania
71
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 3:
F  x   x  2 x1 x 2  2 x
2
1
20
2
2
0 .5 
x 

0



Fx
15
 1 
p 
  1
10
5
0
2
2
1
x2
1
0
0
-1
-1
-2
 Kazimierz Duzinkiewicz, dr hab. inż.
-2
Katedra Inżynierii Systemów Sterowania
72
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Ilustracja graficzna:
 F  x  x x
 

F x
 x

 2 x1  2 x 2 
1 
1
 
 
  



 2 x 1  4 x 2  x  x  1 

F  x 
Pochodne kierunkowe:
  x 2
 x  x 
Pochodne kierunkowe:
2
1 
1  1   
T
0 
p F x 
1 


0
p
 1 
2
  1
 
1
1 1   
T
2 
F x  F x 
1



F x 
1 
2
1 
 
 Kazimierz Duzinkiewicz, dr hab. inż.
1
1.4
0
1.3
x2
1.0
0.5
0.0
-1
2  1 .4
x1
-2
-2
-1
Katedra Inżynierii Systemów Sterowania
0
1
2
73
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 4:
F  x   x1  2 x 2
2
2
0 .5 
x 

0
.
5



 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
 2 
p 
  1
74
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Ilustracja graficzna:
 F  x  x x
 

F x
 x

 2 x1 
1
1
 
 
  



4 x2  x  x 2 



F x
  x 2
 x  x 
Pochodne kierunkowe:
p F x 
2
T

p
2.
4
1
 1  
0 
2 

0
2
 
5
  1
 
1
F x  F x 
T
F x 

1 2   
2 
1
2 
 

 Kazimierz Duzinkiewicz, dr hab. inż.
5 

5  2 .4
5
Katedra Inżynierii Systemów Sterowania
75
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Minimum globalne:
Punkt
x

jest unikatowym minimum globalnym funkcjonału
jeżeli zachodzi
F x

  F x   Δx 
dla wszystkich
Fx
,
Δx 0
Minimum silne (lokalne):
Punkt
x

Fx
jest minimum silnym (lokalnym) funkcjonału
jeżeli istnieje skalar
dla wszystkich
 0
Δx
, taki, że zachodzi
takich, że
F x

,
  F x   Δx 
0 x 
Minimum słabe (lokalne):

F  x , jeżeli
x
jest minimum słabym (lokalnym) funkcjonału
Punkt
a istnieje skalar   0 , taki, że zachodzi
nie jest minimum silnym ,


F  x   F  x  Δ x  dla wszystkich Δ x takich, że 0  x  
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
76
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Przykład 5:
F x  3x 7 x 
4
2
Minima lokalne silne
x  1 .1
1
x6
2
8
Maksimum silne
x   1 .1
6
Minimum
globalne
x  1 .1
Maksimum
lokalne silne
4
2
Minimum silne
Minimum
globalne
x0
0
-2
 Kazimierz Duzinkiewicz, dr hab. inż.
-1
0
1
Katedra Inżynierii Systemów Sterowania
2
77
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Przykład 6 - wektorowy:
Minima lokalne silne
  0 . 42   0 . 55 
 0 . 42  ;   0 . 55 

 

F  x    x 2  x1   8 x1 x 2  x1  x 2  3
4
Minimum globalne
2
 0 . 55 
  0 . 55 


1.5
1
12
0.5
0
Minimum silne
8
x2
4
-0.5
Punkt siodłowy
-1
0
2
-1.5
1
x1
-2
-2
-1.5
-1
-0.5
0
0
Minimum globalne
0.5
1
1.5
2
2
1
Punkt
siodłowy
-1
0
-1
-2
 Kazimierz Duzinkiewicz, dr hab. inż.
-2
Katedra Inżynierii Systemów Sterowania
  0 . 13 
 0 . 13 


78
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Przykład 7 - wektorowy:

F  x   x  x 2  11
2
1
Optymalność
  x
2
1
2
2
 x 7
x:

2
Minima lokalne silne
  3 . 7792    2 . 8051   3 . 5843 

;
; 


3
.
2831
3
.
1313

1
.
8483

 
 

F  x  : 0 . 0054
0 . 0085
0 . 0011
Minimum globalne
x:
3 
 
2 
F x  : 0
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
79
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Przykład 8 - wektorowy:
F  x    x 1  1 . 5 x 1 x 2  2 x 2 x 1
2
2
2
2
1
8
x2
6
0
4
Minimum słabe
2
-1
0
2
-2
-2
x1
-1
2
1
0
1
2
Minimum lokalne słabe
x2
1
0
0
-1
-1
-2
-2
x1
wzdłuż prostej x1 = 0
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
80
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Warunki konieczne minimum
Fx

x  x  Δx
Rozwinięcie
w szereg Taylor’a w otoczeniu
F  x   F x   x   F x


1
 x  F x
T
2
 Kazimierz Duzinkiewicz, dr hab. inż.
2
xx
*

   F  x T
x

xx
, takiego, że
*
x
 x 
Katedra Inżynierii Systemów Sterowania
81
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Warunki konieczne minimum
Warunek pierwszego rzędu:
Jeżeli x* jest punktem lokalnego minimum i F jest różniczkowalne
w sposób ciągły w otwartym otoczeniu x*, wówczas
F x 
 Kazimierz Duzinkiewicz, dr hab. inż.
xx
*
0
Katedra Inżynierii Systemów Sterowania
82
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Warunek drugiego rzędu:
Jeżeli x* jest punktem lokalnego minimum i 2F jest ciągłe w pewnym
otwartym otoczeniu x*, wówczas
F x 
 x  F x
T
2
T
 Kazimierz Duzinkiewicz, dr hab. inż.
xx
*
xx
x0
*
0
dla dowolnych
Δx
Katedra Inżynierii Systemów Sterowania
83
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Przykład 9:
F  x   x1  x 2
4
2
Warunek punkt stacjonarnego
 4 x1 
F  x   
0
 2 x2 
3
Punkt stacjonarny - jedyny

x 0
Sprawdzenie warunków rzędu drugiego
 F x
2


x
2
 F x   2 1
 F x
 x x

2
1
2
 Kazimierz Duzinkiewicz, dr hab. inż.
 F  x 
2

 12 x 1
 x1 x 2

 
2
 F  x 
 0
2
 x 2  x  0
2
0
0
 

2  x  0 0
Katedra Inżynierii Systemów Sterowania
0
2 
84
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Δx  F x 
T
 0
2
x 0
0
x2 
0
Δ x   x 1
0    x1 


2  x2 
  x1 
2
2 x2 

2

x
2  0

x2 


Punkt x*=0 spełnia warunki konieczne pierwszego i drugiego rzędu dla
minimum
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
85
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Warunki określoności macierzy hessianu można badać przez sprawdzenie
wartości własnych tej macierzy
Macierz hessianu jest dodatnio określona, jeżeli wszystkie jej
wartości własne są dodatnie
Macierz hessianu jest dodatnio półokreślona, jeżeli wszystkie
jej wartości własne są nieujemne
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
86
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Przykład 10:
F  x   x  2 x1 x 2  2 x  x1
2
1
2
2
Warunek punkt stacjonarnego
Punkt stacjonarny - jedyny
 2 x 1  2 x 2  1  0 
F x   
 

 2 x 1  4 x 2  0 
  1
x  
0 .5 

Sprawdzenie warunków rzędu drugiego
  2F x 

2

x
2
 F x    2 1
  F x 
 x x
2
1

 Kazimierz Duzinkiewicz, dr hab. inż.
 F  x 

2
 x1 x 2

 
2
 F  x 
2
2
 x 2  x  x 
2
2
2
 

4  x x 2
Katedra Inżynierii Systemów Sterowania
2

4
87
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Pozyskanie informacji o określoności macierzy hessianu
Δx  F  x 
T
2
x 0
 2  x 1  2  x 2
Δ x   x 1
2
x2  
2
2    x1 
4    x 2 
  x1 
2  x1  4  x 2  


x
 2
  2  x 1  2  x 2   x 1   2  x 1  4  x 2   x 2 
 2  x 1  4  x 1  x 2  4  x 2 
2
2
Nie można stwierdzić czy macierz hessianu jest dodatnio
określona lub dodatnio półokreślona
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
88
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Wartości własne hessianu
2 
2  
 F  x   I  
  2    4     4

4  
 2
2
   6  4  0
2
Δ  36  16  20
1 
6  4 . 47
2

Δ 
1 . 53
2
 Kazimierz Duzinkiewicz, dr hab. inż.
20  4 . 47
 0 . 765
2 
6  4 . 47
2

10 . 47
 5 . 235
2
Katedra Inżynierii Systemów Sterowania
89
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
 1  0 . 765  0
Minimum silne w
 Kazimierz Duzinkiewicz, dr hab. inż.
 2  5 . 235  0
  1
x  
0 .5 

Katedra Inżynierii Systemów Sterowania
90
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Optymalność
Warunki wystarczające minimum
Warunek drugiego rzędu:
Jeżeli dla pewnego x*, 2F jest ciągłe w pewnym otwartym jego otoczeniu i
F(x*) = 0 i 2F(x*) jest dodatnio określona, wówczas x* jest silnym minimum
lokalnym
Warunek globalnego minimum
Jeżeli F jest funkcją wypukłą (a nawet tylko pseudowypukłą), wówczas każde
minimum lokalne jest minimum globalnym. Jeżeli dodatkowo F jest
różniczkowalna, wówczas każdy punkt stacjonarny jest globalnym minimum
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
91
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Forma kwadratowa
F( x ) 
1
x Ax  d x  c
T
T
2
gdzie: A - macierz symetryczna; (jeżeli macierz A nie jest symetryczna, to
może być zastąpiona przez macierz symetryczną dającą te same
wartości F(x) - to samo przekształcenie F(x))
Pożyteczne właściwości gradientu:
 h x     x h   h
T
T
x Q x   Q x  Q
T
 Kazimierz Duzinkiewicz, dr hab. inż.
T
gdzie
h
x  2Q x
jest stałym wektorem
dla symetrycznych
Katedra Inżynierii Systemów Sterowania
Q
92
Modelowanie i podstawy identyfikacji 2014/2015
Identyfikacja – metoda najmniejszych kwadratów
Forma kwadratowa
Gradient formy kwadratowej
 F  x   Ax  d
Hessian formy kwadratowej
 Fx  A
2
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
93
Modelowanie i podstawy identyfikacji 2014/2015
Słuszne są twierdzenia:
Identyfikacja – metoda najmniejszych kwadratów
Forma kwadratowa
 Jeżeli wartości własne hessianu są wszystkie dodatnie – forma
posiada pojedyncze silne minimum
 Jeżeli wartości własne hessianu są wszystkie ujemne – forma
posiada pojedyncze silne maksimum
 Jeżeli pewne wartości własne hessianu są dodatnie, a inne
ujemne – forma posiada pojedynczy punkt siodłowy
 Jeżeli wszystkie wartości własne hessianu są nieujemne, ale
niektóre są równe zeru – forma albo posiada słabe minimum albo
nie ma punktu stacjonarnego
 Jeżeli wszystkie wartości własne hessianu są niedodatnie, ale
niektóre są równe zeru – forma albo posiada słabe maksimum
albo nie ma punktu stacjonarnego
 Kazimierz Duzinkiewicz, dr hab. inż.
Katedra Inżynierii Systemów Sterowania
94

similar documents