Verfahren der konjugierten Gradienten
Zwei Vektoren 
heißen konjugierte Vektoren
bezüglich einer symmetrischen, positiv definiten Matrix 
,
wenn gilt
 |
(18.80) |
Sind 
paarweise konjugierte Vektoren
bezüglich einer Matrix ,
dann ist das konvexe quadratische Problem
,
in 
Schritten lösbar, wenn ausgehend von einem beliebigen
die Folge 
gebildet wird,
wobei 
als optimale Schrittweite in Abstiegsrichtung gewählt wird.
Unter der Annahme, daß 
in der Nähe des Minimalpunktes 
annähernd quadratisch ist, d.h.
,
kann das für quadratische
Zielfunktionen resultierende Verfahren auch auf allgemeinere Funktionen
angewendet werden, ohne daß dabei explizit die Matrix 
benutzt wird.
Das Verfahren der konjugierten Gradienten besteht aus folgenden Schritten:
 |
(18.81) |
wobei
eine geeignete Ausgangsnäherung für
ist.
 |
 |
 |
(18.82a) |
 |
|
 |
(18.82b) |
 |
|
 |
(18.82c) |
c) Wiederholung des Schrittes b) mit 
und
an Stelle von
und 
.
