So.. es läuft! Mein Fehler war, dass ich den kleinen aber hinterhältigen Haken bei "nicht eingeschränkte Variablen als nicht-negativ festlegen" nicht deaktiviert hatte. Was jetzt passiert ist folgendes:

Ich habe 3 Passpunkte:
X Y Z x y
1,5 2,0 4,5 -358 -438
0,5 1,5 3,2 -353 -588
-0,5 -0,5 4,0 -66 -102

die in sich stimmig sind unter der ÄO:
Degree Radiant
omega: 2,5 0,043633 X0: -1
phi: 2,5 0,043633 Y0: -1
kappa: 2,5 0,043633 Z0: 1

Nun habe ich einen Fehler definiert als Differenz zwischen gespeicherten Werten von x und y und von der ÄO abhängigen Werten von x und y. Dieser Fehler soll minimiert werden.

Die Parameter, die dazu geändert werden sollen, sind die sechs der äußeren Orientierung. Nach Ausgleichung mit dem "GRG-nichtlinear" Algorithmus kamen (sinnvoll) verbesserte Parameter der äußeren Orientierung dabei herum:

omega: 0,041795
phi: 0,043538
kappa: 0,043868
X0: -1,0
Y0: -1,001523889
Z0: 1,008286263

Diese Werte sind fantastisch, durch die Rundung der Pixelwerte ist der Fehler 0, bei Betrachtung des NKS ist der Fehler 0,777037 -> verkraftbar.

Wie sollte ich jetzt am sinnvollsten weiter machen - durch eine Ausweitung auf 2 Kameras und >=6 Passpunkte?

Vielen Dank für die Betreuung bisher!

Gruß, raputs93