Mínimos cuadrados

M´nimos Cuadrados

M´
ınimos Cuadrados

Esta presentaci´n est´ basada en los libros:
o
a
Numerical Linear Algebra, Lloyd N. Trefethen, David Bau.
Introduction to Linear Algebra, Gilbert Strang.

R. Pezoa

M´
ınimos Cuadrados

Introducci´n
o

El ajuste de curvas mediante m´
ınimos cuadrados ha sido
indispensable desde que fue inventado por Gauss y Legendre
alrededor del1800.
En algebra lineal, el problema corresponde a solucionar un
sistema sobredeterminado de ecuaciones Ax = b (rectangular,
no cuadrado) con m´s filas que columnas.
a
La idea de m´
ınimos cuadrados es resolver este sistema
minimizando la norma del resto (u error) r = b − Ax .

R. Pezoa

M´
ınimos Cuadrados

El Problema

Encontrar un vector x ∈ Cn tal que Ax = b , donde
A ∈ M (m × n,C), b ∈ Cn , m > n (matriz no cuadrada).
En general este problema no tiene soluci´n, ya que est´
o
a
sobredeterminado.
La soluci´n existe solamente si b ∈ Col (A)
o

R. Pezoa

M´
ınimos Cuadrados

Idea

Resto = r = b − Ax ∈ Cm
Se desea obtener un r lo m´s peque˜o posible.
a
n
peque˜o → tama˜o → norma || ||2
n
n
Por lo tanto, el problema es:
Dado A ∈ M (m × n, C), m > n, b∈ Cm , encontrar un x ∈ Cn
tal que ||b − Ax ||2 sea m´
ınima.
Geom´tricamente: Encontrar un vector x ∈ Cn tal que Ax
e
“sea cercano” a b .

R. Pezoa

M´
ınimos Cuadrados

Ejemplo: Ajuste de Datos Polinomial
¿Cu´ndo ocurre que b ∈ Col (A)?: Una situaci´n es el ajuste de
a
/
o
datos.
Interpolaci´n de polinomios: Dado un conjunto de datos
o
encontrar un polinomio que pasaexactamente por esos datos.
→ sistema de ecuaciones cuadrado
Se tienen m puntos distintos x1 , x2 , . . . , xm ∈ C y datos
y1 , y2 , . . . , ym ∈ C, para esos puntos encontrar un polinomio
tal que p (xi ) = yi
p (x ) → polinomio interpolador es unico y de grado ≤ m − 1
´
p (x ) = c0 + c1 x + . . . + cm−1 x m−1 , se debe cumplir:
p (xi ) = yi ∀i = 1, 2, . . . , m
La relaci´n de {xi }, {yi } con loscoeficientes {ci } → Matriz
o
de Vandermode
R. Pezoa

M´
ınimos Cuadrados

Matriz de Vandermonde
Matrix de Vandermonde:

2
1 x1 x1
 1 x2 x 2
2


. . . . . . . . .


2
1 xm xm

m
. . . x1 − 1
m
. . . x2 − 1 

.
.
...
.

m −1
. . . xm

Sistema de ecuaciones cuadrado:
[xij ][ci ] = [bi ], 1 ≤ i ≤ m, 0 ≤ j ≤ m − 1
Tiene soluci´n si: det [xij ] = 0o
Este sistema si tiene soluci´n, pero el ajuste es muy malo en
o
los bordes, y el problema est´ mal condicionado, ya que es
a
muy sensibles a peque˜as perturbaciones en los datos.
n
R. Pezoa

M´
ınimos Cuadrados

Con la interpolaci´n polinomial se producen oscilaciones en
o
los bordes

R. Pezoa

M´
ınimos Cuadrados

Ejemplo 1:Interpolaci´n Polinomial
o

Datos:
xy
0 -112
27
Encontrar interpolaci´n polinomial
o
¿Sistema de ecuaciones cuadrado o rectangular?

R. Pezoa

M´
ınimos Cuadrados

Ejemplo 1: Interpolaci´n Polinomial
o

Polinomio interpolador es unico y de grado ≤ m − 1. m = 3,
´
por lo tanto
p (x ) = c0 + c1 x + c2 x 2 , y
p ( xi ) = yi ⇒
p (0) = c0 1 + c1 0 + c2 0 = −1
p (1) = c0 1 + c1 1 + c2 12 = 2
p (2) = c0 1 + c1 2 + c2 22 =7

R. Pezoa

M´
ınimos Cuadrados

Ejemplo 1: Interpolaci´n Polinomial
o
Matrix de Vandermonde:

100
1 1 1
124


Sistema de ecuaciones

1
1
1

cuadrado:
   
−1
0 0 c0
1 1 c1  =  2 
7
2 4 c2

c0 = −1, c1 = 2, c2 = 1 → p (x ) = −1 + 2x + x 2 →
polinomio interpolador

R. Pezoa

M´
ınimos Cuadrados

Ejemplo 1: Interpolaci´n Polinomial
o
Matrixde Vandermonde:

100
1 1 1
124


Sistema de ecuaciones

1
1
1

cuadrado:
   
−1
0 0 c0
1 1 c1  =  2 
7
2 4 c2

c0 = −1, c1 = 2, c2 = 1 → p (x ) = −1 + 2x + x 2 →
polinomio interpolador

R. Pezoa

M´
ınimos Cuadrados

35
30
25
20

15
10
5
0
−5

0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

5

p (x ) = −1 + 2x + x 2

R....