Descomposición del valor singular

Tutorial sobre la descomposición del valor singular
Kirk Baker
29 de Marzo de 2005
Trad. Manuel Roca Vicent
29 de Marzo de 2010
Tabla de contenido
1. Introducción 2
2. Puntos y Espacio 2
3. Vectores 2
4. Matrices 3
4.1. Notación matricial 3
5. Terminología vectorial 4
5.1. Longitud de un vector 4
5.2. Suma de vectores 4
5.3. Multiplicación por un escalar 5
5.4. Productoescalar 5
5.5. Ortogonalidad 5
5.6. Vector unitario 5
5.7. Vectores ortonormales 5
5.8. Proceso de ortonormalización Gram-Schmidt 6
6. Terminología de matrices 7
6.1. Matriz cuadrada 7
6.2. Traspuesta 7
6.3. Multiplicación de matrices 7
6.4. Matriz identidad 8
6.5. Matriz ortogonal 8
6.6. Matriz diagonal 9
6.7. Determinante 9
6.8. Vectores propios y valores propios 9
7.Descomposición del Valor Singular 11
7.1. Ejemplo de descomposición del valor singular completa 12
7.2. Ejemplo de descomposición del valor singular reducida 17
8. Referencias 17

1. Introducción
Muchos tutoriales sobre tópicos complejos aparentemente están escritos por gente muy inteligente cuya intención es usar el mínimo espacio posible y que asumen que sus lectores ya conocen casitanto como ellos. Este tutorial no hace eso. Este tutorial trata sobre la mecánica de la descomposición del valor singular, especialmente de su relación con algunas técnicas de procesamiento de lenguaje natural. Está escrito por alguien que no sabe nada de nada sobre la descomposición del valor singular (en adelante SVD, por sus siglas en inglés) o de las matemáticas subyacentes antes de que empezaraa escribirlo, y sabe sólo un poco más después. En consecuencia, es un poco largo en los antecedentes, y un poco corto en la parte verdaderamente explicativa, pero contiene toda la información necesaria para alguien que nunca ha oído de la SVD antes de ser capaz de realizarla.
2. Puntos y Espacio
Un punto es sólo una lista de números. Esta lista de números, o coordenadas, especifica la posicióndel punto en el espacio. La cantidad de coordenadas necesarias determina las dimensiones de ese espacio.
Por ejemplo, podemos especificar la posición de un punto sobre el borde de una regla con una única coordenada. La posición de los dos puntos 0.5 cm y 2 cm es especificada con precisión con una coordenada. Debido a que estamos usando una única coordenada para identificar el punto, se trata depuntos en el espacio monodimensional o 1-espacio.
La posición de un punto cualquiera en un plano se especifica mediante un par de coordenadas, y son necesarias tres coordenadas para localizar puntos en tres dimensiones. Nada nos impide ir más allá de puntos en el 3-espacio. La cuarta dimensión se utiliza a menudo para indicar el tiempo, pero las dimensiones se pueden elegir de modo que representencualquier unidad de medida relevante para la descripción de los objetos que estamos llevando a cabo.
Generalmente, el espacio de más de tres dimensiones es llamado hiperespacio. También se usa el término n-espacio para hablar de espacios de diferente dimensionalidad (por ejemplo 1-espacio, 2-espacio,..., n-espacio).
Por ejemplo, si queremos un modo sucinto de describir la cantidad de comida quecomo en un día dado, puedo usar puntos en el n-espacio para hacerlo. Sean las dimensiones de este espacio los siguientes tipos de comida:
Huevos, Pomelos, Plátanos, Pollos, Latas de Atún
Hay cinco categorías, así que se trata de puntos en el 5-espacio. Por lo tanto la interpretación del punto (3, 18, 2, 0.5, 1) sería “tres huevos, dieciocho pomelos, dos plátanos, medio pollo, una lata de atún”.3. Vectores
Para muchos propósitos, puntos y vectores son esencialmente la misma cosa, esto es, una secuencia de números correspondientes a mediciones a lo largo de varias dimensiones.
Los vectores se escriben normalmente con letra minúscula y con una flecha en la parte superior, p. ej. x. Los números que comprenden el vector se llaman componentes, y el número de los componentes es igual a...