La desigualdad de Schwarz

Proposicin Si

son dos variables aleatorias entonces se tiene la

desigualdad

La igualdad se cumple si y slo si existe

tal que
Demostracin. Consideramos la funcin
y adems

Observamos que
de modo que

es un

polinomio de segundo grado que tiene a lo sumo una raz real. Se sigue que el
discriminante de este polinomio no es positivo, es decir,
Esto prueba la desigualdad de Schwarz. Adems la
igualdad se cumple cuando el discriminante se anula, y en tal caso existe
tal que

es decir,

La primera que veremos hoy es la desigualdad de Cauchy-Schwarz:

|a b| < ||a||.||b||
La demostracin para tres dimensiones es realmente sencilla pues, como recordarn a b =
||a||.||b||.cos(a, b) y dado que |cos(a, b)| < 1 entonces |a b| < ||a||.||b||.
Lo interesante de esta desigualdad es que tambin funciona para dimensiones superiores.
Antes que nada vamos a definir un vector en n dimensiones como una n-pla de nmeros
reales ordenados: a = (a1, a2, ...,an). De este modo, otra forma de escribir la desigualdad de
Cauchy-Shwarz es la siguiente:
(a1b1 + a2b2 + ... + anbn)2 < (a12 + a22 + ... + an2 ).(b12 + b22 + ... + bn2 )
donde los a1, a2, ...,an, b1, b2, ...,bn son reales. La igualdad se da si y slo si a1/b1 = ... = an/bn
es decir cuando los vectores a y b son paralelos.
La demostracin del caso general es ms complicada que para 3 dimensiones por lo que no
la vamos a tratar esta clase. Les sugerimos que intenten probarla ustedes mismos teniendo
en cuenta que al hacer distributiva:

en el segundo miembro aparecen trminos de la forma ai2.bj2 (i distinto de j)

mientras que en el primer miembro no.

en el primer miembro aparecen trminos de la forma 2ai.bi.ajbj (i distinto de j)

mientras que en el segundo miembro no.

Notar que ai2.bj2 + aj2.bi2 > 2ai.bi.ajbj

Pasemos, ahora, a la segunda desigualdad que trataremos hoy, y que probablemente ya la

conozcan, la desigualdad triangular:
En su versin geomtrica dice que si ABC es un tringulo entonces cada lado es menor que
la suma de los otros dos. La variante en lgebra dice que:

||a + b|| < ||a|| + ||b||

Vamos a demostrarla. En primer lugar, ||a + b||2 = (a + b) (a + b) = a a + b b + 2.a b.

Entonces:
||a + b||2 = ||a||2 + ||b||2 + 2.a b
Por la desigualdad de Cauchy-Schwarz sabemos que a b < ||a||.||b|| de donde:
||a + b||2 < ||a||2 + ||b||2 + 2.||a||.||b|| = (||a|| + ||b||)2 y como el primer y tercer miembro son
cuadrados de nmeros positivos entonces:
||a + b|| < ||a|| + ||b||
La igualdad se da solamente cuando se da la igualdad en Cauchy-Schwarz, es decir cuando
los vectores a y b son paralelos.
B. Sean A un punto sobre la circunferencia K y B el diametralmente opuesto. Sea P un
punto sobre el segmento AB tal que AP.PB = 1. Sean X1, X2 y X3 puntos en una de las
semicircunferencias determinadas por AB. Las rectas X1P, X2P y X3P intersecan a K en Y1,
Y2 e Y3, respectivamente. Sabiendo que X1P + X2P + X3P = 3 hallar el menor valor que
puede tener Y1P + Y2P + Y3P.
La clase pasada introdujimos la potencia de un punto respecto de una esfera. En este caso
utilizaremos potencia de un punto P respecto de una circunferencia.

Por estar incriptos en un mismo arco de circunferencia

tenemos las siguientes igualdades de ngulos:

DAC = DBC

ACB = ADB

En consecuencia los tringulos ADP y PBC son

semejantes, con:
AP/PD = PB/PC
Despejando: AP.PC = DP.PB. Es decir que el producto AP.PC no cambia al rotar la recta
que pasa por P.
En nuestro problema eso implica que:
1 = AP.PB = X1P.Y1P = X2P.Y2P = X3P.Y3P
Consideremos los reales positivos a1, a2, a3, b1, b2 y b3 tales que:

aj2 = XjP para j = 1, 2, 3

bj2 = YjP para j = 1, 2, 3

De acuerdo con la desigualdad de Cauchy-Schwarz sabemos que:

(a1b1 + a2b2 + a3b3)2 < (a12 + a22 + a32 ).(b12 + b22 + b32 )
Como 1 = XjP.YjP = aj2.bj2 entonces ajbj = 1 para j = 1, 2, 3. Adems como X1P + X2P + X3P
= 3 entonces a12 + a22 + a32 = 3. Reemplazando esto en la desigualdad tenemos que:
9 < 3.(b12 + b22 + b32 ) = 3.(Y1P + Y2P + Y3P)
Es decir que el menor valor de Y1P + Y2P + Y3P es 3. Este valor es posible de alcanzar, por
ejemplo, si el radio de la circunferencia es 1 y P es el centro de la misma.

Formulacin formal del problema bidimensional

Sea
un conjunto de n puntos en el plano real, y sea
una base
de m funciones linealmente independientes en un espacio de funciones. Queremos
encontrar una funcin
, esto es:

que sea combinacin lineal de las funciones base, de modo que

Por tanto, se trata de hallar los m coeficientes cj que hagan que la funcin aproximante
d la mejor aproximacin para los puntos dados
. El criterio de "mejor
aproximacin" puede variar, pero en general se basa en aqul que minimice una
"acumulacin" del error individual (en cada punto) sobre el conjunto total. En primer lugar,
el error (con signo positivo o negativo) de la funcin
define como:

en un solo punto, (xk,yk), se

pero tratamos de medir y minimizar el error en todo el conjunto de la aproximacin,

. En matemticas, existen diversas formas de definir el error, sobre todo
cuando ste se refiere a un conjunto de puntos (y no slo a uno), a una funcin, etc. Dicho
error (el error "total" sobre el conjunto de puntos considerado) suele definirse con alguna de
las siguientes frmulas:
Error Mximo:
Error Medio:
Error Cuadrtico Medio:
La aproximacin mnimo cuadrada se basa en la minimizacin del error cuadrtico medio
o, equivalentemente, en la minimizacin del radicando de dicho error, el llamado error
cuadrtico, definido como:

Para alcanzar este objetivo, se utiliza el hecho que la funcin f debe poder describirse como
una combinacin lineal de una base de funciones. Los coeficientes de la combinacin lineal
sern los parmetros que queremos determinar. Por ejemplo, supongamos que f es una
funcin cuadrtica, lo que quiere decir que es una combinacin lineal,
, de las funciones f1(x) = x2, f2(x) = x y f3(x) = 1 (m=3 en este
caso), y que queremos determinar los valores de los coeficientes:
, de modo que
minimicen la suma (S) de los cuadrados de los residuos:

Esto explica el nombre de mnimos cuadrados. A las funciones que multiplican a los
coeficientes buscados, que en este caso son: x2, x y 1, se les conoce con el nombre de
funciones base de la aproximacin, y pueden ser funciones cualesquiera. Para ese caso
general se deduce a continuacin la frmula de la mejor aproximacin discreta (e.d. para un
conjunto finito de puntos), lineal y segn el criterio del error cuadrtico medio, que es la
llamada aproximacin de mnimos cuadrados. Es posible generar otro tipo de
aproximaciones, si se toman los errores mximo o medio, por ejemplo, pero la dificultad
que entraa operar con ellos, debido al valor absoluto de su expresin, hace que sean
difciles de tratar y apenas se usen.

[editar] Solucin del problema de los mnimos cuadrados

La aproximacin mnimo cuadrtica consiste en minimizar el error cuadrtico mencionado
ms arriba, y tiene solucin general cuando se trata de un problema de aproximacin lineal
(lineal en sus coeficientes cj) cualesquiera que sean las funciones base: fj(x) antes
mencionadas. Por lineal se entiende que la aproximacin buscada se expresa como una
combinacin lineal de dichas funciones base. Para hallar esta expresin se puede seguir un
camino analtico, expuesto abajo, mediante el clculo multivariable, consistente en
optimizar los coeficientes cj; o bien, alternativamente, seguir un camino geomtrico con el
uso de el lgebra lineal, como se explica ms abajo, en la llamada deduccin geomtrica.
Para los Modelos estticos uniecuacionales, el mtodo de mnimos cuadrados no ha sido
superado, a pesar de diversos intentos para ello, desde principios del Siglo XIX. Se puede
demostrar que, en su gnero, es el que proporciona la mejor aproximacin.

[editar] Deduccin analtica de la aproximacin discreta mnimo cuadrtica

lineal
Sea
un conjunto de n pares con abscisas distintas, y sea
un
conjunto de m funciones linealmente independientes (en un espacio vectorial de funciones),
que se llamarn funciones base. Se desea encontrar una funcin f(x) de dicho espacio, o sea,
combinacin lineal de las funciones base, tomando por ello la forma:
.
Ello equivale por tanto a hallar los m coeficientes:

. En concreto, se desea que

tal funcin f(x) sea la mejor aproximacin a los n pares

empleando, como
criterio de "mejor", el criterio del mnimo error cuadrtico medio de la funcin f(x) con
respecto a los puntos

El error cuadrtico medio ser para tal caso:

Minimizar el error cuadrtico medio es equivalente a minimizar el error cuadrtico,

definido como el radicando del error cuadrtico medio, esto es:

As, los cj que minimizan Ecm tambin minimizan Ec, y podrn ser calculados derivando e
igualando a cero este ltimo:
Siendo i=1,2, . . .,m
Se obtiene un sistema de m ecuaciones con m incgnitas, que recibe el nombre de
"Ecuaciones Normales de Gauss". Operando con ellas:
, para i=1,2, . . .,m
, para i=1,2, . . .,m
Si se desarrolla la suma, se visualiza la ecuacin "i-sima" del sistema de m ecuaciones
normales:

, para cada i=1,2, . . .,m

Lo cual, en forma matricial, se expresa como:

Siendo (a,b)d el producto escalar discreto, definido para dos funciones dadas h(x) y g(x)
como:
,

y para una funcin h(x) y vector cualquiera u, como:

La resolucin de dicho sistema permite obtener, para cualquier base de funciones derivables
localmente, la funcin f(x) que sea mejor aproximacin mnimo cuadrtica al conjunto de
puntos antes mencionado. La solucin es ptima esto es, proporciona la mejor
aproximacin siguiendo el criterio de mnimo error cuadrtico, puesto que se obtiene al
optimizar el problema.
[editar] Corolario
Si se tratara de hallar el conjunto de coeficientes {cj} tal que f(x) pase exactamente por
todos los pares
, esto es, tales que f(x) interpole a
entonces tendra que cumplirse que:

Que en forma matricial se expresa como:

Esto establece un sistema de n ecuaciones y m incgnitas, y como en general n>m, quedara

sobredeterminado: no tendra siempre una solucin general. Por tanto, la aproximacin
tratar en realidad de hallar el vector c que mejor aproxime
.
Se puede demostrar que la matriz de coeficientes de las ecuaciones normales de Gauss
coincide con
, siendo A la matriz de coeficientes exactas, y como el trmino
independiente de las ecuaciones normales de Gauss coincide con el vector
, se tiene
que los valores {cj} que mejor aproximan f(x) pueden calcularse como la solucin al
sistema:
que es, precisamente, el sistema de las ecuaciones normales de Gauss.

[editar] Deduccin geomtrica de la aproximacin discreta mnimo

cuadrtica lineal
La mejor aproximacin deber tender a interpolar la funcin de la que proviene el conjunto
de pares (xk,yk), esto es, deber tender a pasar exactamente por todos los puntos. Eso supone
que se debera cumplir que:

Sustituyendo f(x) por su expresin como combinacin lineal de una base de m funciones:

Esto es, se tendra que verificar exactamente un sistema de n ecuaciones y m incgnitas,

pero como en general n>m, dicho sistema estara sobredeterminado y, por tatno, sin
solucin general. De ah surge la necesidad de aproximarlo.
Dicho sistema podra expresarse en forma matricial como:

Esto es:

La aproximacin trata de hallar el vector c aproximante que mejor aproxime el sistema Ac

= b.
Con dicho vector c aproximante, es posible definir el vector residuo como:

De manera que el mnimo error cuadrtico supone minimizar el residuo, definiendo su

tamao en base a la norma eucldea o usual del residuo, que equivale al error cuadrtico:

siendo (r,r)2 el producto interior o escalar del vector residuo sobre s mismo.
Si atendemos al sistema Ac = b, entonces se ve claramente que al multiplicar A y c, lo que
se realiza es una combinacin lineal de las columnas de A:

El problema de aproximacin ser hallar aquella combinacin lineal de columnas de A lo

ms cercana posible al vector b. Se comprueba que el conjunto de las columnas de A
engendran un Span lineal: span(A1,A2,...,Am), al que el vector b no tiene porqu pertenecer
(si lo hiciera, el sistema Ac=b tendra solucin).
Entonces, de los infinitos vectores del span(A1,A2,...,Am) que son combinacin lineal de los
vectores de la base, se tratar de hallar el ms cercano al vector b.
De entre todos ellos, el que cumple esto con respecto a la norma eucldea es la proyeccin
ortogonal del b sobre span(A1,A2,...,Am), y que por tanto hace que el tamao del vector r, que
ser el vector que una los extremos de los vectores b y proyeccin ortogonal de b sobre el
span, sea mnimo, esto es, que minimiza su norma eucldea.
Es inmediato ver que si el residuo une b con su proyeccin ortogonal, entonces es a su vez
ortogonal al span(A1,A2,...,Am), y a cada uno de los vectores de la base, esto es, ortogonal a
cada columna de A.
La condicin de minimizacin del residuo ser:

Que es cierto si y slo si:

A su vez, cada una de las m condiciones de perpendicularidad se puede agrupar en una sola:

Sustituyendo el residuo por su expresin:

Por tanto, la mejor aproximacin mnimo cuadrada lineal para un conjunto de puntos
discretos, sean cuales sean las funciones base, se obtiene al resolver el sistema cuadrado:
.

A esta ecuacin se le llama ecuacin normal de Gauss, y es vlida para cualquier conjunto
de funciones base. Si estas son la unidad y la funcin x, entonces la aproximacin se llama
regresin lineal.