Demostración de la minimización del error cuadrático en la regresión lineal. Parte 3

en el vídeo pasado habíamos logrado simplificar nuestra expresión del error cuadrática a esta expresión de aquí era el error cuadrática de la línea a los n puntos también habíamos comenzado a visualizarlo como una superficie en tres dimensiones entonces lo pensábamos de la siguiente forma para cada mb había un punto sobre la superficie que representaba el error cuadrática para esa línea la meta era encontrar la m y la b osea encontrar una recta de tal forma que se minimice el error cuadrática la forma en la que dijimos que vamos a hacer esto es que vamos a encontrar un punto en donde se anulen las derivadas parciales con respecto a m y con respecto a b ok entonces eso en la figura se vería como que no cambian m o sea que si nos movemos en esta dirección la pendiente es 0 déjame hacerlo con el mismo color con el verde entonces la pendiente en esta dirección la parcial con respecto a m es 0 y igualmente la pendiente con respecto a b o sea la pendiente en esta dirección es igual a 0 en otras palabras la parcial con respecto a b es igual a 0 muy bien eso de ahí punto mínimo vamos a encontrar la m y la b que nos dan estas parciales igual a cero ahora para sacar la parcial de esta expresión con respecto a m vamos a ir poco a poco con cada uno de los sumandos el primero no tiene m entonces es constante desde visto desde el punto de vista de m como pequeño recordatorio sacar parciales es lo mismo que sacar derivadas pero estamos pensando que todo excepto la variable con respecto a la cual estamos sacando la parcial es constante entonces en esta expresión las x es leyes ves y en es todas estas son constantes la única variable para la parcial es m bueno entonces esto de aquí es una constante porque no tiene m el segundo sumando es un término lineal estamos derivando con respecto a m y por tanto la derivada de este término con respecto a m es menos dos veces es el coeficiente de la m verdad es menos 12 n por el promedio de los productos de los xy esto de aquí es la parcial de este término con respecto a m ahora en este término de acá pues tampoco tenemos ms entonces es constante desde el punto de vista de m entonces su parcial es igual a cero ahora acá tenemos un término cuadrática nm entonces es m cuadrada n por el promedio de las x es cuadradas de modo que puedes sacando la parcial el 2 baja nos quedaría más dos veces y luego aquí vamos a ponerlo así n por el promedio de las x es cuadradas y luego x m verdad simplemente lo que hicimos es saber la derivada de m cuadrada es dos veces m y luego tenemos esta constante un coeficiente constante en este término rojito también tenemos una m y otra vez es lineal entonces simplemente nos quedaría puedes más 2 b n por el promedio de las x es muy bien para agarrarle más la onda es como cuando derivar 3x y te queda 3 es exactamente la misma idea finalmente el término nv no tiene m por tanto es constante y su derivada parciales 0 listo esta es la parcial del error con respecto a m y queremos que sea igual a 0 muy bien ahora hagamos lo mismo para la parcial con respecto a b este término una vez más es constante el punto de vista debe no hay ningún ave aquí tampoco hay de estas dos parciales nos quedan igual a cero en ninguna y ve en el tercer sumando tenemos menos 2 b n por el promedio de las es entonces nos queda que la parcial de ese término es menos dos veces n x el promedio de las yes muy bien acá no hay b en el término rojito tenemos una veces más 2 bcm n por el promedio de las x es 2 m n 2 m n por el promedio de las x es esto esencialmente es el coeficiente de este término lineal misma idea derivamos con respecto a b 7 b entonces la deriva de 7 es exactamente la misma idea verdad simplemente ponemos el coeficiente del término lineal y finalmente tenemos la parcial del último término que nos quedaría dos veces nb es más dos veces dos veces que dije así b n o nb bueno es lo mismo eso de ahí queremos que sea igual a cero muy bien ahora parece que nos queda un poquito complicado el sistema pero recuerda que sólo queremos encontrar m&b observa que son dos ecuaciones y dos variables hay ms m ya que hay vez y tenemos vez entonces es un sistema lineal de ecuaciones y para ver qué es todavía más sencillo tanto el de arriba como el de abajo son divisibles entre 12 ene entonces podemos dividir ambas ecuaciones entre 12 ene y así simplificar a ver si dividimos lo de arriba entre 12 ene esto se convierte en un 1 este de aquí también se hace un 1 este 2 con este n también se hace uno entonces simplemente nos quedaría menos el promedio de las equis y es del producto de las x es más m por el promedio de las x es cuadradas a jaime por el promedio de las x es cuadradas + b por el promedio de las x es ajá y eso es igual a 0 verdad eso de ahí es la primera ecuación dividido entre 12 n y en la segunda tenemos algo similar este se cancela arriba dividimos entre 12 n verdad o sea no entre menos 2 en entre 2 n aquí abajo dividiendo entre 12 n estos se cancelan todos estos se cancelan y solo nos queda menos el promedio de las es más más m por el promedio de las x es baja m por el promedio de las x es más b es igual a cero ok entonces si encontramos la mlb que satisface en este sistema de ecuaciones obtendremos donde se anulan las parciales y por tanto donde se minimice el error cuadrática ahora podríamos resolverlo de la forma tradicional pero déjame antes pasar por algo interesante vamos a ver qué quiere decir estas expresiones en términos de la recta ideal entonces lo que voy a hacer es sumar el promedio de las x ya está acá arriba entonces vamos a sumar el promedio de las aquí y aquí en la ecuación verde y que obtenemos a ver obtenemos m por el promedio de las x es cuadradas más veces el promedio de las x es y eso es igual a los de la izquierda se cancelan esto es igual a el promedio de los productos de las equis y es muy bien eso de ahí es la ecuación verde ahora la con la ecuación azul si sumamos el promedio de las yes aquí y acá esto se cancela y entonces nos queda que n no lo voy a hacer en azul para ser consistente con los colores m por el promedio de las x es más b más b es igual a es igual a y aquí nos queda bueno el promedio de las yes ok para poder decir algo en términos de la recta ideal quiero pasar ambas ecuaciones a la forma mx más ve igual hay por ejemplo la de abajo ya está en esta forma porque quiero hacer esto pues mira supongamos que nuestra línea óptima ya está dada por e iguala mx más b donde la m y la b ya son óptimas ahora está m y esta vez son las mismas m y ve que satisfacen el sistema de ecuaciones justo por eso podemos concluir que la línea óptima o sea la que mejor se ajusta con al punto y esto es algo que viene de la segunda ecuación contiene al punto deja lo escribo por aquí contiene al punto que tiene a los promedios no mejor voy a escribirlo de esta manera el punto promedio de las x es coma promedio de las es esta esta recta o sea en esta línea esto lo leí directamente de acá arriba o sea hacia aquí en la ecuación pongo en vez de x el promedio de las x es por la segunda ecuación obtenemos el promedio de las yes esto de aquí está muy interesante miraba manos arriba para acordarnos del contexto entonces teníamos puntitos y había dibujado la recta óptima lo que estamos diciendo es que esta recta que es la óptima así la mejor de todas va a tener al punto cuya primera coordenada es el promedio de todos los valores de x y su segunda coordenada es el promedio de todos los valores de y eso está súper interesante y de hecho más o menos es intuitivo o sea que la mejor recta tenga al promedio no es algo tan extraño y con esto de que tenga el promedio me refiero a que tiene al punto cuyas entradas son los promedios de los datos que nos dan ahora de modo similar vamos a ver qué información en este sentido nos da la primera ecuación vamos a ver si la primera ecuación también nos da información acerca de algún punto que esté sobre la recta para esto primero tenemos que pasarla a la forma m x + b entonces vamos a dividir entre el promedio de las x es y si hacemos esto obtendríamos que m multiplicado por el promedio de las x es cuadradas dividido entre el promedio de las x es + b es igual al promedio de las xy es dividido entre el promedio de las x es muy bien entonces cuando lo escribimos de esta forma es la misma ecuación pero simplemente la dividimos entre el promedio de las x es entonces obtenemos otro punto interesante que cae en la línea óptima en la recta óptima que estamos encontrando vale cómo le hacemos para jalar esta información pues lo escribimos por acá déjame ponerlo en color verde para seguir siendo consistente con los colores y entonces el punto va a ser el punto este de aquí así que la coordenada en x va a ser el promedio de las x es cuadradas dividido entre el promedio de las x es y en la coordenada que va a tener el promedio de las xy es dividido entre el promedio de las x es ba después vamos a pensar un poquito más en qué quiere decir esto pero bueno entonces ya tenemos dos puntos que caen sobre la línea déjame escribirle por aquí está sobre sobre pues la mejor línea sobre la línea que más se ajusta la mejor línea basada en pues en este criterio que es el error cuadrática la mejor línea según el error cuadrática bueno en el siguiente vídeo y con esto ya aparece una saga sin fin verdad ya está aparece la historia interminable pero bueno en el siguiente vídeo lo que vamos a hacer es ya terminar de resolver este sistema de ecuaciones y todavía no me decidido si con álgebra o con una interpretación geométrica a lo mejor lo hagamos de las dos formas pero creo que ahorita ya estoy un poco cansado para intentar eso bueno ya veremos hasta la próxima