¿Cuál es la diferencia entre R-cuadrado múltiple y R-cuadrado ajustado en una regresión de mínimos cuadrados de una sola variación?

El R-cuadrado ajustado es cercano, pero diferente del valor de R2. En lugar de basarse en la suma explicada de cuadrados SSR y la suma total de cuadrados SSY, se basa en la varianza general (una cantidad que normalmente no calculamos), s2T = SSY/(n - 1) y la varianza de error MSE (de la tabla ANOVA) y se resuelve de la siguiente manera: adjusted R-squared = (s2T - MSE) / s2t.

Este enfoque proporciona una mejor base para juzgar la mejora en un ajuste debido a la adición de un variable explicativa, pero no tiene la interpretación de resumen simple que tiene R2.

Si no he cometido un error, debe verificar los valores de R-cuadrado ajustado y R-cuadrado de la siguiente manera:

s2T <- sum(anova(v.lm)[[2]]) / sum(anova(v.lm)[[1]])
MSE <- anova(v.lm)[[3]][2]
adj.R2 <- (s2T - MSE) / s2T

Por otro lado, R2 es: SSR / SSY, donde SSR = SSY - SSE

attach(v)
SSE <- deviance(v.lm) # or SSE <- sum((epm - predict(v.lm,list(n_days)))^2)
SSY <- deviance(lm(epm ~ 1)) # or SSY <- sum((epm-mean(epm))^2)
SSR <- (SSY - SSE) # or SSR <- sum((predict(v.lm,list(n_days)) - mean(epm))^2)
R2 <- SSR / SSY 

El R-cuadrado no depende del número de variables en el modelo. El ajustado R-cuadrado es.

El R-cuadrado ajustado agrega una penalización por agregar variables al modelo que no están correlacionadas con la variable que intenta explicar. Puede usarlo para probar si una variable es relevante para lo que intenta explicar.

R-cuadrado ajustado es R-cuadrado con algunas divisiones añadidas para hacerlo dependiente del número de variables en el modelo.

Tenga en cuenta que, además del número de variables predictivas, la fórmula ajustada R-cuadrado anterior también se ajusta para el tamaño de la muestra. Una muestra pequeña dará un R-cuadrado engañosamente grande.

Ping Yin & Xitao Fan, J. de Experimental Education 69(2): 203-224, "Estimating R-squared shrinkage in multiple regression", compara diferentes métodos para ajustar r-squared y concluye que los comúnmente utilizados citados anteriormente no son buenos. Recomiendan el Olkin & Pratt fórmula.

Sin embargo, he visto alguna indicación de que el tamaño de la población tiene un efecto mucho mayor de lo que cualquiera de estas fórmulas indican. No estoy convencido de que ninguna de estas fórmulas sea lo suficientemente buena como para permitirle comparar regresiones hechas con tamaños de muestra muy diferentes (por ejemplo, 2,000 vs.200,000 muestras; las fórmulas estándar no harían casi ningún ajuste basado en el tamaño de la muestra). Haría un poco de validación cruzada para comprobar el r-cuadrado en cada muestra.