Análisis de regresión y correlación lineal y múltiple

Introducción

Al trabajar con dos variables cuantitativas podemos
estudiar la relación que existe entre ellas mediante la
correlación y la regresión. Aunque los
cálculos de ambas técnicas pueden ser similares en
algunos aspectos e incluso dar resultados parecidos, no deben
confundirse. En la correlación tan solo medimos la
dirección y la fuerza de la asociación de una
variable frente a la otra, pero nunca una relación de
causalidad. Solo cuando tenemos una variable que es causa o
depende de otra, podremos realizar entonces una regresión.
En este capítulo estudiaremos dos de los coeficientes de
correlación más utilizados, como el coeficiente de
Pearson y el coeficiente no paramétrico de Spearman.
También veremos un ejemplo de regresión lineal
simple y cómo se deben interpretar sus
resultados.

Coeficiente de
correlación de Pearson (r)

Si tenemos dos variables cuantitativas y deseamos medir
el grado de asociación podemos utilizar el coeficiente de
correlación de Pearson. En primer lugar, es muy
aconsejable realizar un gráfico de dispersión entre
ambas variables y estudiar visualmente la relación entre
ellas. Este coeficiente mide asociación lineal y al ser
una prueba paramétrica requiere para su uso que ambas
variables tengan distribuciones normales1. De no ser así,
deberemos utilizar el coeficiente no paramétrico de
Spearman.

El coeficiente de correlación de Pearson (r)
puede tomar valores entre -1 y +1, de modo que un valor de "r"
positivo nos indica que al aumentar el valor de una variable
también aumenta el valor de la otra (Figura 1A), y por el
contrario, "r" será negativo si al aumentar el valor de
una variable disminuye la otra (Figura 1B). La correlación
será perfecta si r= ±1, en este caso los puntos
formarán todos una recta. Es importante a priori
determinar qué valor de "r" vamos a considerar como
clínicamente relevante, puesto que una correlación
tan baja como r= 0,07 sería significativa (p=0,027) con un
tamaño muestral de unas 1000 personas. Al igual que
cualquier otro parámetro, conviene darlo con sus
correspondientes intervalos de confianza. Un coeficiente de
correlación significativo, lo único que nos indica
es que es bastante improbable que en nuestra población "r"
sea cero, y por tanto su intervalo de confianza no
incluirá el cero.

Figura 1. El coeficiente de correlación de
Pearson.

Coeficiente de
correlación no paramétrico de Spearman
(rho)

Al igual que el coeficiente de Pearson, también
podemos utilizarlo para medir el grado de asociación entre
dos variables cuantitativas, sin embargo no es necesario que
ambas variables sean normales, e incluso lo podemos utilizar en
variables ordinales. Como todas las pruebas no
paramétricas, este coeficiente se construye sustituyendo
los valores de las variables por sus rangos o posiciones, si los
valores de las variables fuesen ordenados de menor a mayor. Al
contrario de otras pruebas no paramétricas, si permite
construir intervalos de confianza1.

La interpretación de este coeficiente es muy
similar al de Pearson, pudiendo alcanzar valores de entre -1 y +1
indicando asociación negativa o positiva respectivamente.
Tanto el coeficiente "r" de Pearson como el
coeficiente rho de Spearman, son medidas adimensionales
por lo que no poseen unidades.

Usos incorrectos de los coeficientes de
correlación

Ambos coeficientes, tanto el de Pearson, como el de
Spearman, requieren que las observaciones sean independientes,
por lo que no debemos aplicar una correlación entre dos
variables en los que tuviéramos medidos pacientes de forma
repetida.

El encontrar una asociación significativa no
indica que una variable sea la causa y que la otra el efecto. La
correlación nunca mide una relación
causa-efecto. Además, no distingue entre variable
dependiente e independiente y por tanto la correlación de
la variable "x" frente a la variable "y" es la misma que la de la
variable "y" frente a "x" 1. Esto no sucede así en la
regresión.

Siempre hay que tener mucho cuidado con la
interpretación de un coeficiente de correlación
puesto que otras variables, llamadas de confusión,
pueden ser las causantes reales de la asociación. Esto
sucede cuando dos variables independientes entre sí
dependen ambas de una tercera. Por ejemplo está demostrado
que en los niños, existe una correlación positiva
entre el tamaño del pie y su capacidad para sumar. Sin
embargo lo que en realidad sucede es que los niños con
mayor pie, son también los de mayor edad y por tanto los
que mejor suman. Este tipo de correlaciones se denominan
espúreas o engañosas y nos pueden llevar a
conclusiones erróneas.

También hay que advertir a aquellos
investigadores que tengan la tentación de correlacionar un
número grande de variables cuantitativas con el
único objetivo de "a ver si encuentro algo". Aparte de
tener una difícil justificación este modo de
actuar, si cruzáramos solo 20 variables todas
ellas independientes, tendríamos hasta 190 pares de
variables en los que estudiar la correlación, y
sólo por azar, es de esperar aproximadamente unas 9
ó 10 como significativas. Es decir, el 5% de las
correlaciones realizadas serian significativas con una p<0,05,
cometiendo un error tipo I al afirmar que hay asociación
cuando en realidad no la hay. Para evitarlo, podríamos
utilizar para cada p la corrección de
Bonferroni 2.

Tampoco debemos utilizar la correlación para
evaluar la concordancia entre dos medidas cuantitativas, siendo
aconsejables otros índices como el coeficiente de
correlación intraclase y otra serie de
técnicas.

Regresión
lineal simple

Si deseamos estudiar la relación entre dos
variables cuantitativas y además una de ellas puede
considerarse como variable dependiente o "respuesta" podemos
considerar el uso de la regresión lineal simple. Con la
regresión, aparte de medir el grado de asociación
entre las dos variables, podremos realizar predicciones de la
variable dependiente.

Veamos un ejemplo de regresión lineal simple y
cómo se interpretarían sus resultados. Dependiendo
del programa estadístico utilizado, pueden variar la
cantidad de información y el formato de las salidas,
aunque los resultados van a ser los mismos así como su
interpretación.

Supongamos que deseemos estudiar la asociación
entre el volumen máximo expirado en el primer segundo de
una expiración forzada (FEV1) y la talla medida en
centímetros de un grupo de 170 adolescentes de edades
comprendidas entre los 14 y los 18 años (Tabla
I).

Tabla I. Ejemplo en 170 adolescentes.

FEV1: Volumen
espiratorio forzado en el primer segundo

En primer lugar debemos realizar un gráfico de
dispersión como el de la Figura 2A y estudiar visualmente
si la relación entre nuestra variable dependiente (FEV1) y
nuestra variable independiente (talla) puede considerarse
lineal 4. Por convenio, se coloca la variable dependiente en
el eje Y de las ordenadas y la variable independiente en el eje X
de las abscisas. Si no observamos un comportamiento lineal,
debemos transformar la variable dependiente o incluso
replantearnos el tipo de análisis, ya que es posible que
la relación entre ambas variables en caso de existir,
pueda no ser lineal.

En nuestro ejemplo, si parece cumplirse una
relación lineal entre FEV1 y la talla. Si
calculásemos el coeficiente de correlación de
pearson nos daría un resultado de 0,86 (IC95%: 0,82;
0,90), indicando que la asociación es positiva y por tanto
valores altos de FEV1 se corresponden a su vez con valores
altos de talla. Sin embargo sólo con la correlación
no tendríamos la suficiente información si
quisiéramos hacer predicciones de los valores de
FEV1 en función de la talla.

El objetivo de la regresión lineal simple es
encontrar la mejor recta de ajuste de entre todas las posibles
dentro de la nube de puntos de la Figura 2A. La mejor recta de
ajuste será aquella que minimice las distancias verticales
entre cada punto y la recta, calculándose normalmente por
el método de "mínimos cuadrados" (Figura
2B) 1, 5. De este modo conseguiremos una ecuación
para la recta de regresión de Y (variable dependiente) en
función de X (variable independiente) de la forma Y=a+bX.
En nuestro ejemplo, el problema radica en estimar a (constante de
la recta) y b (pendiente de la recta) de modo que podamos
construir la ecuación o recta de regresión:
FEV1=a+bTalla que minimice esas distancias.

Figura 2. Gráfico de
dispersión.

Cualquier programa estadístico nos debe dar al
menos tres informaciones básicas:

Valor de "R cuadrado": En la regresión lineal
simple, se trata del coeficiente de correlación de Pearson
elevado al cuadrado. Se le conoce por coeficiente de
determinación y siempre será un valor positivo
entre 0 y 1. En nuestro ejemplo (Tabla I) la "R cuadrado" es de
0,75 lo cual significa que nuestra variable independiente (talla
en cm) es capaz de explicar hasta un 75% de la variabilidad
observada en nuestra variable dependiente (FEV1).

ANOVA de la regresión: Se descompone por un
lado, en la suma de cuadrados explicada por la recta de
regresión y por otro, en la suma de cuadrados no explicada
por la regresión, denominada residual. La suma de ambas es
lo que se llama suma de cuadrados totales. Por tanto, cuanto
mayor sea la suma de cuadrados de la regresión respecto a
la residual, mayor porcentaje de variabilidad observada podemos
explicar con nuestra recta de regresión. Si la tabla
presenta un resultado significativo (p<0,05)
rechazaríamos la hipótesis nula que afirma que la
pendiente de la recta de regresión es 0.

Coeficientes de la regresión: Los
coeficientes estimados a (constante de la recta) y b (pendiente
de la recta) que en nuestro ejemplo
sería FEV1 (litros)= -8,387 + 0,073*TALLA
(cm.) (Tabla II). En nuestra tabla, no solo aparecen los
coeficientes, sino sus intervalos de confianza, y además
el valor de "beta" que no es mas que el coeficiente b
estandarizado y que en la regresión lineal simple coincide
con el coeficiente de correlación de Pearson. El valor
positivo de b (0,073) nos indica el incremento de FEV1 por
cada centímetro en la talla. Para un adolescente de 170
cm. de altura podríamos esperar un valor de FEV1 de
0,073*170-8,387 que daría como resultado 4,03.

Tabla II. Coeficientes estimados de la recta de
regresión.

IC95%: Intervalo de confianza del 95%

Después de realizar el análisis hay que
asegurarse de que no se violan las hipótesis en las que se
sustenta la regresión lineal: normalidad de la variable
dependiente para cada valor de la variable explicativa,
independencia de las observaciones muestrales, y la misma
variabilidad de Y para cada valor de nuestra variable
independiente5.

Toda esta información se puede extraer estudiando
el comportamiento de los residuos, es decir, la diferencia entre
los valores observados y los pronosticados por nuestra recta de
regresión. La Figura 3A es un histograma de frecuencias en
el que se han normalizado o tipificado los residuos de modo que
su media es 0 y su varianza 1. Como podemos observar su
distribución es similar a una distribución normal.
Otro gráfico muy interesante es el de la Figura 3B, en el
que se han colocado en el eje X los valores pronosticados por la
regresión ya tipificados y en el eje Y, los residuos
también tipificados. Los puntos han de situarse de forma
aleatoria sin ningún patrón de comportamiento,
porque en caso contrario, es muy posible que estemos violando
alguno de los supuestos de la regresión lineal
simple 1, 5.

Figura 3. Gráfico de residuos.

Regresión
lineal múltiple

La regresión lineal múltiple estima los
coeficientes de la ecuación lineal, con una o más
variables independientes, que mejor prediga el valor de la
variable dependiente. Por ejemplo, se puede intentar predecir el
total de facturación lograda por servicios prestados en
una IPS cada mes (la variable dependiente) a partir de variables
independientes tales como: Tipo de servicio, edad, frecuencia del
servicio, tipo de usuario y los años de antigüedad en
el sistema del usuario.

Métodos de selección de variables en el
análisis de regresión lineal

La selección del método permite
especificar cómo se introducen las variables
independientes en el análisis. Utilizando distintos
métodos se pueden construir diversos modelos de
regresión a partir del mismo conjunto de
variables.

Para introducir las variables del bloque en un
sólo paso seleccione Introducir. Para eliminar las
variables del bloque en un solo paso, seleccione Eliminar. La
selección de variables Hacia adelante introduce las
variables del bloque una a una basándose en los criterios
de entrada . La eliminación de variables Hacia
atrás introduce todas las variables del bloque en un
único paso y después las elimina una a una
basándose en los criterios de salida . La entrada y salida
de variables mediante Pasos sucesivos examina las variables del
bloque en cada paso para introducirlas o excluirlas . Se trata de
un procedimiento hacia adelante por pasos.

Los valores de significación de los resultados se
basan en el ajuste de un único modelo. Por ello, estos
valores no suele ser válidos cuando se emplea un
método por pasos (Pasos sucesivos, Hacia adelante o Hacia
atrás).

Todas las variables deben superar el criterio de
tolerancia para que puedan ser introducidas en la
ecuación, independientemente del método de entrada
especificado. El nivel de tolerancia por defecto es 0,0001.
Tampoco se introduce una variable si esto provoca que la
tolerancia de otra ya presente en el modelo se sitúe por
debajo del criterio de tolerancia.

Todas las variables independientes seleccionadas se
añaden a un mismo modelo de regresión. Sin embargo,
puede especificar distintos métodos de introducción
para diferentes subconjuntos de variables. Por ejemplo, puede
introducir en el modelo de regresión un bloque de
variables que utilice la selección por pasos sucesivos, y
un segundo bloque que emplee la selección hacia adelante.
Para añadir al modelo de regresión un segundo
bloque de variables, pulse en Siguiente.

Regresión
lineal: Consideraciones sobre los datos

Datos. Las variables dependiente e independientes deben
ser cuantitativas. Las variables categóricas, como la
religión, estudios principales o el lugar de residencia,
han de recodificarse como variables binarias (dummy) o como otros
tipos de variables de contraste.

Supuestos. Para cada valor de la variable independiente,
la distribución de la variable dependiente debe ser
normal. La varianza de distribución de la variable
dependiente debe ser constante para todos los valores de la
variable independiente. La relación entre la variable
dependiente y cada variable independiente debe ser lineal y todas
las observaciones deben ser independientes.

Estadísticos. Para cada variable: número
de casos válidos, media y desviación típica.
Para cada modelo: coeficientes de regresión, matriz de
correlaciones, correlaciones parciales y semiparciales, R
múltiple, R cuadrado, R cuadrado corregida, cambio en R
cuadrado, error típico de la estimación, tabla de
análisis de la varianza, valores pronosticados y residuos.
Además, intervalos de confianza al 95% para cada
coeficiente de regresión, matriz de varianza-covarianza,
factor de inflación de la varianza, tolerancia, prueba de
Durbin-Watson, medidas de distancia (Mahalanobis, Cook y valores
de influencia), DfBeta, DfAjuste, intervalos de predicción
y diagnósticos por caso. Diagramas: diagramas de
dispersión, gráficos parciales, histogramas y
gráficos de probabilidad normal.

Gráficos. Los gráficos pueden ayudar a
validar los supuestos de normalidad, linealidad e igualdad de las
varianzas. También son útiles para detectar valores
atípicos, observaciones poco usuales y casos de
influencia. Tras guardarlos como nuevas variables,
dispondrá en el Editor de datos de los valores
pronosticados, los residuos y otros valores diagnósticos,
con los cuales podrá poder crear gráficos respecto
a las variables independientes. Se encuentran disponibles los
siguientes gráficos:

Diagramas de dispersión. Puede representar
cualquier combinación por parejas de la lista siguiente:
la variable dependiente, los valores pronosticados tipificados,
los residuos tipificados, los residuos eliminados, los valores
pronosticados corregidos, los residuos estudentizados o los
residuos eliminados estudentizados. Represente los residuos
tipificados frente a los valores pronosticados tipificados para
contrastar la linealidad y la igualdad de las
varianzas.

Generar todos los gráficos parciales. Muestra los
diagramas de dispersión de los residuos de cada variable
independiente y los residuos de la variable dependiente cuando se
regresan ambas variables por separado sobre las restantes
variables independientes. En la ecuación debe haber al
menos dos variables independientes para que se generen los
gráficos parciales.

Gráficos de residuos tipificados. Puede obtener
histogramas de los residuos tipificados y gráficos de
probabilidad normal que comparen la distribución de los
residuos tipificados con una distribución
normal.

Métodos
dependientes

Análisis De Regresión Lineal
Múltiple

Conceptualmente, el FIVi (Factor de incremento de la
varianza) es la proporción de variabilidad de la
iésima variable, que explican el resto de las variables
independientes.

La tolerancia de una variable es la proporción de
variabilidad de la variable, que no se explica por el resto de
las variables independientes.

La tolerancia y el FIV son muy útiles en la
construcción de modelos de regresión. Si
construimos un modelo paso a paso entrando las variables de una
en una, es útil conocer la tolerancia o el FIV de las
variables independientes ya entradas en la ecuación. De
esta manera, las variables con mayor tolerancia son las que mayor
información aportarán al modelo.

Además de la tolerancia y el FIV, debemos
estudiar la matriz de correlaciones. Altas correlaciones entre
las variables implicadas en el modelo deben considerarse como
indicios de colinealidad.

Puede ocurrir que, aun siendo pequeñas las
correlaciones entre las variables exista colinealidad. Supongamos
que tenemos K variables independientes y construimos otra que sea
la media de los valores de las otras K variables, en este caso la
colinealidad será completa, pero si K es grande, los
coeficientes de correlación serán pequeños.
Por lo tanto, el estudio de la matriz de correlaciones no es
suficiente.

Una técnica que cada vez se utiliza más,
aunque resulta algo sofisticada, es el análisis de los
autovalores de la matriz de correlaciones o de la matriz del
producto cruzado. A partir de los autovalores, se puede calcular
él indice de condicionamiento IC tanto global del modelo
como de cada variable.

El índice de condicionamiento, es la raíz
cuadrada del cociente entre el máximo y el mínimo
autovalores. Si el IC es mayor que 30, existe colinealidad
elevada, si el IC es mayor que 10 y menor que 30, la colinealidad
es moderada, si el IC es menor que 10, no existe
colinealidad.

También es interesante el índice de
condicionamiento para cada variable Ici, que es la raíz
cuadrada del cociente del máximo autovalor y el
iésimo autovalor. La varianza de cada coeficiente de
regresión, incluida la constante, puede ser descompuesta
como la suma de componentes asociadas a cada uno de los
autovalores si el porcentaje de la varianza de algunos
coeficientes de correlación se asocia con el mismo
autovalor, hay evidencia de colinealidad.

PASOS:

Identificar Xi, Y

Construír diagrama de
dispersión

Estímar los parámetros del
modelo.

Probar la signifícancia

Determinar la fuerza de la asociación

Verificar la exactitud de la
predicción

Análisis de residuales

Validación cruzada del modelo

Regresión
múltiple de variable ficticia
[1]

La utilización de la regresión en la
investigación de mercados podría verse seriamente
limitada por el hecho de que las variables independientes deben
presentarse en escalas de intervalos. Afortunadamente, existe una
forma de emplear variables independientes nominales dentro de un
contexto de regresión. El procedimiento recibe el nombre
de Regresión Múltiple de Variable Ficticia RMVF.
Básicamente RMVF convierte las variables nominales en una
serie de variables binarias que se codifican 0-1 por ejemplo,
suponemos que deseamos utilizar la variable nominal Sexo en una
regresión. Podríamos codificarla de la siguiente
manera:

El intervalo entre 0 y 1 es igual y, por tanto,
aceptable en la regresión. Nótese que hemos
convertido una variable nominal de dos categorías en una
variable 0-1 podemos extender este enfoque a una variable nominal
de múltiples categorías. La variable nominal de
cuatro categorías, área de estudio, puede
convertirse en tres variables ficticias, x1, x2, y x3 de la
siguiente manera:

Esta variable nominal de cuatro categorías se
convierte en K-1 categorías son 0 ó 1, la
K-ésima categoría se determina
automáticamente como 0 ó 1. Crear una
k-ésima variable ficticia sería redundante y, de
hecho, invalidaría toda la regresión. Es arbitraria
la elección de la categoría en la cual todo
equivale a cero.

Nótese que sólo una de las variables x1,
x2, ó x3 tomará el valor de 1 para cualquier
individuo y las otras dos X serán cero

R. Humano = a + b Humanidades + c Salud + d
Matemáticas + e C.Naturales

En una regresión podemos tener la cantidad de
variables ficticias que sean necesarias, sujetas a la
restricción de que cada variable ficticia utiliza un grado
de libertad. Por lo mismo, debemos contar con un tamaño de
muestra adecuado.

Regresión
logística

La regresión logística resulta útil
para los casos en los que se desea predecir la presencia o
ausencia de una característica o resultado según
los valores de un conjunto de variables predictoras. Es similar a
un modelo de regresión lineal pero está adaptado
para modelos en los que la variable dependiente es
dicotómica. Los coeficientes de regresión
logística pueden utilizarse para estimar la razón
de las ventajas (odds ratio) de cada variable independiente del
modelo. La regresión logística se puede aplicar a
un rango más amplio de situaciones de investigación
que el análisis discriminante.

Ejemplo. ¿Qué características del
estilo de vida son factores de riesgo de enfermedad
cardiovascular ? Dada una muestra de pacientes a los que se mide
la situación de fumador, dieta, ejercicio, consumo de
alcohol, y estado de enfermedad cardiovascular , se puede
construir un modelo utilizando las cuatro variables de estilo de
vida para predecir la presencia o ausencia de enfermedad
cardiovascular en una muestra de pacientes. El modelo puede
utilizarse posteriormente para derivar estimaciones de la
razón de las ventajas para cada uno de los factores y
así indicarle, por ejemplo, cuánto más
probable es que los fumadores desarrollen una enfermedad
cardiovascular frente a los no fumadores.

Datos. La variable dependiente debe ser
dicotómica. Las variables independientes pueden estar a
nivel de intervalo o ser categóricas; si son
categóricas, deben ser variables dummy o estar codificadas
como indicadores (existe una opción en el procedimiento
para recodificar automáticamente las variables
categóricas).

Supuestos. La regresión logística no se
basa en supuestos distribucionales en el mismo sentido en que lo
hace el análisis discriminante. Sin embargo, la
solución puede ser más estable si los predictores
tienen una distribución normal multivariante.
Adicionalmente, al igual que con otras formas de
regresión, la multicolinealidad entre los predictores
puede llevar a estimaciones sesgadas y a errores típicos
inflados . El procedimiento es más eficaz cuando la
pertenencia a grupos es una variable categórica
auténtica; si la pertenencia al grupo se basa en valores
de una variable continua (por ejemplo "CI alto " en
contraposición a "CI bajo"), deberá considerar el
utilizar la regresión lineal para aprovechar la
información mucho más rica ofrecida por la propia
variable continua.

Estadísticos. Para cada análisis: Casos
totales, Casos seleccionados, Casos válidos. Para cada
variable categórica: codificación de los
parámetros. Para cada paso: variables introducidas o
eliminadas, historial de iteraciones, -2 log de la verosimilitud,
bondad de ajuste, estadístico de bondad de ajuste de
Hosmer-Lemeshow, chi-cuadrado del modelo ¡, chi-cuadrado de
la mejora, tabla de clasificación, correlaciones entre las
variables, gráfico de las probabilidades pronosticadas y
los grupos observados, chi-cuadrado residual. Para cada variable
de la ecuación: Coeficiente (B), Error típico de B,
Estadístico de Wald, R, Razón de las ventajas
estimada (exp(B)), Intervalo de confianza para exp(B), Log de la
verosimilitud si el término se ha eliminado del modelo.
Para cada variable que no esté en la ecuación:
Estadístico de puntuación, R. Para cada caso: grupo
observado, probabilidad pronosticada, grupo pronosticado,
residuo, residuo tipificado.

Métodos. Puede estimar modelos utilizando la
entrada en bloque de las variables o cualquiera de los siguientes
métodos por pasos: Condicional hacia adelante, LR hacia
adelante, Wald hacia adelante, Condicional hacia atrás, LR
hacia atrás o Wald hacia atrás.

Regresión
logística multinomial

La opción Regresión logística
multinomial resulta útil en aquellas situaciones en las
que desee poder clasificar a los sujetos según los valores
de un conjunto de variables predictoras. Este tipo de
regresión es similar a la regresión
logística, pero más general, ya que la variable
dependiente no está restringida a dos
categorías.

Datos. La variable dependiente debe ser
categórica. Las variables independientes pueden ser
factores o covariables. En general, los factores deben ser
variables categóricas y las covariables deben ser
variables continuas.

Autor:

Percy Noriega
Nuñez

PROFESOR

WALTER CASTAÑEDA, GUZMAN

ASIGNATURA

ESTADISTICA GENERAL

IV CICLO

2011

[1]