Proyecto2.tex

%===================================================================================
% JORNADA CIENTÍFICA ESTUDIANTIL - MATCOM, UH
%===================================================================================
% Esta plantilla ha sido diseñada para ser usada en los artículos de la
% Jornada Científica Estudiantil, MatCom.
%
% Por favor, siga las instrucciones de esta plantilla y rellene en las secciones
% correspondientes.
%
% NOTA: Necesitará el archivo 'jcematcom.sty' en la misma carpeta donde esté este
%       archivo para poder utilizar esta plantila.
%===================================================================================



%===================================================================================
% PREÁMBULO
%-----------------------------------------------------------------------------------
\documentclass[a4paper,10pt,twocolumn]{article}

%===================================================================================
% Paquetes
%-----------------------------------------------------------------------------------
\usepackage{amsmath}
\usepackage{amsfonts}
\usepackage{amssymb}
\usepackage{jcematcom}
\usepackage[utf8]{inputenc}
\usepackage{listings}
\usepackage[pdftex]{hyperref}
\usepackage[x11names,table]{xcolor}
\usepackage{graphicx}
\usepackage{float}
\usepackage{multicol}
\usepackage{listings}
\usepackage[export]{adjustbox}
%-----------------------------------------------------------------------------------
% Configuración
%-----------------------------------------------------------------------------------
\hypersetup{colorlinks,%
	    citecolor=black,%
	    filecolor=black,%
	    linkcolor=black,%
	    urlcolor=blue}

\lstset{language=R}
%===================================================================================



%===================================================================================
% Presentacion
%-----------------------------------------------------------------------------------
% Título
%-----------------------------------------------------------------------------------
\title{Proyecto de Estadística Fase 2}

%-----------------------------------------------------------------------------------
% Autores
%-----------------------------------------------------------------------------------
\author{\\
\name Enrique Martínez González \email \href{mailto:enrique.martinez@estudiantes.matcom.uh.cu}{enrique.martinez@estudiantes.matcom.uh.cu}
	\\ \addr Grupo C412 \AND
\name Osmany Pérez Rodríguez \email \href{mailto:osmany.perez@estudiantes.matcom.uh.cu}{osmany.perez@estudiantes.matcom.uh.cu}
  \\ \addr Grupo C412 \AND
\name Carmen Irene Cabrera Rodríguez \email \href{mailto:carmen.cabrera@estudiantes.matcom.uh.cu}{carmen.cabrera@estudiantes.matcom.uh.cu}
\\ \addr Grupo C412}

%-----------------------------------------------------------------------------------
% Tutores
%-----------------------------------------------------------------------------------
%\tutors{\\
%Dr. Tutor Uno, \emph{Centro} \\
%Lic. Tutor Dos, \emph{Centro}}

%-----------------------------------------------------------------------------------
% Headings
%-----------------------------------------------------------------------------------
\jcematcomheading{\the\year}{1-\pageref{end}}{E. Martínez, O. Pérez, C.Cabrera}

%-----------------------------------------------------------------------------------
\ShortHeadings{Proyecto de Estadística Fase 2}{Autores}
%===================================================================================



%===================================================================================
% DOCUMENTO
%-----------------------------------------------------------------------------------
\begin{document}

%-----------------------------------------------------------------------------------
% NO BORRAR ESTA LINEA!
%-----------------------------------------------------------------------------------
\twocolumn[
%-----------------------------------------------------------------------------------

\maketitle

%===================================================================================
% Resumen y Abstract
%-----------------------------------------------------------------------------------
\selectlanguage{spanish} % Para producir el documento en Español

%-----------------------------------------------------------------------------------
% Resumen en Español
%-----------------------------------------------------------------------------------


%-----------------------------------------------------------------------------------
% English Abstract
%-----------------------------------------------------------------------------------

%-----------------------------------------------------------------------------------
% Temas
%-----------------------------------------------------------------------------------



%-----------------------------------------------------------------------------------
% NO BORRAR ESTAS LINEAS!
%-----------------------------------------------------------------------------------
\vspace{0.8cm}
]
%-----------------------------------------------------------------------------------


%===================================================================================

%===================================================================================
% Introducción
%-----------------------------------------------------------------------------------
\section{Introducción}\label{sec:intro}

	El set de datos a utilizar contiene información sobre comunidades de Estados Unidos, que puede estar relacionada de alguna forma a los índices de criminalidad que estas presentan. Se combinan datos socioeconómicos del censo de 1990, ley datos de aplicación de la encuesta de 1990 sobre gestión de la aplicación de la ley y estadísticas administrativas, y datos delictivos de la UCR del FBI de 1995.
	
	El propósito de este proyecto es llevar a cabo un estudio sobre las variables de dicho juego de datos, aplicando técnicas de regresión, reducción de dimensión y anova que permitan luego realizar una caracterización de las mismas, así como la realización de predicciones sobre ellas.
%-----------------------------------------------------------------------------------
%===================================================================================



%===================================================================================
% Desarrollo
%-----------------------------------------------------------------------------------
\section{Variables}\label{sec:ex1.0}
%-----------------------------------------------------------------------------------
El set de datos que se analiza en este proyecto tiene como uno de los objetivos principales el análisis de la criminalidad en todas las "municipalidades" en los Estados Unidos. Se decidió hacer un análisis tratando de asociar cuestiones meramente socio-ecónomicas de los individuos en búsqueda de una relación de los mismos con el crimen en estas comunidades.

 Como consecuencia a dicha decisión se toman como variables independientes a analizar:
 \begin{itemize}
	 \item medIncome : ingreso promedio de los trabajadores.
	 \item PctPopUnderPov : porciento de la población que vive por debajo del nivel de pobreza.
	 \item PctUnemployed : porciento de individuos desempleados con edad laboral.	 
 \end{itemize}

 Como variables dependientes se toman:
 \begin{itemize}
	 \item ViolentCrimesPerPop : cantidad de crímenes violentos por cada 100 000 habitantes.
	 \item nonViolPerPop : cantidad de crímenes no violentos por cada 100 000 habitantes.
 \end{itemize}
%-----------------------------------------------------------------------------------
\section{Regresión lineal}\label{sec:ex1.1}
%-----------------------------------------------------------------------------------
% \begin{multicols*}{2}
	
	% \begin{lstlisting}
	% 	> cor(dataFiltered)
		
	% 	medIncome PctPopUnderPov PctUnemployed ViolentCrimesPerPop nonViolPerPop
	% 	medIncome            1.0000000     -0.7583720    -0.6146940          -0.3761265    -0.4660912
	% 	PctPopUnderPov      -0.7583720      1.0000000     0.7727260           0.4743996     0.5061137
	% 	PctUnemployed       -0.6146940      0.7727260     1.0000000           0.4317157     0.3985916
	% 	ViolentCrimesPerPop -0.3761265      0.4743996     0.4317157           1.0000000     0.6289104
	% 	nonViolPerPop       -0.4660912      0.5061137     0.3985916           0.6289104     1.0000000
	% \end{lstlisting}
% \end{multicols*}

\begin{figure}[H]
	\begin{center}
		\includegraphics[width=\columnwidth]{figures/correlation.png}
	\end{center}	
\end{figure}

Existe una dependencia lineal entre medIncome y PctPopUnderPov. Luego es posible
eliminar una de las variables, pero por el momento se continuará trabajando con todas en
la construcción del modelo.

Se tomará como variables dependientes a ViolentCrimesPerPop y nonViolPerPop.
\subsection*{Crímenes Violentos.}
\begin{itemize}
	\item {ViolentCrimesPerPop$\rightarrow$medIncome+ \\ PctPopUnderPov+PctUnemployed}

		% \begin{verbatim}
		% 	> multi.fit = lm(ViolentCrimesPerPop~medIncome+PctPopUnderPov+PctUnemployed)
		% 	> summary(multi.fit)

		% 	Call:
		% 	lm(formula = ViolentCrimesPerPop ~ medIncome + PctPopUnderPov + 
		% 		PctUnemployed)

		% 	Residuals:
		% 		Min      1Q  Median      3Q     Max 
		% 	-3.0940 -0.4609 -0.1814  0.2954  6.4543 

		% 	Coefficients:
		% 					Estimate Std. Error t value Pr(>|t|)    
		% 	(Intercept)     2.216e-16  1.859e-02   0.000    1.000    
		% 	medIncome      -2.771e-02  2.859e-02  -0.969    0.332    
		% 	PctPopUnderPov  3.300e-01  3.553e-02   9.288  < 2e-16 ***
		% 	PctUnemployed   1.597e-01  2.936e-02   5.440 5.93e-08 ***
		% 	---
		% 	Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

		% 	Residual standard error: 0.8747 on 2211 degrees of freedom
		% 	Multiple R-squared:  0.2359,	Adjusted R-squared:  0.2349 
		% 	F-statistic: 227.5 on 3 and 2211 DF,  p-value: < 2.2e-16
		% \end{verbatim}

		\begin{figure}[H]
			\begin{center}
				\includegraphics[width=.92\columnwidth,right]{figures/multifit1.png}
			\end{center}
		\end{figure}

	El estimado del coeficiente del intercepto es 0 y no posee una diferencia circunstancial con los demás coeficientes. Tiene un nivel de significación muy bajo ya que  $Pr(> | t | ) =1 $.
	Se puede decir que las variables independientes definen a \textit{ViolentCrimesPerPop}. El nivel de significación es 0 para las variables, excepto para medIcome que es 0.332. Esto apunta a que dicha variable no aporta nada al modelo y por tanto puede ser eliminada. El valor de $R^2$ ajustado es 0.2349 lo cual es una clara indicación de que el modelo es muy malo. El p-valor de F es 0, lo que significa que hay al menos una variable con valor significativamente mayor que cero.

	\item {ViolentCrimesPerPop$\rightarrow$PctPopUnderPov \\ +PctUnemployed}

		% \begin{verbatim}
		% 	> multi.fit = lm(ViolentCrimesPerPop~PctPopUnderPov+PctUnemployed)
		% 	> summary(multi.fit)

		% 	Call:
		% 	lm(formula = ViolentCrimesPerPop ~ PctPopUnderPov + PctUnemployed)

		% 	Residuals:
		% 		Min      1Q  Median      3Q     Max 
		% 	-3.1629 -0.4628 -0.1839  0.2991  6.4463 

		% 	Coefficients:
		% 					Estimate Std. Error t value Pr(>|t|)    
		% 	(Intercept)    2.279e-16  1.859e-02    0.00        1    
		% 	PctPopUnderPov 3.495e-01  2.929e-02   11.93  < 2e-16 ***
		% 	PctUnemployed  1.617e-01  2.929e-02    5.52 3.79e-08 ***
		% 	---
		% 	Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

		% 	Residual standard error: 0.8747 on 2212 degrees of freedom
		% 	Multiple R-squared:  0.2356,	Adjusted R-squared:  0.2349 
		% 	F-statistic: 340.9 on 2 and 2212 DF,  p-value: < 2.2e-16
		% \end{verbatim}
		\begin{figure}[H]
			\begin{center}
				\includegraphics[width=.92\columnwidth,right]{figures/multifit2.png}
			\end{center}
		\end{figure}

	El estimado del coeficiente del intercepto es 0 y no posee una diferencia circunstancial con los demás coeficientes. Tiene un nivel de significación muy bajo ya que $Pr(> | t | ) =1$.
	Se puede decir que las variables independientes definen a ViolentCrimesPerPop. El nivel de significación es 0 para las variables, lo cual representa que tienen gran importancia. El valor de $R^2$ ajustado es 0.2349 lo cual es una clara indicación de que el modelo es muy malo. El p-valor de F es 0, lo que significa que hay al menos una variable con valor significativamente mayor que cero.

	\item{ViolentCrimesPerPop$\rightarrow$PctUnemployed}
		% \begin{verbatim}
			
		% 	> multi.fit = lm(ViolentCrimesPerPop~PctUnemployed)
		% 	> summary(multi.fit)
			
		% 	Call:
		% 	lm(formula = ViolentCrimesPerPop ~ PctUnemployed)
			
		% 	Residuals:
		% 	Min      1Q  Median      3Q     Max 
		% 	-3.7549 -0.5232 -0.2216  0.2893  6.4039 
			
		% 	Coefficients:
		% 				Estimate Std. Error t value Pr(>|t|)    
		% 	(Intercept)   2.335e-16  1.917e-02    0.00        1    
		% 	PctUnemployed 4.317e-01  1.917e-02   22.52   <2e-16 ***
		% 	---
		% 	Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
			
		% 	Residual standard error: 0.9022 on 2213 degrees of freedom
		% 	Multiple R-squared:  0.1864,	Adjusted R-squared:  0.186 
		% 	F-statistic: 506.9 on 1 and 2213 DF,  p-value: < 2.2e-16
		% \end{verbatim}
		\begin{figure}[H]
			\begin{center}
				\includegraphics[width=.92\columnwidth,right]{figures/multifit3.png}
			\end{center}
		\end{figure}

	El estimado del coeficiente del intercepto es 0 y no posee una diferencia circunstancial con los demás coeficientes. Tiene un nivel de significación muy bajo ya que $Pr(> | t | ) =1$.
	Se puede decir que la variable independiente define a ViolentCrimesPerPop. El nivel de significación es 0 para la variable, lo cual representa que tiene gran importancia. El valor de $R^2$ ajustado es 0.186 lo cual es una clara indicación de que el modelo es muy malo. El p-valor de F es 0, lo que significa que la variable tiene valor significativamente mayor que cero.

	\item {ViolentCrimesPerPop$\rightarrow$PctPopUnderPov}

		% \begin{verbatim}
		% 	> multi.fit = lm(ViolentCrimesPerPop~PctPopUnderPov)
		% 	> summary(multi.fit)

		% 	Call:
		% 	lm(formula = ViolentCrimesPerPop ~ PctPopUnderPov)

		% 	Residuals:
		% 		Min      1Q  Median      3Q     Max 
		% 	-2.5809 -0.4577 -0.1828  0.3105  6.6045 

		% 	Coefficients:
		% 					Estimate Std. Error t value Pr(>|t|)    
		% 	(Intercept)    2.205e-16  1.871e-02    0.00        1    
		% 	PctPopUnderPov 4.744e-01  1.871e-02   25.35   <2e-16 ***
		% 	---
		% 	Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

		% 	Residual standard error: 0.8805 on 2213 degrees of freedom
		% 	Multiple R-squared:  0.2251,	Adjusted R-squared:  0.2247 
		% 	F-statistic: 642.7 on 1 and 2213 DF,  p-value: < 2.2e-16
		% \end{verbatim}

		\begin{figure}[H]
			\begin{center}
				\includegraphics[width=.92\columnwidth,right]{figures/multifit4.png}
			\end{center}
		\end{figure}

	El estimado del coeficiente del intercepto es 0 y no posee una diferencia circunstancial con los demás coeficientes. Tiene un nivel de significación muy bajo ya que $Pr(> | t | ) =1$.
	Se puede decir que la variable independiente define a ViolentCrimesPerPop. El nivel de significación es 0 para la variable, lo cual representa que tiene gran importancia. El valor de $R^2$ ajustado es 0.2247 lo cual es una clara indicación de que el modelo es muy malo pero tiene mayor importancia que la variable independiente analizada previamente. El p-valor de F es 0, lo que significa que la variable tiene valor significativamente mayor que cero.

\end{itemize}

\subsection*{Crímenes no violentos.}
\begin{itemize}
	\item {nonViolPerPop$\rightarrow$medIncome \\ +PctPopUnderPov+PctUnemployed}
		% \begin{verbatim}
			
		% 	> multi.fit = lm(nonViolPerPop~medIncome+PctPopUnderPov+PctUnemployed)
		% 	> summary(multi.fit)
			
		% 	Call:
		% 	lm(formula = nonViolPerPop ~ medIncome + PctPopUnderPov + PctUnemployed)
			
		% 	Residuals:
		% 	Min      1Q  Median      3Q     Max 
		% 	-2.7202 -0.5037 -0.1192  0.3837  8.7574 
			
		% 	Coefficients:
		% 					Estimate Std. Error t value Pr(>|t|)    
		% 	(Intercept)    -1.962e-16  1.814e-02   0.000    1.000    
		% 	medIncome      -1.933e-01  2.790e-02  -6.928  5.6e-12 ***
		% 	PctPopUnderPov  3.558e-01  3.467e-02  10.260  < 2e-16 ***
		% 	PctUnemployed   4.866e-03  2.865e-02   0.170    0.865    
		% 	---
		% 	Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
			
		% 	Residual standard error: 0.8538 on 2211 degrees of freedom
		% 	Multiple R-squared:  0.2721,	Adjusted R-squared:  0.2711 
		% 	F-statistic: 275.5 on 3 and 2211 DF,  p-value: < 2.2e-16
		% \end{verbatim}
		
		\begin{figure}[H]
			\begin{center}
				\includegraphics[width=.92\columnwidth,right]{figures/multifit5.png}
			\end{center}
		\end{figure}
	El estimado del coeficiente del intercepto 0 y no posee una diferencia circunstancial con los demás coeficientes. Tiene un nivel de significación muy bajo ya que $Pr(> | t | )$ =1.
	Se puede decir que las variables independientes definen a nonViolPerPop. El nivel de significación es 0 para las variables, excepto para PctUnemployed que es 0.865. Esto apunta a que dicha variable no aporta nada al modelo y por tanto puede ser eliminada. El valor de $R^2$ ajustado es 0.2711 lo cual es una clara indicación de que el modelo es muy malo. El p-valor de F es 0, lo que significa que hay al menos una variable con valor significativamente mayor que cero.

	\item {nonViolPerPop$\rightarrow$medIncome+PctPopUnderPov}

		% \begin{verbatim}
		% 	> multi.fit = lm(nonViolPerPop~medIncome+PctPopUnderPov)
		% 	> summary(multi.fit)

		% 	Call:
		% 	lm(formula = nonViolPerPop ~ medIncome + PctPopUnderPov)

		% 	Residuals:
		% 		Min      1Q  Median      3Q     Max 
		% 	-2.7168 -0.5050 -0.1186  0.3843  8.7584 

		% 	Coefficients:
		% 					Estimate Std. Error t value Pr(>|t|)    
		% 	(Intercept)    -1.965e-16  1.814e-02   0.000        1    
		% 	medIncome      -1.936e-01  2.783e-02  -6.958 4.54e-12 ***
		% 	PctPopUnderPov  3.593e-01  2.783e-02  12.909  < 2e-16 ***
		% 	---
		% 	Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

		% 	Residual standard error: 0.8536 on 2212 degrees of freedom
		% 	Multiple R-squared:  0.2721,	Adjusted R-squared:  0.2714 
		% 	F-statistic: 413.4 on 2 and 2212 DF,  p-value: < 2.2e-16

		% \end{verbatim}

		\begin{figure}[H]
			\begin{center}
				\includegraphics[width=.92\columnwidth,right]{figures/multifit6.png}
			\end{center}
		\end{figure}

	El estimado del coeficiente del intercepto 0 y no posee una diferencia circunstancial con los demás coeficientes. Tiene un nivel de significación muy bajo ya que $Pr(> | t | )$ =1.
	Se puede decir que las variables independientes definen a nonViolPerPop. El nivel de significación es 0 para las variables, lo cual representa que tienen gran importancia. El valor de $R^2$ ajustado es 0.2714 lo cual es una clara indicación de que el modelo es muy malo. El p-valor de F es 0, lo que significa que hay al menos una variable con valor significativamente mayor que cero.

	\item {nonViolPerPop$\rightarrow$medIncome}
		% \begin{verbatim}
		% 	> multi.fit = lm(nonViolPerPop~medIncome)
		% 	> summary(multi.fit)

		% 	Call:
		% 	lm(formula = nonViolPerPop ~ medIncome)

		% 	Residuals:
		% 		Min      1Q  Median      3Q     Max 
		% 	-2.2436 -0.5667 -0.1467  0.4016  8.5474 

		% 	Coefficients:
		% 				Estimate Std. Error t value Pr(>|t|)    
		% 	(Intercept) -2.649e-16  1.880e-02    0.00        1    
		% 	medIncome   -4.661e-01  1.881e-02  -24.78   <2e-16 ***
		% 	---
		% 	Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

		% 	Residual standard error: 0.8849 on 2213 degrees of freedom
		% 	Multiple R-squared:  0.2172,	Adjusted R-squared:  0.2169 
		% 	F-statistic: 614.2 on 1 and 2213 DF,  p-value: < 2.2e-16
		% \end{verbatim}
		\begin{figure}[H]
			\begin{center}
				\includegraphics[width=.92\columnwidth,right]{figures/multifit7.png}
			\end{center}
		\end{figure}

	El estimado del coeficiente del intercepto 0 y no posee una diferencia circunstancial con los demás coeficientes. Tiene un nivel de significación muy bajo ya que $Pr(> | t | )$ =1.
	Se puede decir que la variable independiente define a ViolentCrimesPerPop. El nivel de significación es 0 para la variable, lo cual representa que tiene gran importancia. El valor de $R^2$ ajustado es 0.2169 lo cual es una clara indicación de que el modelo es muy malo. El p-valor de F es 0, lo que significa que la variable tiene valor significativamente mayor que cero.

	\item{nonViolPerPop$\rightarrow$PctUnemployed}
		% \begin{verbatim}
		% 	> multi.fit = lm(nonViolPerPop~PctUnemployed)
		% 	> summary(multi.fit)

		% 	Call:
		% 	lm(formula = nonViolPerPop ~ PctUnemployed)

		% 	Residuals:
		% 		Min      1Q  Median      3Q     Max 
		% 	-2.4246 -0.5882 -0.1477  0.4027  8.5160 

		% 	Coefficients:
		% 					Estimate Std. Error t value Pr(>|t|)    
		% 	(Intercept)   -1.442e-16  1.949e-02    0.00        1    
		% 	PctUnemployed  3.986e-01  1.950e-02   20.45   <2e-16 ***
		% 	---
		% 	Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

		% 	Residual standard error: 0.9173 on 2213 degrees of freedom
		% 	Multiple R-squared:  0.1589,	Adjusted R-squared:  0.1585 
		% 	F-statistic:   418 on 1 and 2213 DF,  p-value: < 2.2e-16
		% \end{verbatim}
		\begin{figure}[H]
			\begin{center}
				\includegraphics[width=.92\columnwidth,right]{figures/multifit8.png}
			\end{center}
		\end{figure}

	El estimado del coeficiente del intercepto 0 y no posee una diferencia circunstancial con los demás coeficientes. Tiene un nivel de significación muy bajo ya que $Pr(> | t | )$ =1.
	Se puede decir que la variable independiente define a ViolentCrimesPerPop. El nivel de significación es 0 para la variable, lo cual representa que tiene gran importancia. El valor de $R^2$ ajustado es 0.1585 lo cual es una clara indicación de que el modelo es muy malo además de tener menor importancia que la variable independiente analizada previamente. El p-valor de F es 0, lo que significa que la variable tiene valor significativamente mayor que cero.

\end{itemize}

\subsection*{Supuestos.}

	A pesar que ninguno de los modelos resultó ser siquiera medianamente buenos, se escogió un modelo de cada una de las secciones analizadas previamente. A continuación se realizará el análisis de los supuestos en cada caso. No se requiere hacerlos todos una vez que uno se incumple (contrario a lo que se presenta aquí).

	\begin{itemize}
		\item {ViolentCrimesPerPop$\rightarrow$PctPopUnderPov+PctUnemployed}
		
			% \begin{verbatim}
			% 	> mean(multi.fit$residuals)
			% 	[1] 7.472035e-17
			% 	> sum(multi.fit$residuals)
			% 	[1] 1.627032e-13
			% \end{verbatim}
			\begin{figure}[H]
				\begin{center}
					\includegraphics[width=.92\columnwidth,right]{figures/sup1.png}
				\end{center}
			\end{figure}

			La media de los errores es cero y la suma de los errores es cero.

			% \begin{verbatim}
			% 	> ks.test(res, 'pnorm', mean = mean(res),sd=sd(res))

			% 		One-sample Kolmogorov-Smirnov test

			% 	data:  res
			% 	D = 0.12433, p-value < 2.2e-16
			% 	alternative hypothesis: two-sided

			% \end{verbatim}

			\begin{figure}[H]
				\begin{center}
					\includegraphics[width=.92\columnwidth,right]{figures/sup2.png}
				\end{center}
			\end{figure}
			
			El p-valor es menor que 0.05 por tanto no se cumple que los errores siguen una distribución normal.

			% \begin{verbatim}
			% 	> dwtest(multi.fit)

			% 		Durbin-Watson test

			% 	data:  multi.fit
			% 	DW = 1.6345, p-value < 2.2e-16
			% 	alternative hypothesis: true autocorrelation is greater than 0
			% \end{verbatim}

			\begin{figure}[H]
				\begin{center}
					\includegraphics[width=.92\columnwidth,right]{figures/sup3.png}
				\end{center}
			\end{figure}

			Como el p-valor de esta prueba es 0 < 0.05 podemos rechazar la hipótesis nula por lo que 
			podemos afirmar que los errores no son independientes. 

			% \begin{verbatim}
			% 	> bptest(multi.fit)

			% 		studentized Breusch-Pagan test

			% 	data:  multi.fit
			% 	BP = 267.61, df = 2, p-value < 2.2e-16
			% \end{verbatim}

			\begin{figure}[H]
				\begin{center}
					\includegraphics[width=.92\columnwidth,right]{figures/sup4.png}
				\end{center}
			\end{figure}

			Como el p-valor de esta prueba es 0 < 0.05 podemos rechazar la hipótesis nula por lo que podemos 
			afirmar que no se cumple la heterocedasticidad. Por lo que el supuesto de Homocedasticidad no se mantiene.

		\item {nonViolPerPop$\rightarrow$medIncome+PctPopUnderPov}
			% \begin{verbatim}
			% 	> mean(multi.fit$residuals)
			% 	[1] 7.612007e-17
			% 	> sum(multi.fit$residuals)
			% 	[1] 1.700879e-13
			% \end{verbatim}
			\begin{figure}[H]
				\begin{center}
					\includegraphics[width=.92\columnwidth,right]{figures/sup5.png}
				\end{center}
			\end{figure}
			La media de los errores es cero y la suma de los errores es cero.

			% \begin{verbatim}
			% 	> ks.test(res, 'pnorm', mean = mean(res),sd=sd(res))

			% 		One-sample Kolmogorov-Smirnov test

			% 	data:  res
			% 	D = 0.092453, p-value < 2.2e-16
			% 	alternative hypothesis: two-sided
			% \end{verbatim}

			\begin{figure}[H]
				\begin{center}
					\includegraphics[width=.92\columnwidth,right]{figures/sup6.png}
				\end{center}
			\end{figure}
			
			El p-valor es menor que 0.05 por tanto no se cumple que los errores siguen una distribución normal.

			% \begin{verbatim}
				
			% 	> dwtest(multi.fit)

			% 	Durbin-Watson test

			% 	data:  multi.fit
			% 	DW = 1.6697, p-value = 3.454e-15
			% 	alternative hypothesis: true autocorrelation is greater than 0

			% \end{verbatim}

			\begin{figure}[H]
				\begin{center}
					\includegraphics[width=.92\columnwidth,right]{figures/sup7.png}
				\end{center}
			\end{figure}

			Como el p-valor de esta prueba es 0 < 0.05 podemos rechazar la hipótesis nula por lo que 
			podemos afirmar que los errores no son independientes. 

			% \begin{verbatim}
			% 	> bptest(multi.fit)

			% 		studentized Breusch-Pagan test

			% 	data:  multi.fit
			% 	BP = 33.516, df = 2, p-value = 5.273e-08
			% \end{verbatim}

			\begin{figure}[H]
				\begin{center}
					\includegraphics[width=.92\columnwidth,right]{figures/sup8.png}
				\end{center}
			\end{figure}

			Como el p-valor de esta prueba es 0 < 0.05 podemos rechazar la hipótesis nula por lo que podemos 
			afirmar que no se cumple la heterocedasticidad. Por lo que el supuesto de Homocedasticidad no se mantiene.
	\end{itemize}

	Además de ser modelos, que de manera previa a esta comprobación, se conocía que eran malos; incumplen varios de los supuestos lo que reafirma que no son válidos.

%-----------------------------------------------------------------------------------
\section{Reducción de dimensión}\label{sec:ex1}
%-----------------------------------------------------------------------------------
	Nuestro set de datos posee un total de 145 variables, el cual es un número bastante grande  para intentar graficar todas las variables para apreciar a simple vista si los datos están correlacionados o no, de igual forma la matriz de correlación sigue siendo bastante grande pero podemos ver que muy pocos datos tienen correlación entre si. Intentando disminuir la cantidad de variables realizamos ACP pero dado los resultados anteriores esta no es altamente correlacionada por lo que habría que tomar un número igual grande de componentes principales para poder representar un \% no tan grande de la muestra.

	Intentemos agrupar los datos mediante el algoritmo de clusters jerárquico. Para esto el primer paso es estandarizar las muestras para evitar errores de clasificación. Los resultados arrojados los podemos apreciar en la gráfica \ref{fig:dendograma_1}, en estos se ve como todos los datos son semejantes, esto se debe al alto número de variables y la poca correlación que existe entre ellas imposibilitando agrupar los datos en clusters.

	\begin{figure}[htb]
		\begin{center}
			\includegraphics[width=\columnwidth]{figures/dendograma_1.pdf}
		\end{center}
		\caption{clusters jerárquico de los datos con todas las variables \label{fig:dendograma_1}}%
	\end{figure}

	Para aplicar el algoritmo de K-Means debemos conocer en cuántos clusters intentaremos dividir la muestra, para esto hallamos el error que se obtiene al intentar particionar los datos en distintos números de clusters y tomamos el que mejor relación tenga. Como podemos ver en la gráfica \ref{fig:cluster_n_1} para una cantidad de clusters mayor que 8 el error disminuye pero en menor escala que como lo hacía antes, y como el objetivo es tener la menor cantidad de clusters posible, tomamos 8 ya que posee un menor error y una menor cantidad de clusters.

	\begin{figure}[htb]
		\begin{center}
			\includegraphics[width=\columnwidth]{figures/cluster_n_1.pdf}
		\end{center}
		\caption{Error de los datos por cada cantidad de clusters \label{fig:cluster_n_1}}%
	\end{figure}

	Ahora con la cantidad de clusters definida podemos aplicar el algoritmo quedando una distribución que tiene una medida de similitud de los elementos dentro de cada cluster de 40.6\%, la cual es baja debido a la cantidad de variables que poseemos sin ninguna correlación entre sí.

	Ahora intentaremos disminuir la dimensión de los datos tomando solo un conjunto de las variables que posee el conjunto de muestras, en particular son las que ya habíamos tomado en el anterior acercamiento.

	Veamos nuevamente la correlación entre las variables, pero esta vez de las variables seleccionadas.

	\begin{verbatim}
                    m PP PU V n
medIncome           1          
PctPopUnderPov      , 1        
PctUnemployed       , ,  1     
ViolentCrimesPerPop . .  .  1  
nonViolPerPop       . .  .  , 1
	\end{verbatim}

	A pesar de ver un número menor de espacios en blanco, se puede ver como todo son . y , lo que hace que igual no sea un matriz altamente correlacionada, veamos que resultados arroja aplicar el algoritmo de ACP, para esto igualmente estandarizamos los datos. Obtenemos que con solo tomar las dos primeras componentes principales, obtendríamos una proporción acumulativa de 0.8131 con lo que explicaríamos el 81.31\% de la variación de los datos, este porciento es mayor que 70\% por lo que es aceptable, esto se puede apreciar mejor en la gráfica \ref{fig:acp_2}. Si nos guiásemos por el criterio de Kaiser tenemos que solo la primera componente posee valor propio mayor que 1.

	\begin{figure}[htb]
		\begin{center}
			\includegraphics[width=\columnwidth]{figures/acp_2.pdf}
		\end{center}
		\caption{Proporción acumulativa de componentes principales\label{fig:acp_2}}%
	\end{figure}

	Veamos qué variables son importantes para la componente 1. Podemos tomar el mayor valor propio absoluto que es 0.5021, teniendo este podemos afirmar que todos los valores propios cuyo módulo esté por encima de 0.2510 en la columna de PC1 son las variables que conforman esta componente. Por tanto PC1 está caracterizada por personas con bajos ingresos, gran porciento de personas por debajo del nivel de pobreza, alto porciento de personas en edad laboral desempleados, alto número de crímenes violentos y alto número de crímenes no violentos.

	Siguiendo el análisis que se realizó teniendo en cuenta todas las variables, podemos aplicar el algoritmo de clusters jerárquicos pero con este obtenemos un resultado similar al anterior en el que se obtiene un clusters que posee a la mayoría de los datos y el resto solo posee una pequeña proporción de las muestras.

	Ahora veamos para este conjunto de variables cuál sería el mejor número de cluster a formar con el algoritmo de K-Means, realizando un análisis similar podemos ver en la gráfica \ref{fig:cluster_n_2} como para estas variables el mejor número de clusters a tomar sería 4. Con esta distribución obtenemos una medida de similitud de los elementos dentro de cada cluster de 69.5\%, la cual es más alta que el anterior análisis a pesar de poseer un menor número de clusters.

	\begin{figure}[htb]
		\begin{center}
			\includegraphics[width=\columnwidth]{figures/cluster_n_2.pdf}
		\end{center}
		\caption{Error de los datos por cada cantidad de clusters \label{fig:cluster_n_2}}%
	\end{figure}

	Podemos ver la distribución de clusters para las muestras con respecto a las variables seleccionadas en la gráfica \ref{fig:plot_clusters}.

	\begin{figure}[htb]
		\begin{center}
			\includegraphics[width=\columnwidth]{figures/plot_clusters.pdf}
		\end{center}
		\caption{Datos representados con colores diferenciando su pertenencia a cada cluster \label{fig:plot_clusters}}%
	\end{figure}


\section{ANOVA}

El análisis de varianza (ANOVA) permite determinar si las diferencias entre grupos de datos son significativas estadísiticamente. En el caso particular de el set de datos utilizado en este proyecto, se tiene que las variables se estudian sobre las diferentes comunidades de los estados de los Estados Unidos. Por ello se puede llevar a cabo un estudio de dichas variables y su variación con respecto a los diferentes estados. Previamente fueron seleccionadas algunas variables para su estudio, las mismas se estarán utilizando en estos casos.

Note que la cantidad de comunidades por cada estado varía en dependencia del mismo, por tanto en primer lugar se debió hacer un filtrado de la base de datos, eliminando aquellos estados que solo contaban con una observación (o lo que es lo mismo, que solo contaban con una comunidad como muestra). Igualmente, en el caso de las variables \textit{ViolentCrimesPerPop} y \textit{nonViolPerPop}, ocurría que habían datos faltantes; no obstante como la cantidad de ellos era muy pequeña respecto al resto de los datos, pudieron ser obviadas estas filas. Además, dado que el Estado al que pertenece una comunidad es un dato categórico, se lleva a cabo el mapeo del vector de Estados, tal que a cada uno se le asigna un número. El código presente en el archivo \href{anova.R}{anova.R} contiene la implementación de estos métodos para cada variable.

Tomemos el caso de la variable \textit{PctUnemployed}, que representa la cantidad de personas desempleadas por cada 100000 habitantes en las comunidades, y que a su vez es de gran importancia en el análisis de criminalidad de las poblaciones dado que se encuentra estrechamente relacionada con los ingresos medios de las familias, el nivel de pobreza, etc. En la figura \ref{fig:unemployed_boxplot} se puede observar la distribución de los datos según los Estados.
	
\begin{figure}[htb]
	\begin{center}
		\includegraphics[width=\columnwidth]{figures/Unemployed_plot.png}
	\end{center}
	\caption{Bloxplot de la tasa de desempleo para cada estado \label{fig:unemployed_boxplot}}
\end{figure}

Se lleva a cabo el ANOVA obteniendo los resultados que se muestran en la figura \ref{fig:anova_unemp}:
\begin{figure}[htb]
	\begin{center}
		\includegraphics[width=\columnwidth]{figures/unemployed_anova.png}
	\end{center}
	\caption{Resultados de aplicar la técnica ANOVA sobre los datos \label{fig:anova_unemp}}
\end{figure}

Como se puede observar el $valor \, -\, p = 0.205$ y este valor es mayor que la significación prefijada ($\alpha = 0.05$), por tanto $H_0$ no puede ser rechazada lo que implica que los valores de varianza de los Estados con repecto al desempleo se encuentran alrededor del mismo valor. Tras este cómputo se procede a hallar los residuos para el cálculo de los supuestos.

Al llevar a cabo la prueba de Shapiro-Wilk, se obtiene el siguiente resultado (\ref{fig:shapiro_unemp})
\begin{figure}[htb]
	\begin{center}
		\includegraphics[width=\columnwidth]{figures/unemployed_shapiro.png}
	\end{center}
	\caption{Resultados de aplicar la prueba Shapiro-Wilks sobre los residuos \label{fig:shapiro_unemp}}
\end{figure}
Note que el $p-value < 0.05$, que es la significación prefijada, lo que implica que es significativo y por tanto se rechaza $H_0$. Al ocurrir esto, se puede afirmar que los residuos no presentan una distribución normal. Al incumplirse uno de ellos no es necesario verificar los otros supuestos, puesto que el proyecto puede ser rechazado.

Análogamente se realiza este análisis con el resto de las variables que se deseaba estudiar. En cada caso se obtiene que no se cumplen los supuestos y por tanto se rechaza el modelo.


%-----------------------------------------------------------------------------------
%-----------------------------------------------------------------------------------
  	
%===================================================================================



%===================================================================================
% Conclusiones

%-----------------------------------------------------------------------------------
\section{Conclusiones}\label{sec:conc}

%===================================================================================
Se llevó a cabo el estudio de los datos a través de los ejercicios propuestos, utilizando las técnicas de regresión, reducción de dimensión y ANOVA y posteriormente se desarrolló la interpretación de los resultados obtenidos.

En el caso de ANOVA, lamentablemente se incumplieron los supuestos en cada una de los modelos determinados por las variables seleccionadas, lo que permite afirmar que no se pudieron aplicar las técnicas de anova sobre estos datos. Igualmente ocurrió en el caso de los modelos de regresión lineal, donde los supuestos se incumplieron, por lo que se reafirma que dichos modelos no fueron buenos. Este análisis de los datos indica que, por lo menos en el caso de las variables seleccionadas, se encuentran sesgados y poco correlacionados.

Por último, en el caso de la aplicación de técnicas para reducción de la dimensión se vuelve a observar la poca correlación existente entre los datos. En el caso de las variables seleccionadas, elegir un número menor para realizar el algoritmo de $K-Means$ proporcionó mejores resultados.


\section{Contribución de los integrantes}

Esta segunda fase del proyecto requiere la aplicación de tres técnicas diferentes para el tratamiento de los datos, que evalúan distintas habilidades impartidas en clase. Se siguió como estrategia, al igual que en la primera fase, la lectura y debate iniciales de los problemas por todos los integrantes, de modo que quedara determinado el la ruta para la solución de cada uno. Una vez terminado este análisis se decidió que cada integrante se responsabilizara con la realización del código y la parte correspondiente del informe de una de las técnicas; tal distribución se obtuvo de forma aleatoria, quedando que:
\begin{itemize}
    \item Regresión lineal: Osmany Pérez
    \item Reducción de dimensión: Enrique Martínez
    \item ANOVA: Carmen I. Cabrera
\end{itemize}

Los archivos correspondientes al proyecto están almacenados en un repositorio de github, donde podrá corroborar que todos los participantes contribuyeron a su realización. Puede acceder a dicho repositorio a través del siguiente \href{https://github.com/codersUP/statistics-project-2}{link}

%===================================================================================
% Recomendaciones
%-----------------------------------------------------------------------------------

%===================================================================================



%===================================================================================
% Bibliografía
%-----------------------------------------------------------------------------------

%-----------------------------------------------------------------------------------

%-----------------------------------------------------------------------------------


%-----------------------------------------------------------------------------------

\label{end}

\end{document}

%===================================================================================