EstD.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![logos](https://cdn.iconscout.com/icon/premium/png-256-thumb/statistics-287-796424.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "O que é **Estatística Descritiva?**\n",
    "Estatística descritiva é o ramo da estatística que visa sumarizar e descrever qualquer conjunto de dados. Em outras palavras, é aquela estatística que está preocupada em sintetizar os dados de maneira direta, se preocupando menos com variações e intervalos de confiança dos dados. Exemplos de estatísticas descritivas são a média, o desvio padrão, a mediana, etc.<p>\n",
    "Fonte: [link](https://www.fm2s.com.br/estatistica-descritiva-basica-e-centralidade/)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![logos](https://images-na.ssl-images-amazon.com/images/I/51FL1wZaYuL.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Motivado pela leitura do livro acima, resolvi criar esse pequeno **Tutorial** sobre Estatística Descritiva.<p>\n",
    "    Bora lá ... aprender sobre usando python e **Pandas** <p>\n",
    "    Inspiração para o material: [link](http://felipegalvao.com.br/blog/2016/03/31/estatistica-descritiva-com-python)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "# vamos importar as bibliotecas que utilizaremos\n",
    "import pandas as pd\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Dataframes \n",
    "train_df = pd.read_csv('train.csv')\n",
    "example_series =  pd.Series([1,25,10,30,35,30,5,60,45])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>PassengerId</th>\n",
       "      <th>Survived</th>\n",
       "      <th>Pclass</th>\n",
       "      <th>Name</th>\n",
       "      <th>Sex</th>\n",
       "      <th>Age</th>\n",
       "      <th>SibSp</th>\n",
       "      <th>Parch</th>\n",
       "      <th>Ticket</th>\n",
       "      <th>Fare</th>\n",
       "      <th>Cabin</th>\n",
       "      <th>Embarked</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>3</td>\n",
       "      <td>Braund, Mr. Owen Harris</td>\n",
       "      <td>male</td>\n",
       "      <td>22.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>A/5 21171</td>\n",
       "      <td>7.2500</td>\n",
       "      <td>NaN</td>\n",
       "      <td>S</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Cumings, Mrs. John Bradley (Florence Briggs Th...</td>\n",
       "      <td>female</td>\n",
       "      <td>38.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>PC 17599</td>\n",
       "      <td>71.2833</td>\n",
       "      <td>C85</td>\n",
       "      <td>C</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>3</td>\n",
       "      <td>Heikkinen, Miss. Laina</td>\n",
       "      <td>female</td>\n",
       "      <td>26.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>STON/O2. 3101282</td>\n",
       "      <td>7.9250</td>\n",
       "      <td>NaN</td>\n",
       "      <td>S</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Futrelle, Mrs. Jacques Heath (Lily May Peel)</td>\n",
       "      <td>female</td>\n",
       "      <td>35.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>113803</td>\n",
       "      <td>53.1000</td>\n",
       "      <td>C123</td>\n",
       "      <td>S</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>5</td>\n",
       "      <td>0</td>\n",
       "      <td>3</td>\n",
       "      <td>Allen, Mr. William Henry</td>\n",
       "      <td>male</td>\n",
       "      <td>35.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>373450</td>\n",
       "      <td>8.0500</td>\n",
       "      <td>NaN</td>\n",
       "      <td>S</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   PassengerId  Survived  Pclass  \\\n",
       "0            1         0       3   \n",
       "1            2         1       1   \n",
       "2            3         1       3   \n",
       "3            4         1       1   \n",
       "4            5         0       3   \n",
       "\n",
       "                                                Name     Sex   Age  SibSp  \\\n",
       "0                            Braund, Mr. Owen Harris    male  22.0      1   \n",
       "1  Cumings, Mrs. John Bradley (Florence Briggs Th...  female  38.0      1   \n",
       "2                             Heikkinen, Miss. Laina  female  26.0      0   \n",
       "3       Futrelle, Mrs. Jacques Heath (Lily May Peel)  female  35.0      1   \n",
       "4                           Allen, Mr. William Henry    male  35.0      0   \n",
       "\n",
       "   Parch            Ticket     Fare Cabin Embarked  \n",
       "0      0         A/5 21171   7.2500   NaN        S  \n",
       "1      0          PC 17599  71.2833   C85        C  \n",
       "2      0  STON/O2. 3101282   7.9250   NaN        S  \n",
       "3      0            113803  53.1000  C123        S  \n",
       "4      0            373450   8.0500   NaN        S  "
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0     1\n",
       "1    25\n",
       "2    10\n",
       "3    30\n",
       "4    35\n",
       "5    30\n",
       "6     5\n",
       "7    60\n",
       "8    45\n",
       "dtype: int64"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "example_series"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A Estatística trabalha com diversas informações que são apresentadas por meio de gráficos e tabelas e com diversos números que representam e caracterizam um determinado conjunto de dados. Dentre todas as informações, podemos retirar valores que representem, de algum modo, todo o conjunto. Esses valores são denominados **“Medidas de Tendência Central ou Medidas de Centralidade”**.<p>\n",
    "As medidas de centralidade que apresentaremos são a **Média Aritmética**, a **Moda** e a **Mediana**.\n",
    "Vamos mostrar a seguir o que vem a ser cada uma delas."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![logos](https://slideplayer.com.br/slide/9042260/27/images/3/Medidas+de+Tend%C3%AAncia+Central.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Média"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "26.77777777777778\n"
     ]
    }
   ],
   "source": [
    "# Vamos começar pela MÉDIA ARITMÉTICA, mais simples e fácil de aprender / conceituar\n",
    "# É determinada pelo resultado da divisão do somatório dos números dados pela quantidade de números somados.\n",
    "# No python usamos a função 'mean()'\n",
    "print(example_series.mean())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "29.69911764705882\n"
     ]
    }
   ],
   "source": [
    "# Agora vamos calcular/exibir a media das idades do dataframes que importamos\n",
    "print(train_df['Age'].mean())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0     1\n",
       "6     5\n",
       "2    10\n",
       "1    25\n",
       "3    30\n",
       "5    30\n",
       "4    35\n",
       "8    45\n",
       "7    60\n",
       "dtype: int64"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "example_series.sort_values()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Mediana"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "30.0\n"
     ]
    }
   ],
   "source": [
    "# Agora chegou a vez da MEDIANA, vc já deve ter visto alguma vez! Senão viu ... aprende ae\n",
    "# Mediana é a medida de tendência central que indica exatamente o valor central de um conjunto \n",
    "# de dados quando organizados em ordem crescente ou decrescente.\n",
    "print(example_series.median())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "28.0\n"
     ]
    }
   ],
   "source": [
    "print(train_df['Age'].median())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# A Mediana é um conceito menos suscetível a valores discrepantes do que a média.\n",
    "# Vamos imaginar que analisando o sálário de um grupo de amigos (18 pessoas), 4 deles recebam mensalmente valores muitos altos\n",
    "# comparados ao restante. A Média nesse caso pode ser 'facilmente' contaminada por tais valores.\n",
    "# Mais pra frente abordaremos algo sobre 'OUTLIERS', os valores citados."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Moda"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0    30\n",
      "dtype: int64\n"
     ]
    }
   ],
   "source": [
    "# É a medida de tendência central que consiste no valor observado com mais frequência em um conjunto de dados.\n",
    "# Moda, uma medida de frequência\n",
    "print(example_series.mode())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Há a possibilidades de 2 ou mais valores diferentes para a Moda\n",
    "example_series_2 =  pd.Series([1,5,10,30,50,30,15,40,45,45])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0     1\n",
       "1     5\n",
       "2    10\n",
       "6    15\n",
       "3    30\n",
       "5    30\n",
       "7    40\n",
       "8    45\n",
       "9    45\n",
       "4    50\n",
       "dtype: int64"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "example_series_2.sort_values()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0    30\n",
      "1    45\n",
      "dtype: int64\n"
     ]
    }
   ],
   "source": [
    "print(example_series_2.mode())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0    24.0\n",
      "dtype: float64\n"
     ]
    }
   ],
   "source": [
    "print(train_df['Age'].mode())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![logos](https://image2.slideserve.com/4577505/medidas-de-dispers-o1-n.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Amplitude"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "59\n"
     ]
    }
   ],
   "source": [
    "# A amplitude nada mais é do que a diferença entre o maior e o menor valor de um conjunto de dados.\n",
    "print(example_series.max() - example_series.min())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "49\n"
     ]
    }
   ],
   "source": [
    "print(example_series_2.max() - example_series_2.min())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "79.58\n"
     ]
    }
   ],
   "source": [
    "print(train_df['Age'].max() - train_df['Age'].min())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Variância"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "368.4444444444444\n"
     ]
    }
   ],
   "source": [
    "# Dado um conjunto de dados, a variância é uma medida de dispersão que mostra o quão distante cada valor desse conjunto \n",
    "# está do valor central (médio)\n",
    "print(example_series.var())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nossa 1ª fórmula por aqui! Não se assuste ...\n",
    "![logos](https://calculareconverter.com.br/wp-content/uploads/2018/08/formula-variancia.jpg)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "328.5444444444445\n"
     ]
    }
   ],
   "source": [
    "print(example_series_2.var())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "211.0191247463081\n"
     ]
    }
   ],
   "source": [
    "print(train_df['Age'].var())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Desvio Padrão"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# O desvio padrão também é uma medida de dispersão, que indica quanto os dados estão afastados da média. \n",
    "# Um valor de desvio padrão alto indica que os valores estão mais espalhados, mais longe da média, e \n",
    "# um desvio padrão baixo indica que os valores estão mais próximos da média. \n",
    "# Lá em cima calculamos a média do 'example_series' que ficou em '26.77777777777778'\n",
    "# Já para o 'train_df', campo Age (idade) foi de '29.69911764705882'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "19.194906731850622\n"
     ]
    }
   ],
   "source": [
    "print(example_series.std())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "14.526497332334044\n"
     ]
    }
   ],
   "source": [
    "print(train_df['Age'].std())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Desvio Absoluto"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "11.322944471906405\n"
     ]
    }
   ],
   "source": [
    "# Em estatística, o desvio absoluto de um elemento de um conjunto de dados é a diferença absoluta entre este \n",
    "#elemento e um ponto dado. Tipicamente o ponto do qual o desvio é medido é medida de uma tendência central, \n",
    "#mais frequentemente a mediana ou algumas vezes a média do conjunto de dados.\n",
    "print(train_df['Age'].mad())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "14.69135802469136\n"
     ]
    }
   ],
   "source": [
    "print(example_series.mad())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "15.480000000000004\n"
     ]
    }
   ],
   "source": [
    "print(example_series_2.mad())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Quartil"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Na **estatística descritiva**, um quartil é qualquer um dos três valores que divide o conjunto ordenado de dados em quatro partes iguais, e assim cada parte representa 1/4 da amostra ou população.\n",
    "\n",
    "Assim, no caso duma amostra ordenada:\n",
    "Primeiro quartil (designado por **Q1/4**) = quartil inferior = é o valor aos 25% da amostra ordenada = 25º percentil<P>\n",
    "Segundo quartil (designado por **Q2/4**) = mediana = é o valor até ao qual se encontra 50% da amostra ordenada = 50º percentil, ou 5º decil.<P>\n",
    "Terceiro quartil (designado por **Q3/4**) = quartil superior = valor a partir do qual se encontram 25% dos valores mais elevados = valor aos 75% da amostra ordenada = 75º percentil<P>\n",
    "A diferença entre os quartis superior e inferior chama-se **amplitude inter-quartil**.<P>\n",
    "    Fonte: [link](https://docs.scipy.org/doc/numpy/reference/generated/numpy.percentile.html)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "count     9.000000\n",
       "mean     26.777778\n",
       "std      19.194907\n",
       "min       1.000000\n",
       "25%      10.000000\n",
       "50%      30.000000\n",
       "75%      35.000000\n",
       "max      60.000000\n",
       "dtype: float64"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "example_series.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "10.0"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.percentile(example_series, 25)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "30.0"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Média .... 2º quartil\n",
    "np.percentile(example_series, 50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "35.0"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.percentile(example_series, 75)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "count    10.000000\n",
       "mean     27.100000\n",
       "std      18.125795\n",
       "min       1.000000\n",
       "25%      11.250000\n",
       "50%      30.000000\n",
       "75%      43.750000\n",
       "max      50.000000\n",
       "dtype: float64"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "example_series_2.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "11.25"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.percentile(example_series_2, 25)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "30.0"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Média .... 2º quartil\n",
    "np.percentile(example_series_2, 50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "43.75"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.percentile(example_series_2, 75)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Covariância"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Em alguns momentos, queremos saber se **duas variáveis** possuem alguma relação entre si dentro de um conjunto de dados. Para estes casos, calculamos a covariância e a correlação.\n",
    "\n",
    "A **covariância** é uma medida numérica que indica a inter-dependência entre duas variáveis. A covariância indica como duas variáveis se comportam conjuntamente em relação às suas médias. Uma covariância igual a 0 indica que as duas variáveis são totalmente independentes, enquanto que uma covariância alta e positiva indica que uma variável é grande quando a outra é grande. <p>Analogamente, uma covariância negativa e com valor absoluto alto indica que uma variável é pequena quando a outra é grande. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "              PassengerId  Survived     Pclass         Age      SibSp  \\\n",
      "PassengerId  66231.000000 -0.626966  -7.561798  138.696504 -16.325843   \n",
      "Survived        -0.626966  0.236772  -0.137703   -0.551296  -0.018954   \n",
      "Pclass          -7.561798 -0.137703   0.699015   -4.496004   0.076599   \n",
      "Age            138.696504 -0.551296  -4.496004  211.019125  -4.163334   \n",
      "SibSp          -16.325843 -0.018954   0.076599   -4.163334   1.216043   \n",
      "Parch           -0.342697  0.032017   0.012429   -2.344191   0.368739   \n",
      "Fare           161.883369  6.221787 -22.830196   73.849030   8.748734   \n",
      "\n",
      "                Parch         Fare  \n",
      "PassengerId -0.342697   161.883369  \n",
      "Survived     0.032017     6.221787  \n",
      "Pclass       0.012429   -22.830196  \n",
      "Age         -2.344191    73.849030  \n",
      "SibSp        0.368739     8.748734  \n",
      "Parch        0.649728     8.661052  \n",
      "Fare         8.661052  2469.436846  \n"
     ]
    }
   ],
   "source": [
    "# Uma matriz com as colunas é gerada, comparando quanto uma possuí de Covariância em relação a outra \n",
    "print(train_df.cov())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Correlação"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "A **covariância**, entretanto, pode ser difícil de ser compreendida e comparada, pois ela nos dá valores em escalas que serão diferentes conforme as variáveis mudem. Para uma melhor comparação, normalizamos a covariância para ter um valor que sempre estará entre 1 e -1, que é a correlação. <p>Logo, a **correlação** também é outra medida que indica o quanto duas variáveis estão relacionadas. Seu valor fica sempre entre -1, que indica uma anti-correlação perfeita, e 1, que indica uma correlação perfeita."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "             PassengerId  Survived    Pclass       Age     SibSp     Parch  \\\n",
      "PassengerId     1.000000 -0.005007 -0.035144  0.036847 -0.057527 -0.001652   \n",
      "Survived       -0.005007  1.000000 -0.338481 -0.077221 -0.035322  0.081629   \n",
      "Pclass         -0.035144 -0.338481  1.000000 -0.369226  0.083081  0.018443   \n",
      "Age             0.036847 -0.077221 -0.369226  1.000000 -0.308247 -0.189119   \n",
      "SibSp          -0.057527 -0.035322  0.083081 -0.308247  1.000000  0.414838   \n",
      "Parch          -0.001652  0.081629  0.018443 -0.189119  0.414838  1.000000   \n",
      "Fare            0.012658  0.257307 -0.549500  0.096067  0.159651  0.216225   \n",
      "\n",
      "                 Fare  \n",
      "PassengerId  0.012658  \n",
      "Survived     0.257307  \n",
      "Pclass      -0.549500  \n",
      "Age          0.096067  \n",
      "SibSp        0.159651  \n",
      "Parch        0.216225  \n",
      "Fare         1.000000  \n"
     ]
    }
   ],
   "source": [
    "# Outra matriz é gerada para comparação das colunas entre si\n",
    "print(train_df.corr())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![logos](http://www.redacao.org/wp-content/uploads/2016/09/conclus%C3%A3o.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Entretanto, é necessário cuidado ao **avaliar as correlações**. Alguns dados podem indicar uma correlação que não existe de fato, e é apenas obra do acaso, o que é possível em certos casos onde variáveis apresentam algum tipo de padrão que pode levar a este valor de correlação.<p>\n",
    "\n",
    "Por fim, também é importante atentar para o famoso conceito que diz que “**correlação não implica causalidade**”. O que isso quer dizer é, quando duas variáveis apresentam um alto valor de correlação, pode ser que a primeira variável cause este comportamento na segunda, que a segunda causa este comportamento na primeira, que ambas causam o comportamento na outra ou isso também pode não dizer nada, como nos casos que mencionamos acima. <p>O segredo para não cair nesta armadilha é conhecer bem os dados, para que se possa fazer sempre uma avaliação criteriosa, caso a caso."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}