08_passagens_aereas_apf.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Análise de Gastos com Passagens Aéreas (SCDP)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Informações\n",
    "* Origem dos dados\n",
    "```\n",
    "Portal da Transparência (http://transparencia.gov.br/download-de-dados/viagens)\n",
    "```\n",
    "* Dicionário de dados\n",
    "```\n",
    "http://transparencia.gov.br/pagina-interna/603364-dicion%C3%A1rio-de-dados-viagens-a-Servi%C3%A7o-Pagamentos\n",
    "```\n",
    "* 4 arquivos:\n",
    "    * 2018_Pagamento.csv\n",
    "    * 2018_Passagem.csv\n",
    "    * 2018_Trecho.csv\n",
    "    * 2018_Viagem.csv"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Perguntas a serem respondidas?\n",
    "\n",
    "* Qual o trecho mais executado?\n",
    "* Qual o valor médio para o trecho mais executado?\n",
    "* Qual a mediana para o trecho mais executado?\n",
    "* Identificar possíveis outliers nos valores do trecho mais executado"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "slideshow": {
     "slide_type": "skip"
    }
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "\n",
    "import matplotlib\n",
    "import matplotlib.pyplot as plt\n",
    "import matplotlib.ticker as ticker\n",
    "import seaborn as sns\n",
    "\n",
    "pd.set_option('display.max_columns', 500)\n",
    "pd.set_option('display.max_colwidth', 1000)\n",
    "pd.set_option('display.float_format', lambda x: '{:.2f}'.format(x))\n",
    "\n",
    "plt.rcParams['figure.dpi'] = 90"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Leitura dos Dados\n",
    "---"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Leia o arquivo\n",
    "'dados/c04_passagens/2018_Passagem.csv.zip'\n",
    "\"\"\"\n",
    "df_passagens = pd.read_csv('dados/c04_passagens/2018_Passagem.csv.zip', encoding='latin1', sep=';')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Identificação de valores nulos ou faltantes\n",
    "---"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 310816 entries, 0 to 310815\n",
      "Data columns (total 16 columns):\n",
      "Identificador do processo de viagem    310816 non-null int64\n",
      "Meio de transporte                     310816 non-null object\n",
      "País - Origem ida                      310816 non-null object\n",
      "UF - Origem ida                        303560 non-null object\n",
      "Cidade - Origem ida                    310816 non-null object\n",
      "País - Destino ida                     310816 non-null object\n",
      "UF - Destino ida                       301096 non-null object\n",
      "Cidade - Destino ida                   310816 non-null object\n",
      "País - Origem volta                    310816 non-null object\n",
      "UF - Origem volta                      307823 non-null object\n",
      "Cidade - Origem volta                  310816 non-null object\n",
      "Pais - Destino volta                   310816 non-null object\n",
      "UF - Destino volta                     310234 non-null object\n",
      "Cidade - Destino volta                 310816 non-null object\n",
      "Valor da passagem                      310816 non-null object\n",
      "Taxa de serviço                        310816 non-null object\n",
      "dtypes: int64(1), object(15)\n",
      "memory usage: 37.9+ MB\n"
     ]
    }
   ],
   "source": [
    "df_passagens.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Identificador do processo de viagem</th>\n",
       "      <th>Meio de transporte</th>\n",
       "      <th>País - Origem ida</th>\n",
       "      <th>UF - Origem ida</th>\n",
       "      <th>Cidade - Origem ida</th>\n",
       "      <th>País - Destino ida</th>\n",
       "      <th>UF - Destino ida</th>\n",
       "      <th>Cidade - Destino ida</th>\n",
       "      <th>País - Origem volta</th>\n",
       "      <th>UF - Origem volta</th>\n",
       "      <th>Cidade - Origem volta</th>\n",
       "      <th>Pais - Destino volta</th>\n",
       "      <th>UF - Destino volta</th>\n",
       "      <th>Cidade - Destino volta</th>\n",
       "      <th>Valor da passagem</th>\n",
       "      <th>Taxa de serviço</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>14046485</td>\n",
       "      <td>Rodoviário</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Ceará</td>\n",
       "      <td>Fortaleza</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Ceará</td>\n",
       "      <td>Sobral</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>40,95</td>\n",
       "      <td>13,51</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>14046485</td>\n",
       "      <td>Rodoviário</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Ceará</td>\n",
       "      <td>Sobral</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Ceará</td>\n",
       "      <td>Fortaleza</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>33,25</td>\n",
       "      <td>10,97</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>14166390</td>\n",
       "      <td>Aéreo</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Paraná</td>\n",
       "      <td>Londrina</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Mato Grosso</td>\n",
       "      <td>Sinop</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>518,09</td>\n",
       "      <td>,00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>14166390</td>\n",
       "      <td>Aéreo</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Mato Grosso</td>\n",
       "      <td>Sinop</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Paraná</td>\n",
       "      <td>Londrina</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>665,38</td>\n",
       "      <td>,00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>14201345</td>\n",
       "      <td>Aéreo</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Paraná</td>\n",
       "      <td>Curitiba</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Rio Grande do Sul</td>\n",
       "      <td>Porto Alegre</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>369,30</td>\n",
       "      <td>,00</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Identificador do processo de viagem Meio de transporte País - Origem ida  \\\n",
       "0                             14046485         Rodoviário            Brasil   \n",
       "1                             14046485         Rodoviário            Brasil   \n",
       "2                             14166390              Aéreo            Brasil   \n",
       "3                             14166390              Aéreo            Brasil   \n",
       "4                             14201345              Aéreo            Brasil   \n",
       "\n",
       "  UF - Origem ida Cidade - Origem ida País - Destino ida   UF - Destino ida  \\\n",
       "0           Ceará           Fortaleza             Brasil              Ceará   \n",
       "1           Ceará              Sobral             Brasil              Ceará   \n",
       "2          Paraná            Londrina             Brasil        Mato Grosso   \n",
       "3     Mato Grosso               Sinop             Brasil             Paraná   \n",
       "4          Paraná            Curitiba             Brasil  Rio Grande do Sul   \n",
       "\n",
       "  Cidade - Destino ida País - Origem volta UF - Origem volta  \\\n",
       "0               Sobral      Sem Informação    Sem Informação   \n",
       "1            Fortaleza      Sem Informação    Sem Informação   \n",
       "2                Sinop      Sem Informação    Sem Informação   \n",
       "3             Londrina      Sem Informação    Sem Informação   \n",
       "4         Porto Alegre      Sem Informação    Sem Informação   \n",
       "\n",
       "  Cidade - Origem volta Pais - Destino volta UF - Destino volta  \\\n",
       "0        Sem Informação       Sem Informação     Sem Informação   \n",
       "1        Sem Informação       Sem Informação     Sem Informação   \n",
       "2        Sem Informação       Sem Informação     Sem Informação   \n",
       "3        Sem Informação       Sem Informação     Sem Informação   \n",
       "4        Sem Informação       Sem Informação     Sem Informação   \n",
       "\n",
       "  Cidade - Destino volta Valor da passagem Taxa de serviço  \n",
       "0         Sem Informação             40,95           13,51  \n",
       "1         Sem Informação             33,25           10,97  \n",
       "2         Sem Informação            518,09             ,00  \n",
       "3         Sem Informação            665,38             ,00  \n",
       "4         Sem Informação            369,30             ,00  "
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_passagens.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "scrolled": false,
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Identificador do processo de viagem</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>310816.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>34950773.58</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>199220763.01</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>14046485.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>14763521.75</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>14929268.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>15105045.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>2018002771.00</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       Identificador do processo de viagem\n",
       "count                            310816.00\n",
       "mean                           34950773.58\n",
       "std                           199220763.01\n",
       "min                            14046485.00\n",
       "25%                            14763521.75\n",
       "50%                            14929268.00\n",
       "75%                            15105045.00\n",
       "max                          2018002771.00"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"\"\"\n",
    "Vamos verificar algumas estatísticas básicas sobre colunas numéricas.\n",
    "\"\"\"\n",
    "\n",
    "df_passagens.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Meio de transporte</th>\n",
       "      <th>País - Origem ida</th>\n",
       "      <th>UF - Origem ida</th>\n",
       "      <th>Cidade - Origem ida</th>\n",
       "      <th>País - Destino ida</th>\n",
       "      <th>UF - Destino ida</th>\n",
       "      <th>Cidade - Destino ida</th>\n",
       "      <th>País - Origem volta</th>\n",
       "      <th>UF - Origem volta</th>\n",
       "      <th>Cidade - Origem volta</th>\n",
       "      <th>Pais - Destino volta</th>\n",
       "      <th>UF - Destino volta</th>\n",
       "      <th>Cidade - Destino volta</th>\n",
       "      <th>Valor da passagem</th>\n",
       "      <th>Taxa de serviço</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>310816</td>\n",
       "      <td>310816</td>\n",
       "      <td>303560</td>\n",
       "      <td>310816</td>\n",
       "      <td>310816</td>\n",
       "      <td>301096</td>\n",
       "      <td>310816</td>\n",
       "      <td>310816</td>\n",
       "      <td>307823</td>\n",
       "      <td>310816</td>\n",
       "      <td>310816</td>\n",
       "      <td>310234</td>\n",
       "      <td>310816</td>\n",
       "      <td>310816</td>\n",
       "      <td>310816</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>unique</th>\n",
       "      <td>4</td>\n",
       "      <td>163</td>\n",
       "      <td>28</td>\n",
       "      <td>913</td>\n",
       "      <td>162</td>\n",
       "      <td>28</td>\n",
       "      <td>997</td>\n",
       "      <td>111</td>\n",
       "      <td>28</td>\n",
       "      <td>541</td>\n",
       "      <td>103</td>\n",
       "      <td>28</td>\n",
       "      <td>352</td>\n",
       "      <td>72794</td>\n",
       "      <td>1641</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>top</th>\n",
       "      <td>Aéreo</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Distrito Federal</td>\n",
       "      <td>Brasília</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Distrito Federal</td>\n",
       "      <td>Brasília</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>Sem Informação</td>\n",
       "      <td>,00</td>\n",
       "      <td>,00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>freq</th>\n",
       "      <td>293475</td>\n",
       "      <td>303557</td>\n",
       "      <td>80478</td>\n",
       "      <td>80478</td>\n",
       "      <td>301093</td>\n",
       "      <td>79346</td>\n",
       "      <td>79346</td>\n",
       "      <td>287331</td>\n",
       "      <td>287331</td>\n",
       "      <td>287331</td>\n",
       "      <td>287331</td>\n",
       "      <td>287331</td>\n",
       "      <td>287331</td>\n",
       "      <td>3299</td>\n",
       "      <td>281439</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       Meio de transporte País - Origem ida   UF - Origem ida  \\\n",
       "count              310816            310816            303560   \n",
       "unique                  4               163                28   \n",
       "top                 Aéreo            Brasil  Distrito Federal   \n",
       "freq               293475            303557             80478   \n",
       "\n",
       "       Cidade - Origem ida País - Destino ida  UF - Destino ida  \\\n",
       "count               310816             310816            301096   \n",
       "unique                 913                162                28   \n",
       "top               Brasília             Brasil  Distrito Federal   \n",
       "freq                 80478             301093             79346   \n",
       "\n",
       "       Cidade - Destino ida País - Origem volta UF - Origem volta  \\\n",
       "count                310816              310816            307823   \n",
       "unique                  997                 111                28   \n",
       "top                Brasília      Sem Informação    Sem Informação   \n",
       "freq                  79346              287331            287331   \n",
       "\n",
       "       Cidade - Origem volta Pais - Destino volta UF - Destino volta  \\\n",
       "count                 310816               310816             310234   \n",
       "unique                   541                  103                 28   \n",
       "top           Sem Informação       Sem Informação     Sem Informação   \n",
       "freq                  287331               287331             287331   \n",
       "\n",
       "       Cidade - Destino volta Valor da passagem Taxa de serviço  \n",
       "count                  310816            310816          310816  \n",
       "unique                    352             72794            1641  \n",
       "top            Sem Informação               ,00             ,00  \n",
       "freq                   287331              3299          281439  "
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"\"\"\n",
    "Vamos verificar algumas estatísticas básicas sobre as demais colunas.\n",
    "\"\"\"\n",
    "\n",
    "df_passagens.describe(include='object')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Tratamento em todas as colunas para colocar o valor None quando o valor for 'Não informado' ou NaN\n",
    "\"\"\"\n",
    "for c in df_passagens.columns:\n",
    "    df_passagens[c] = df_passagens[c].apply(lambda x: x if x != 'Sem Informação' and pd.notnull(x) else None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 310816 entries, 0 to 310815\n",
      "Data columns (total 16 columns):\n",
      "Identificador do processo de viagem    310816 non-null int64\n",
      "Meio de transporte                     310816 non-null object\n",
      "País - Origem ida                      310816 non-null object\n",
      "UF - Origem ida                        303560 non-null object\n",
      "Cidade - Origem ida                    310816 non-null object\n",
      "País - Destino ida                     310816 non-null object\n",
      "UF - Destino ida                       301096 non-null object\n",
      "Cidade - Destino ida                   310816 non-null object\n",
      "País - Origem volta                    23485 non-null object\n",
      "UF - Origem volta                      20492 non-null object\n",
      "Cidade - Origem volta                  23485 non-null object\n",
      "Pais - Destino volta                   23485 non-null object\n",
      "UF - Destino volta                     22903 non-null object\n",
      "Cidade - Destino volta                 23485 non-null object\n",
      "Valor da passagem                      310816 non-null object\n",
      "Taxa de serviço                        310816 non-null object\n",
      "dtypes: int64(1), object(15)\n",
      "memory usage: 37.9+ MB\n"
     ]
    }
   ],
   "source": [
    "df_passagens.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Conversão das colunas para os tipos de dados corretos e padronização campos\n",
    "---"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "scrolled": false,
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 310816 entries, 0 to 310815\n",
      "Data columns (total 16 columns):\n",
      "Identificador do processo de viagem    310816 non-null int64\n",
      "Meio de transporte                     310816 non-null object\n",
      "País - Origem ida                      310816 non-null object\n",
      "UF - Origem ida                        303560 non-null object\n",
      "Cidade - Origem ida                    310816 non-null object\n",
      "País - Destino ida                     310816 non-null object\n",
      "UF - Destino ida                       301096 non-null object\n",
      "Cidade - Destino ida                   310816 non-null object\n",
      "País - Origem volta                    23485 non-null object\n",
      "UF - Origem volta                      20492 non-null object\n",
      "Cidade - Origem volta                  23485 non-null object\n",
      "Pais - Destino volta                   23485 non-null object\n",
      "UF - Destino volta                     22903 non-null object\n",
      "Cidade - Destino volta                 23485 non-null object\n",
      "Valor da passagem                      310816 non-null object\n",
      "Taxa de serviço                        310816 non-null object\n",
      "dtypes: int64(1), object(15)\n",
      "memory usage: 37.9+ MB\n"
     ]
    }
   ],
   "source": [
    "\"\"\"\n",
    "Verificamos valores nulos e tipos de dados com o método info() do dataframe.\n",
    "\"\"\"\n",
    "\n",
    "df_passagens.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "A conversão pode ser feita utilizando o método apply da série que deseja converter.\n",
    "\"\"\"\n",
    "def converter_numero(valor):\n",
    "    try:\n",
    "        return float(valor.replace('.', '').replace(',', '.'))\n",
    "    except:\n",
    "        return np.nan\n",
    "\n",
    "df_passagens_1 = df_passagens.copy()\n",
    "df_passagens_1['Valor da passagem'] = ___\n",
    "df_passagens_1['Taxa de serviço'] = ___"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 310816 entries, 0 to 310815\n",
      "Data columns (total 16 columns):\n",
      "Identificador do processo de viagem    310816 non-null int64\n",
      "Meio de transporte                     310816 non-null object\n",
      "País - Origem ida                      310816 non-null object\n",
      "UF - Origem ida                        303560 non-null object\n",
      "Cidade - Origem ida                    310816 non-null object\n",
      "País - Destino ida                     310816 non-null object\n",
      "UF - Destino ida                       301096 non-null object\n",
      "Cidade - Destino ida                   310816 non-null object\n",
      "País - Origem volta                    23485 non-null object\n",
      "UF - Origem volta                      20492 non-null object\n",
      "Cidade - Origem volta                  23485 non-null object\n",
      "Pais - Destino volta                   23485 non-null object\n",
      "UF - Destino volta                     22903 non-null object\n",
      "Cidade - Destino volta                 23485 non-null object\n",
      "Valor da passagem                      5 non-null object\n",
      "Taxa de serviço                        5 non-null object\n",
      "dtypes: int64(1), object(15)\n",
      "memory usage: 37.9+ MB\n"
     ]
    }
   ],
   "source": [
    "df_passagens_1[['Valor da passagem', 'Taxa de serviço']].head()\n",
    "df_passagens_1.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Identificador do processo de viagem</th>\n",
       "      <th>Meio de transporte</th>\n",
       "      <th>País - Origem ida</th>\n",
       "      <th>UF - Origem ida</th>\n",
       "      <th>Cidade - Origem ida</th>\n",
       "      <th>País - Destino ida</th>\n",
       "      <th>UF - Destino ida</th>\n",
       "      <th>Cidade - Destino ida</th>\n",
       "      <th>País - Origem volta</th>\n",
       "      <th>UF - Origem volta</th>\n",
       "      <th>Cidade - Origem volta</th>\n",
       "      <th>Pais - Destino volta</th>\n",
       "      <th>UF - Destino volta</th>\n",
       "      <th>Cidade - Destino volta</th>\n",
       "      <th>Valor da passagem</th>\n",
       "      <th>Taxa de serviço</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>14046485</td>\n",
       "      <td>Rodoviário</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Ceará</td>\n",
       "      <td>Fortaleza</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Ceará</td>\n",
       "      <td>Sobral</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>14046485.00</td>\n",
       "      <td>14046485.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>14046485</td>\n",
       "      <td>Rodoviário</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Ceará</td>\n",
       "      <td>Sobral</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Ceará</td>\n",
       "      <td>Fortaleza</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>14046485.00</td>\n",
       "      <td>14046485.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>14166390</td>\n",
       "      <td>Aéreo</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Paraná</td>\n",
       "      <td>Londrina</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Mato Grosso</td>\n",
       "      <td>Sinop</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>14166390.00</td>\n",
       "      <td>14166390.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>14166390</td>\n",
       "      <td>Aéreo</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Mato Grosso</td>\n",
       "      <td>Sinop</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Paraná</td>\n",
       "      <td>Londrina</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>14166390.00</td>\n",
       "      <td>14166390.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>14201345</td>\n",
       "      <td>Aéreo</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Paraná</td>\n",
       "      <td>Curitiba</td>\n",
       "      <td>Brasil</td>\n",
       "      <td>Rio Grande do Sul</td>\n",
       "      <td>Porto Alegre</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>14201345.00</td>\n",
       "      <td>14201345.00</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Identificador do processo de viagem Meio de transporte País - Origem ida  \\\n",
       "0                             14046485         Rodoviário            Brasil   \n",
       "1                             14046485         Rodoviário            Brasil   \n",
       "2                             14166390              Aéreo            Brasil   \n",
       "3                             14166390              Aéreo            Brasil   \n",
       "4                             14201345              Aéreo            Brasil   \n",
       "\n",
       "  UF - Origem ida Cidade - Origem ida País - Destino ida   UF - Destino ida  \\\n",
       "0           Ceará           Fortaleza             Brasil              Ceará   \n",
       "1           Ceará              Sobral             Brasil              Ceará   \n",
       "2          Paraná            Londrina             Brasil        Mato Grosso   \n",
       "3     Mato Grosso               Sinop             Brasil             Paraná   \n",
       "4          Paraná            Curitiba             Brasil  Rio Grande do Sul   \n",
       "\n",
       "  Cidade - Destino ida País - Origem volta UF - Origem volta  \\\n",
       "0               Sobral                None              None   \n",
       "1            Fortaleza                None              None   \n",
       "2                Sinop                None              None   \n",
       "3             Londrina                None              None   \n",
       "4         Porto Alegre                None              None   \n",
       "\n",
       "  Cidade - Origem volta Pais - Destino volta UF - Destino volta  \\\n",
       "0                  None                 None               None   \n",
       "1                  None                 None               None   \n",
       "2                  None                 None               None   \n",
       "3                  None                 None               None   \n",
       "4                  None                 None               None   \n",
       "\n",
       "  Cidade - Destino volta Valor da passagem Taxa de serviço  \n",
       "0                   None       14046485.00     14046485.00  \n",
       "1                   None       14046485.00     14046485.00  \n",
       "2                   None       14166390.00     14166390.00  \n",
       "3                   None       14166390.00     14166390.00  \n",
       "4                   None       14201345.00     14201345.00  "
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"\"\"\n",
    "Padronização das strings é interessante para que a ausência ou a presença de acentos não interfira em agrupamentos.\n",
    "\"\"\"\n",
    "\n",
    "from libs.texto import TratamentoTexto\n",
    "def tratar_texto(valor):\n",
    "    v = valor\n",
    "    \n",
    "    # somente realiza o tratamento se o texto não for nulo\n",
    "    if v:\n",
    "        # remove acentuação\n",
    "        v = TratamentoTexto.remover_acentuacao(v)\n",
    "        # converte para letras maiúsculas\n",
    "        v = v.upper()\n",
    "        \n",
    "    return v\n",
    "\n",
    "colunas = ['Meio de transporte',\n",
    "       'País - Origem ida', 'UF - Origem ida', 'Cidade - Origem ida',\n",
    "       'País - Destino ida', 'UF - Destino ida', 'Cidade - Destino ida',\n",
    "       'País - Origem volta', 'UF - Origem volta', 'Cidade - Origem volta',\n",
    "       'Pais - Destino volta', 'UF - Destino volta', 'Cidade - Destino volta']\n",
    "\n",
    "# padronize as colunas da lista acima no dataframe df_passagens_1\n",
    "___ \n",
    "\n",
    "df_passagens_1.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Você já está pensando em responder as questões?\n",
    "\n",
    "Não é uma boa idéia na maioria dos casos."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "ename": "ValueError",
     "evalue": "no results",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mValueError\u001b[0m                                Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-13-c85308b0f594>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[0;32m      5\u001b[0m        'País - Destino ida', 'UF - Destino ida', 'Cidade - Destino ida', 'Valor da passagem']\n\u001b[0;32m      6\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 7\u001b[1;33m \u001b[0mdf_passagens_1\u001b[0m\u001b[1;33m[\u001b[0m\u001b[0mcolunas_selecao\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mgroupby\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mcolunas_gb\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mas_index\u001b[0m\u001b[1;33m=\u001b[0m\u001b[1;32mFalse\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0magg\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;34m'count'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'mean'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'median'\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0msort_values\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'Valor da passagem'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;34m'count'\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mascending\u001b[0m\u001b[1;33m=\u001b[0m\u001b[1;32mFalse\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mhead\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;36m10\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[1;32mc:\\anaconda3\\envs\\curso_08_05_teste\\lib\\site-packages\\pandas\\core\\groupby\\generic.py\u001b[0m in \u001b[0;36maggregate\u001b[1;34m(self, arg, *args, **kwargs)\u001b[0m\n\u001b[0;32m   1313\u001b[0m     \u001b[1;33m@\u001b[0m\u001b[0mAppender\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0m_shared_docs\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;34m'aggregate'\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m   1314\u001b[0m     \u001b[1;32mdef\u001b[0m \u001b[0maggregate\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mself\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0marg\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m*\u001b[0m\u001b[0margs\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m-> 1315\u001b[1;33m         \u001b[1;32mreturn\u001b[0m \u001b[0msuper\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mDataFrameGroupBy\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0maggregate\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0marg\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m*\u001b[0m\u001b[0margs\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m   1316\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m   1317\u001b[0m     \u001b[0magg\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0maggregate\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;32mc:\\anaconda3\\envs\\curso_08_05_teste\\lib\\site-packages\\pandas\\core\\groupby\\generic.py\u001b[0m in \u001b[0;36maggregate\u001b[1;34m(self, arg, *args, **kwargs)\u001b[0m\n\u001b[0;32m    184\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    185\u001b[0m         \u001b[0m_level\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mkwargs\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mpop\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m'_level'\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;32mNone\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m--> 186\u001b[1;33m         \u001b[0mresult\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mhow\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mself\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0m_aggregate\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0marg\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0m_level\u001b[0m\u001b[1;33m=\u001b[0m\u001b[0m_level\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m*\u001b[0m\u001b[0margs\u001b[0m\u001b[1;33m,\u001b[0m \u001b[1;33m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m    187\u001b[0m         \u001b[1;32mif\u001b[0m \u001b[0mhow\u001b[0m \u001b[1;32mis\u001b[0m \u001b[1;32mNone\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    188\u001b[0m             \u001b[1;32mreturn\u001b[0m \u001b[0mresult\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;32mc:\\anaconda3\\envs\\curso_08_05_teste\\lib\\site-packages\\pandas\\core\\base.py\u001b[0m in \u001b[0;36m_aggregate\u001b[1;34m(self, arg, *args, **kwargs)\u001b[0m\n\u001b[0;32m    557\u001b[0m             return self._aggregate_multiple_funcs(arg,\n\u001b[0;32m    558\u001b[0m                                                   \u001b[0m_level\u001b[0m\u001b[1;33m=\u001b[0m\u001b[0m_level\u001b[0m\u001b[1;33m,\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m--> 559\u001b[1;33m                                                   _axis=_axis), None\n\u001b[0m\u001b[0;32m    560\u001b[0m         \u001b[1;32melse\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    561\u001b[0m             \u001b[0mresult\u001b[0m \u001b[1;33m=\u001b[0m \u001b[1;32mNone\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;32mc:\\anaconda3\\envs\\curso_08_05_teste\\lib\\site-packages\\pandas\\core\\base.py\u001b[0m in \u001b[0;36m_aggregate_multiple_funcs\u001b[1;34m(self, arg, _level, _axis)\u001b[0m\n\u001b[0;32m    615\u001b[0m         \u001b[1;31m# if we are empty\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    616\u001b[0m         \u001b[1;32mif\u001b[0m \u001b[1;32mnot\u001b[0m \u001b[0mlen\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mresults\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m--> 617\u001b[1;33m             \u001b[1;32mraise\u001b[0m \u001b[0mValueError\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;34m\"no results\"\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m    618\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    619\u001b[0m         \u001b[1;32mtry\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;31mValueError\u001b[0m: no results"
     ]
    }
   ],
   "source": [
    "colunas_gb = ['País - Origem ida', 'UF - Origem ida', 'Cidade - Origem ida',\n",
    "       'País - Destino ida', 'UF - Destino ida', 'Cidade - Destino ida']\n",
    "\n",
    "colunas_selecao = ['País - Origem ida', 'UF - Origem ida', 'Cidade - Origem ida',\n",
    "       'País - Destino ida', 'UF - Destino ida', 'Cidade - Destino ida', 'Valor da passagem']\n",
    "\n",
    "df_passagens_1[colunas_selecao].groupby(colunas_gb, as_index=False).agg(['count', 'mean', 'median']).sort_values(('Valor da passagem', 'count'), ascending=False).head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Entendimento e organização dos dados\n",
    "\n",
    "Vamos olhar as variáveis de interesse separadamente."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Identificador do processo de viagem"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "plt.rcParams['figure.figsize'] = (16.5,6)\n",
    "df_passagens_1['Identificador do processo de viagem'].value_counts().value_counts().plot.bar()\n",
    "plt.xlabel('Quantidade de Trechos por ID de Viagem')\n",
    "plt.ylabel('Quantidade de Registros')\n",
    "plt.yscale('log')\n",
    "plt.grid(True)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "Exemplo de uma viagem com 3 trechos\n",
    "'''\n",
    "df_passagens_1[ df_passagens_1['Identificador do processo de viagem'] == 14756123 ]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "Exemplo de uma viagem com 5 trechos\n",
    "'''\n",
    "df_passagens_1[ df_passagens_1['Identificador do processo de viagem'] == 14825056 ]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "Exemplo de uma viagem com 14 trechos\n",
    "'''\n",
    "df_passagens_1[ df_passagens_1['Identificador do processo de viagem'] == 15190575 ]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_1.describe(include='all')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Vamos criar uma coluna que identifica se o trecho faz parte de uma viagem internacional ou não\n",
    "\"\"\"\n",
    "\n",
    "# vamos marcar trechos que são de origem ou destino internacional\n",
    "df_passagens_1['Trecho Internacional'] = \\\n",
    "    (df_passagens_1['País - Origem ida'] != 'BRASIL') | (df_passagens_1['País - Destino ida'] != 'BRASIL') \\\n",
    "    | ( df_passagens_1['País - Origem volta'].notnull() & ((df_passagens_1['País - Origem volta'] != 'BRASIL') | (df_passagens_1['Pais - Destino volta'] != 'BRASIL'))) \\\n",
    "\n",
    "df_passagens_1[df_passagens_1['Trecho Internacional']].head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# quais viagens possuem ao menos um trecho internacional\n",
    "df_viagens_internacionais = \\\n",
    "    df_passagens_1[['Identificador do processo de viagem','Trecho Internacional']]\\\n",
    "    .groupby('Identificador do processo de viagem', as_index=False)\\\n",
    "    .max()\n",
    "\n",
    "df_viagens_internacionais.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# quais processos de viagem possuem trechos internacionais\n",
    "df_viagens_internacionais = df_viagens_internacionais.rename(columns={'Trecho Internacional': 'Viagem Internacional'})\n",
    "df_viagens_internacionais.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "df_passagens_2 = pd.merge(df_passagens_1, df_viagens_internacionais, how='left', \n",
    "                          left_on='Identificador do processo de viagem', right_on='Identificador do processo de viagem')\n",
    "df_passagens_2.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "df_passagens_2[df_passagens_2['Identificador do processo de viagem'] == 14342418]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_g = df_passagens_2[df_passagens_2['Valor da passagem'] > 0.001] \n",
    "plt.rcParams['figure.figsize'] = 16,10\n",
    "ax = sns.boxplot(y=df_passagens_g['Valor da passagem'], x=df_passagens_g['Trecho Internacional'].apply(lambda x: 'Internacional' if x else 'Nacional'))\n",
    "ax.set_yscale('log')\n",
    "ax.plot(x=[-1000, 1000], y=[2000,2000], color='red', linewidth=2, markersize=12)\n",
    "plt.grid(True)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Observações\n",
    "\n",
    "* Número de trechos interfere no valor das passagens?\n",
    "* Trechos domésticos e viagens internacionais possuem valor superior aos dos trechos domésticos em viagens nacionais?\n",
    "* Trechos com valores muito baixos. Como isso é possível?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Meio de transporte\n",
    "---"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_1['Meio de transporte'].value_counts().to_frame()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "plt.rcParams[\"figure.figsize\"] = 16, 4\n",
    "ax = df_passagens_1['Meio de transporte'].value_counts().plot.barh()\n",
    "ax.set_xscale('log')\n",
    "plt.grid(True)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "plt.rcParams['figure.figsize'] = 16,7\n",
    "plt.rcParams['figure.dpi'] = 90\n",
    "\n",
    "df_passagens_g = df_passagens_2[df_passagens_2['Valor da passagem']>0]\n",
    "\n",
    "sns.boxplot(df_passagens_g['Meio de transporte'], df_passagens_g['Valor da passagem'], order=df_passagens_g['Meio de transporte'].drop_duplicates().sort_values())\n",
    "plt.yscale('log')\n",
    "plt.ylim = [0, 150000]\n",
    "plt.grid(True)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Observações\n",
    "\n",
    "* Trechos aéreos acompanhados de outras modalidades possuem valor diferenciado?\n",
    "* Foco nos trechos aéreos"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Taxa de Serviço\n",
    "---"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Muitos registros zerados.\n",
    "\"\"\" \n",
    "df_passagens_1['Taxa de serviço'].value_counts().head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_1['Taxa de serviço'].describe().to_frame()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_g = df_passagens_2[df_passagens_2['Taxa de serviço']>0]\n",
    "plt.rcParams['figure.figsize'] = 16,8\n",
    "sns.boxplot(x='Meio de transporte', y='Taxa de serviço', data=df_passagens_g, order=df_passagens_g['Meio de transporte'].drop_duplicates().sort_values())\n",
    "plt.yscale('log')\n",
    "plt.grid(True)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Observações\n",
    "\n",
    "* Campo com poucas observações relevantes.\n",
    "* Talvez seja interessante investigar os outliers com valores altos.\n",
    "* Para o propósito levantado inicialmente, este campo não é necessário."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Origem, Destino, Ida e Volta"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Ocorrência da mesma variável em mais de uma coluna no dataset.\n",
    "\"\"\"\n",
    "\n",
    "df_passagens_2.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Vamos organizar.\n",
    "\"\"\"\n",
    "\n",
    "df_passagens_3 = df_passagens_2.copy()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_3[df_passagens_3['País - Origem volta'].notnull()].shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Vamos quebrar as linhas que possuem os trachos de ida e volta.\n",
    "\"\"\"\n",
    "\n",
    "df_passagens_3['Tipo Trecho'] = 'IDA'\n",
    "df_passagens_3['Tipo Compra'] = 'SEPARADA'\n",
    "\n",
    "voltas = []\n",
    "\n",
    "for idx, df in df_passagens_3[df_passagens_3['País - Origem volta'].notnull()].iterrows():\n",
    "    valor_passagem = df_passagens_3.at[idx, 'Valor da passagem'] / 2\n",
    "    \n",
    "    df_passagens_3.at[idx, 'Valor da passagem'] = valor_passagem\n",
    "    df_passagens_3.at[idx, 'Tipo Compra'] = 'CONJUNTA'\n",
    "    \n",
    "    for ic in range(8,14):\n",
    "        df_passagens_3.iat[idx, ic] = None\n",
    "    \n",
    "    df['Tipo Trecho'] = 'VOLTA'\n",
    "    df['Tipo Compra'] = 'CONJUNTA'\n",
    "    df['Valor da passagem'] = valor_passagem\n",
    "    \n",
    "    df['País - Origem ida'] = df['País - Origem volta']\n",
    "    df['UF - Origem ida'] = df['UF - Origem volta']\n",
    "    df['Cidade - Origem ida'] = df['Cidade - Origem volta']\n",
    "    df['País - Destino ida'] = df['Pais - Destino volta']\n",
    "    df['UF - Destino ida'] = df['UF - Destino volta']\n",
    "    df['Cidade - Destino ida'] = df['Cidade - Destino volta']\n",
    "    \n",
    "    df['País - Origem volta'] = None\n",
    "    df['UF - Origem volta'] = None\n",
    "    df['Cidade - Origem volta'] = None\n",
    "    df['Pais - Destino volta'] = None\n",
    "    df['UF - Destino volta'] = None\n",
    "    df['Cidade - Destino volta'] = None    \n",
    "    \n",
    "    voltas.append(df)\n",
    "    \n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_voltas = pd.concat(voltas, ignore_index=False, axis=1).T\n",
    "df_voltas.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_4 = pd.concat([df_passagens_3, df_voltas])\n",
    "df_passagens_4.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_4 = df_passagens_4.sort_values(['Identificador do processo de viagem', 'Tipo Trecho']).reset_index(drop=True)\n",
    "df_passagens_4.loc[10:11]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_5 = df_passagens_4.drop(['País - Origem volta', 'UF - Origem volta', 'Cidade - Origem volta',\n",
    "       'Pais - Destino volta', 'UF - Destino volta', 'Cidade - Destino volta'], axis=1)\n",
    "df_passagens_5.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Vamos utilizar apenas a sigla do estado.\n",
    "\"\"\"\n",
    "df_ufs = pd.read_csv('./dados/lista_ufs.csv', sep=';', encoding='latin1')\n",
    "df_ufs['UF'] = df_ufs['UF'].apply(tratar_texto)\n",
    "\n",
    "df_ufs.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_6 = pd.merge(df_passagens_5, df_ufs, left_on='UF - Origem ida', right_on='UF', how='left')\n",
    "df_passagens_6.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_6 = pd.merge(df_passagens_6, df_ufs, left_on='UF - Destino ida', right_on='UF', how='left')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_6.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Vamos concatenar Cidade e UF em uma única coluna\n",
    "\"\"\"\n",
    "df_passagens_7 = df_passagens_6.copy()\n",
    "df_passagens_7['Origem'] = df_passagens_7['Cidade - Origem ida'] + '-' + df_passagens_7['SG_UF_x'].apply(lambda x: x if pd.notnull(x) else '')\n",
    "df_passagens_7['Destino'] = df_passagens_7['Cidade - Destino ida'] + '-' + df_passagens_7['SG_UF_y'].apply(lambda x: x if pd.notnull(x) else '')\n",
    "df_passagens_7.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Selecionamos apenas as colunas desejadas e renomeamos elas\n",
    "\"\"\"\n",
    "df_passagens_7 = df_passagens_7[['Identificador do processo de viagem', 'Origem', 'Destino', 'Valor da passagem', 'Taxa de serviço', 'Trecho Internacional', 'Viagem Internacional', 'Tipo Trecho', 'Tipo Compra', 'Meio de transporte']]\n",
    "df_passagens_7.columns = ['ID_VIAGEM', 'ORIGEM', 'DESTINO', 'VALOR', 'TAXA', 'TRECHO_INT', 'VIAGEM_INT', 'TIPO_TRECHO', 'TIPO_COMPRA', 'MEIO_TRANSPORTE']\n",
    "df_passagens_7['VIAGEM_INT'] = df_passagens_7['VIAGEM_INT'].apply(lambda x: 1 if x else 0)\n",
    "df_passagens_7['TRECHO_INT'] = df_passagens_7['TRECHO_INT'].apply(lambda x: 1 if x else 0)\n",
    "df_passagens_7.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_7.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Fazemos novamente um tratamento de tipos de dados para as colunas\n",
    "\"\"\"\n",
    "df_passagens_7['VALOR'] = df_passagens_7['VALOR'].astype(np.float64)\n",
    "df_passagens_7['TAXA'] = df_passagens_7['TAXA'].astype(np.float64)\n",
    "\n",
    "df_passagens_7['ORIGEM'] = df_passagens_7['ORIGEM'].astype('category')\n",
    "df_passagens_7['DESTINO'] = df_passagens_7['DESTINO'].astype('category')\n",
    "\n",
    "df_passagens_7['TIPO_TRECHO'] = df_passagens_7['TIPO_TRECHO'].astype('category')\n",
    "df_passagens_7['TIPO_COMPRA'] = df_passagens_7['TIPO_COMPRA'].astype('category')\n",
    "\n",
    "df_passagens_7.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "É possível ver que não existem mais registros com informações nulas e os tipos de dados estão adequados para cada situação.\n",
    "\"\"\"\n",
    "df_passagens_7.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Vamos eliminar todas as viagens internacionais.\n",
    "Vamos também manter apenas o meio de transporte AEREO\n",
    "\"\"\"\n",
    "df_passagens_8 = df_passagens_7[df_passagens_7['VIAGEM_INT'] == False]\n",
    "df_passagens_8 = df_passagens_8[df_passagens_8['MEIO_TRANSPORTE'] == 'AEREO'].reset_index(drop=True)\n",
    "df_passagens_8.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_8[['ORIGEM','DESTINO']]\\\n",
    "    .groupby(['ORIGEM','DESTINO'])\\\n",
    "    .size().reset_index(name='TOTAL').sort_values('TOTAL', ascending=False).head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Vamos calcular a quantidade de ocorrências, média, mediana e desvio padrão por trecho\n",
    "\"\"\"\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "filtro_a = (df_passagens_7['ORIGEM'] == 'RIO DE JANEIRO-RJ') & (df_passagens_7['DESTINO'] == 'BRASILIA-DF')\n",
    "filtro_b = (df_passagens_7['ORIGEM'] == 'BRASILIA-DF') & (df_passagens_7['DESTINO'] == 'RIO DE JANEIRO-RJ')\n",
    "\n",
    "df_passagens_g = df_passagens_7[ (filtro_a | filtro_b) ].copy()\n",
    "\n",
    "df_passagens_g['ORIGEM'] = df_passagens_g['ORIGEM'].astype(str)\n",
    "\n",
    "ax = sns.boxplot(x='VALOR', y='ORIGEM', data=df_passagens_g, hue='TIPO_COMPRA')\n",
    "\n",
    "ax.xaxis.set_minor_locator(matplotlib.ticker.MultipleLocator(100))\n",
    "plt.grid(True)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_passagens_g.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Desenhe um histograma com os valores encontrados para o trecho mais frequente. (Considere ida ou volta)\n",
    "\"\"\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Identifique os outliers utilizando as marcações do boxplot.\n",
    "\n",
    "IQR = q3 - q1\n",
    "limite inferior = q1 - 1.5*IQR\n",
    "limite superior = q3 + 1.5*IQR\n",
    "\"\"\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Utilize o dataframe df_viagem para incluir as informações de Órgão Solicitante e Motivo da Viagem\n",
    "\"\"\"\n",
    "df_viagem = pd.read_csv('dados/c04_passagens/2018_Viagem.csv.zip', sep=';', encoding='iso-8859-1', error_bad_lines=False, quotechar=\"\\\"\")\n",
    "df_viagem.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "Identifique os órgãos com mais ocorrências entre os outliers.\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "__Material produzido para o curso__:\n",
    "* Introdução à Análise de Dados com Python\n",
    "\n",
    "__Autor__:\n",
    "* Fernando Sola Pereira\n",
    "\n",
    "__Revisão__:\n",
    "* 1.1"
   ]
  }
 ],
 "metadata": {
  "hide_input": false,
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}