Youtube Clickbait Detector - Training.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Importing the clickbait and non-clickbait sets:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "import pickle\n",
    "\n",
    "\n",
    "clickbait_df = pickle.load(open(\"clickbait-df\", \"rb\"))\n",
    "non_clickbait_df = pickle.load(open(\"non-clickbait-df\", \"rb\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(18317, 11)"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clickbait_df.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(19080, 11)"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "non_clickbait_df.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Defining a custom tokenizer:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "import re\n",
    "import emoji\n",
    "from gensim.parsing.preprocessing import *\n",
    "\n",
    "\n",
    "def tokenize(string):\n",
    "\n",
    "    \"\"\" Tokenizes a string.\n",
    "\n",
    "    Adds a space between numbers and letters, removes punctuation, repeated whitespaces, words shorter than 2\n",
    "    characters, and stop-words. Returns a list of stems and, eventually, emojis.\n",
    "\n",
    "    @param string: String to tokenize.\n",
    "    @return: A list of stems and emojis.\n",
    "    \"\"\"\n",
    "\n",
    "    # Based on the Ranks NL (Google) stopwords list, but \"how\" and \"will\" are not stripped, and words shorter than 2\n",
    "    # characters are not checked (since they are stripped):\n",
    "    stop_words = [\n",
    "        \"about\", \"an\", \"are\", \"as\", \"at\", \"be\", \"by\", \"com\", \"for\", \"from\", \"in\", \"is\", \"it\", \"of\", \"on\", \"or\", \"that\",\n",
    "        \"the\", \"this\", \"to\", \"was\", \"what\", \"when\", \"where\", \"who\", \"with\", \"the\", \"www\"\n",
    "    ]\n",
    "\n",
    "    string = strip_short(\n",
    "        strip_multiple_whitespaces(\n",
    "            strip_punctuation(\n",
    "                split_alphanum(string))),\n",
    "        minsize=2)\n",
    "    # Parse emojis:\n",
    "    emojis = [ c for c in string if c in emoji.UNICODE_EMOJI ]\n",
    "    # Remove every non-word character and stem each word:\n",
    "    string = stem_text(re.sub(r\"[^\\w\\s,]\", \"\", string))\n",
    "    # List of stems and emojis:\n",
    "    tokens = string.split() + emojis\n",
    "    \n",
    "    for stop_word in stop_words:\n",
    "        try:\n",
    "            tokens.remove(stop_word)\n",
    "        except:\n",
    "            pass\n",
    "\n",
    "    return tokens"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Add a column containing the tokenized titles:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "clickbait_df[\"video_title_tokenized\"] = clickbait_df[\"video_title\"].apply(tokenize)\n",
    "non_clickbait_df[\"video_title_tokenized\"] = non_clickbait_df[\"video_title\"].apply(tokenize)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Splitting the data into train and test set:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "from sklearn.model_selection import train_test_split\n",
    "\n",
    "\n",
    "clickbait_df[\"label\"] = 1\n",
    "non_clickbait_df[\"label\"] = 0\n",
    "\n",
    "# Consider the same number of samples (18000) for each class:\n",
    "clickbait_df = clickbait_df.sample(frac=1).sample(frac=1).sample(n=18000)\n",
    "non_clickbait_df = non_clickbait_df.sample(frac=1).sample(frac=1).sample(n=18000)\n",
    "\n",
    "# Build the dataframe:\n",
    "dataframe = pd.concat([ clickbait_df, non_clickbait_df ]).sample(frac=1).sample(frac=1)\n",
    "\n",
    "X_train, X_test, y_train, y_test = train_test_split(\n",
    "    dataframe.loc[:, dataframe.columns != \"label\"], \n",
    "    dataframe[\"label\"], \n",
    "    test_size=0.2, \n",
    "    random_state=42)\n",
    "\n",
    "# Export them:\n",
    "pickle.dump(X_train, open(\"x-train\", \"wb\"))\n",
    "pickle.dump(y_train, open(\"y-train\", \"wb\"))\n",
    "pickle.dump(X_test, open(\"x-test\", \"wb\"))\n",
    "pickle.dump(y_test, open(\"y-test\", \"wb\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(28800, 12)"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(7200, 12)"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_test.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Defining an embedding function:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "\n",
    "\n",
    "def average_embedding(tokens, word2vec, na_vector=None):\n",
    "\n",
    "    \"\"\" Embeds a title with the average representation of its tokens.\n",
    "\n",
    "    Returns the mean vector representation of the tokens representations. When no token is in the Word2Vec model, it\n",
    "    can be provided a vector to use instead (for example the mean vector representation of the train set titles).\n",
    "\n",
    "    @param tokens: List of tokens to embed.\n",
    "    @param word2vec: Word2Vec model.\n",
    "    @param na_vector: Vector representation to use when no token is in the Word2Vec model.\n",
    "    @return: A vector representation for the token list.\n",
    "    \"\"\"\n",
    "\n",
    "    vectors = list()\n",
    "\n",
    "    for token in tokens:\n",
    "        if token in word2vec:\n",
    "            vectors.append(word2vec[token])\n",
    "\n",
    "    if len(vectors) == 0 and na_vector is not None:\n",
    "        vectors.append(na_vector)\n",
    "\n",
    "    return np.mean(np.array(vectors), axis=0)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Training a Word2Vec model onto the train set:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "import gensim\n",
    "\n",
    "\n",
    "documents = X_train[\"video_title_tokenized\"]\n",
    "word2vec = gensim.models.Word2Vec(\n",
    "    documents,\n",
    "    size=25,\n",
    "    window=20,\n",
    "    min_count=1,\n",
    "    workers=2\n",
    ")\n",
    "word2vec.train(documents, total_examples=len(documents), epochs=30)\n",
    "\n",
    "# Export it:\n",
    "pickle.dump(word2vec, open(\"word2vec\", \"wb\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Get the titles embeddings:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/anaconda3/lib/python3.6/site-packages/ipykernel_launcher.py:20: DeprecationWarning: Call to deprecated `__contains__` (Method will be removed in 4.0.0, use self.wv.__contains__() instead).\n",
      "/anaconda3/lib/python3.6/site-packages/ipykernel_launcher.py:21: DeprecationWarning: Call to deprecated `__getitem__` (Method will be removed in 4.0.0, use self.wv.__getitem__() instead).\n",
      "/anaconda3/lib/python3.6/site-packages/numpy/core/fromnumeric.py:2957: RuntimeWarning: Mean of empty slice.\n",
      "  out=out, **kwargs)\n"
     ]
    }
   ],
   "source": [
    "titles_embeddings = X_train[\"video_title_tokenized\"].apply(average_embedding, word2vec=word2vec)\n",
    "train_set = pd.concat(\n",
    "    [\n",
    "        X_train[[\"video_views\", \"video_likes\", \"video_dislikes\", \"video_comments\"]],\n",
    "        titles_embeddings.apply(pd.Series)\n",
    "    ], axis=1)\n",
    "# Add the label column:\n",
    "train_set[\"label\"] = y_train\n",
    "# Drop rows with missing values:\n",
    "train_set = train_set.dropna()\n",
    "\n",
    "# Compute the average vector representation on the train set, and export it:\n",
    "mean_title_embedding = titles_embeddings.dropna().mean(axis=0)\n",
    "pickle.dump(mean_title_embedding, open(\"mean-title-embedding\", \"wb\"))\n",
    "\n",
    "# For the test set use the mean title embedding computed on the train set:\n",
    "titles_embeddings = X_test[\"video_title_tokenized\"].apply(average_embedding, word2vec=word2vec, na_vector=mean_title_embedding)\n",
    "test_set = pd.concat(\n",
    "    [\n",
    "        X_test[[\"video_views\", \"video_likes\", \"video_dislikes\", \"video_comments\"]],\n",
    "        titles_embeddings.apply(pd.Series)\n",
    "    ], axis=1)\n",
    "test_set[\"label\"] = y_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(28798, 30)"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_set.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(7200, 30)"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_set.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Considering the logarithm of the video metadata (views, likes, dislikes, comments) to have a normal distribution of values:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "# Compute the logarithm of the video metadata (likes, dislikes, comments, views)\n",
    "train_set[[\"video_views\", \"video_likes\", \"video_dislikes\", \"video_comments\"]] = train_set[[\"video_views\", \"video_likes\", \"video_dislikes\", \"video_comments\"]].apply(np.log)\n",
    "test_set[[\"video_views\", \"video_likes\", \"video_dislikes\", \"video_comments\"]] = test_set[[\"video_views\", \"video_likes\", \"video_dislikes\", \"video_comments\"]].apply(np.log)\n",
    "# Replace any -Inf value with 0:\n",
    "train_set = train_set.replace(-np.inf, 0)\n",
    "test_set = test_set.replace(-np.inf, 0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "# Remove the label columns:\n",
    "train_labels = train_set[\"label\"]\n",
    "test_labels = test_set[\"label\"]\n",
    "train_set = train_set.drop(columns=[\"label\"])\n",
    "test_set = test_set.drop(columns=[\"label\"])\n",
    "\n",
    "# Export the mean values of the metadata in the train set:\n",
    "pickle.dump(train_set[\"video_views\"].mean(), open(\"mean-log-video-views\", \"wb\"))\n",
    "pickle.dump(train_set[\"video_likes\"].mean(), open(\"mean-log-video-likes\", \"wb\"))\n",
    "pickle.dump(train_set[\"video_dislikes\"].mean(), open(\"mean-log-video-dislikes\", \"wb\"))\n",
    "pickle.dump(train_set[\"video_comments\"].mean(), open(\"mean-log-video-comments\", \"wb\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Train a min-max scaler onto the train set and apply it onto both sets:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": [
    "from sklearn import preprocessing\n",
    "\n",
    "\n",
    "min_max_scaler = preprocessing.MinMaxScaler()\n",
    "min_max_scaler.fit(train_set)\n",
    "train_set = pd.DataFrame(min_max_scaler.transform(train_set), columns=train_set.columns)\n",
    "test_set = pd.DataFrame(min_max_scaler.transform(test_set), columns=test_set.columns)\n",
    "# Export it:\n",
    "pickle.dump(min_max_scaler, open(\"min-max-scaler\", \"wb\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "Train a SVM model:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "scrolled": false,
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Fitting 3 folds for each of 100 candidates, totalling 300 fits\n",
      "[CV] C=1.0, gamma=1.0 ................................................\n",
      "[CV] C=1.0, gamma=1.0 ................................................\n",
      "[CV] ....... C=1.0, gamma=1.0, score=0.9601746906519705, total=   5.9s\n",
      "[CV] C=1.0, gamma=1.0 ................................................\n",
      "[CV] ....... C=1.0, gamma=1.0, score=0.9587189352188832, total=   5.9s\n",
      "[CV] C=1.0, gamma=1.4444444444444444 .................................\n",
      "[CV]  C=1.0, gamma=1.4444444444444444, score=0.9628322259136214, total=   5.6s\n",
      "[CV] C=1.0, gamma=1.4444444444444444 .................................\n",
      "[CV] ....... C=1.0, gamma=1.0, score=0.9585195966316666, total=   5.8s\n",
      "[CV] C=1.0, gamma=1.4444444444444444 .................................\n",
      "[CV]  C=1.0, gamma=1.4444444444444444, score=0.960990325600749, total=   5.7s\n",
      "[CV] C=1.0, gamma=1.8888888888888888 .................................\n",
      "[CV]  C=1.0, gamma=1.4444444444444444, score=0.9603158113442759, total=   5.7s\n",
      "[CV] C=1.0, gamma=1.8888888888888888 .................................\n",
      "[CV]  C=1.0, gamma=1.8888888888888888, score=0.9644933554817277, total=   5.6s\n",
      "[CV] C=1.0, gamma=1.8888888888888888 .................................\n",
      "[CV]  C=1.0, gamma=1.8888888888888888, score=0.961822531987933, total=   5.5s\n",
      "[CV] C=1.0, gamma=2.333333333333333 ..................................\n",
      "[CV]  C=1.0, gamma=1.8888888888888888, score=0.9625402096087994, total=   5.6s\n",
      "[CV] C=1.0, gamma=2.333333333333333 ..................................\n",
      "[CV]  C=1.0, gamma=2.333333333333333, score=0.9653167185877467, total=   5.5s\n",
      "[CV] C=1.0, gamma=2.333333333333333 ..................................\n",
      "[CV]  C=1.0, gamma=2.333333333333333, score=0.9631710362047441, total=   5.9s\n",
      "[CV] C=1.0, gamma=2.7777777777777777 .................................\n",
      "[CV]  C=1.0, gamma=2.333333333333333, score=0.9650306111860537, total=   5.9s\n",
      "[CV] C=1.0, gamma=2.7777777777777777 .................................\n",
      "[CV]  C=1.0, gamma=2.7777777777777777, score=0.9659609796596098, total=   6.1s\n",
      "[CV] C=1.0, gamma=2.7777777777777777 .................................\n",
      "[CV]  C=1.0, gamma=2.7777777777777777, score=0.9631786977324736, total=   6.0s\n",
      "[CV] C=1.0, gamma=3.2222222222222223 .................................\n",
      "[CV]  C=1.0, gamma=2.7777777777777777, score=0.9654241511784861, total=   6.0s\n",
      "[CV] C=1.0, gamma=3.2222222222222223 .................................\n",
      "[CV]  C=1.0, gamma=3.2222222222222223, score=0.96646246495691, total=   6.0s\n",
      "[CV] C=1.0, gamma=3.2222222222222223 .................................\n",
      "[CV]  C=1.0, gamma=3.2222222222222223, score=0.9639180617656234, total=   6.2s\n",
      "[CV] C=1.0, gamma=3.6666666666666665 .................................\n",
      "[CV]  C=1.0, gamma=3.2222222222222223, score=0.9658110776265197, total=   6.4s\n",
      "[CV] C=1.0, gamma=3.6666666666666665 .................................\n",
      "[CV]  C=1.0, gamma=3.6666666666666665, score=0.9667843055843887, total=   6.2s\n",
      "[CV] C=1.0, gamma=3.6666666666666665 .................................\n",
      "[CV]  C=1.0, gamma=3.6666666666666665, score=0.964549329452126, total=   6.3s\n",
      "[CV] C=1.0, gamma=4.111111111111111 ..................................\n",
      "[CV]  C=1.0, gamma=3.6666666666666665, score=0.9662127040232873, total=   6.2s\n",
      "[CV] C=1.0, gamma=4.111111111111111 ..................................\n",
      "[CV]  C=1.0, gamma=4.111111111111111, score=0.9675075262119797, total=   6.4s\n",
      "[CV] C=1.0, gamma=4.111111111111111 ..................................\n",
      "[CV]  C=1.0, gamma=4.111111111111111, score=0.9657897473224498, total=   6.5s\n",
      "[CV] C=1.0, gamma=4.555555555555555 ..................................\n",
      "[CV]  C=1.0, gamma=4.111111111111111, score=0.9675473268150613, total=   6.4s\n",
      "[CV] C=1.0, gamma=4.555555555555555 ..................................\n",
      "[CV]  C=1.0, gamma=4.555555555555555, score=0.9679294239750907, total=   7.0s\n",
      "[CV] C=1.0, gamma=4.555555555555555 ..................................\n",
      "[CV]  C=1.0, gamma=4.555555555555555, score=0.9659694036840463, total=   6.8s\n",
      "[CV] C=1.0, gamma=5.0 ................................................\n",
      "[CV]  C=1.0, gamma=4.555555555555555, score=0.9677486475239284, total=   7.0s\n",
      "[CV] C=1.0, gamma=5.0 ................................................\n",
      "[CV] ....... C=1.0, gamma=5.0, score=0.9677218474312402, total=   7.0s\n",
      "[CV] C=1.0, gamma=5.0 ................................................\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[Parallel(n_jobs=2)]: Done  28 tasks      | elapsed:  1.9min\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[CV] ........ C=1.0, gamma=5.0, score=0.965962319142292, total=   7.2s\n",
      "[CV] C=3.6666666666666665, gamma=1.0 .................................\n",
      "[CV] ....... C=1.0, gamma=5.0, score=0.9682655290812611, total=   7.1s\n",
      "[CV] C=3.6666666666666665, gamma=1.0 .................................\n",
      "[CV]  C=3.6666666666666665, gamma=1.0, score=0.9639555417056197, total=   5.4s\n",
      "[CV] C=3.6666666666666665, gamma=1.0 .................................\n",
      "[CV]  C=3.6666666666666665, gamma=1.0, score=0.9628473306275368, total=   5.3s\n",
      "[CV] C=3.6666666666666665, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=1.0, score=0.9627400103788272, total=   5.4s\n",
      "[CV] C=3.6666666666666665, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=1.4444444444444444, score=0.9659609796596098, total=   5.3s\n",
      "[CV] C=3.6666666666666665, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=1.4444444444444444, score=0.964527202746281, total=   5.3s\n",
      "[CV] C=3.6666666666666665, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=1.4444444444444444, score=0.9652092636826254, total=   5.2s\n",
      "[CV] C=3.6666666666666665, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=1.8888888888888888, score=0.966905280630771, total=   5.2s\n",
      "[CV] C=3.6666666666666665, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=1.8888888888888888, score=0.9648429373829831, total=   5.1s\n",
      "[CV] C=3.6666666666666665, gamma=2.333333333333333 ...................\n",
      "[CV]  C=3.6666666666666665, gamma=1.8888888888888888, score=0.96737323358271, total=   5.2s\n",
      "[CV] C=3.6666666666666665, gamma=2.333333333333333 ...................\n",
      "[CV]  C=3.6666666666666665, gamma=2.333333333333333, score=0.9684778100373289, total=   5.2s\n",
      "[CV] C=3.6666666666666665, gamma=2.333333333333333 ...................\n",
      "[CV]  C=3.6666666666666665, gamma=2.333333333333333, score=0.9660699417152373, total=   5.5s\n",
      "[CV] C=3.6666666666666665, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=2.333333333333333, score=0.9681912681912682, total=   5.4s\n",
      "[CV] C=3.6666666666666665, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=2.7777777777777777, score=0.9693951654735968, total=   5.2s\n",
      "[CV] C=3.6666666666666665, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=2.7777777777777777, score=0.9662570297854614, total=   5.4s\n",
      "[CV] C=3.6666666666666665, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=2.7777777777777777, score=0.9688344068148763, total=   5.4s\n",
      "[CV] C=3.6666666666666665, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=3.2222222222222223, score=0.9701120797011209, total=   5.5s\n",
      "[CV] C=3.6666666666666665, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=3.2222222222222223, score=0.96617050067659, total=   5.6s\n",
      "[CV] C=3.6666666666666665, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=3.2222222222222223, score=0.9696654892998129, total=   5.5s\n",
      "[CV] C=3.6666666666666665, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=3.6666666666666665, score=0.9703257937331397, total=   6.1s\n",
      "[CV] C=3.6666666666666665, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=3.6666666666666665, gamma=3.6666666666666665, score=0.9661493594417248, total=   5.8s\n",
      "[CV] C=3.6666666666666665, gamma=4.111111111111111 ...................\n",
      "[CV]  C=3.6666666666666665, gamma=3.6666666666666665, score=0.9702764498025359, total=   5.9s\n",
      "[CV] C=3.6666666666666665, gamma=4.111111111111111 ...................\n",
      "[CV]  C=3.6666666666666665, gamma=4.111111111111111, score=0.9704019108941738, total=   6.2s\n",
      "[CV] C=3.6666666666666665, gamma=4.111111111111111 ...................\n",
      "[CV]  C=3.6666666666666665, gamma=4.111111111111111, score=0.9670970428987923, total=   6.3s\n",
      "[CV] C=3.6666666666666665, gamma=4.555555555555555 ...................\n",
      "[CV]  C=3.6666666666666665, gamma=4.111111111111111, score=0.9698419301164726, total=   6.1s\n",
      "[CV] C=3.6666666666666665, gamma=4.555555555555555 ...................\n",
      "[CV]  C=3.6666666666666665, gamma=4.555555555555555, score=0.969873259921047, total=   6.9s\n",
      "[CV] C=3.6666666666666665, gamma=4.555555555555555 ...................\n",
      "[CV]  C=3.6666666666666665, gamma=4.555555555555555, score=0.9677352206494588, total=   6.8s\n",
      "[CV] C=3.6666666666666665, gamma=5.0 .................................\n",
      "[CV]  C=3.6666666666666665, gamma=4.555555555555555, score=0.9693123894725891, total=   6.8s\n",
      "[CV] C=3.6666666666666665, gamma=5.0 .................................\n",
      "[CV]  C=3.6666666666666665, gamma=5.0, score=0.9696717906107186, total=   7.1s\n",
      "[CV] C=3.6666666666666665, gamma=5.0 .................................\n",
      "[CV]  C=3.6666666666666665, gamma=5.0, score=0.967741935483871, total=   7.0s\n",
      "[CV] C=6.333333333333333, gamma=1.0 ..................................\n",
      "[CV]  C=3.6666666666666665, gamma=5.0, score=0.9695394531656097, total=   7.0s\n",
      "[CV] C=6.333333333333333, gamma=1.0 ..................................\n",
      "[CV]  C=6.333333333333333, gamma=1.0, score=0.9658607450451385, total=   4.8s\n",
      "[CV] C=6.333333333333333, gamma=1.0 ..................................\n",
      "[CV]  C=6.333333333333333, gamma=1.0, score=0.9640033291718685, total=   4.7s\n",
      "[CV] C=6.333333333333333, gamma=1.4444444444444444 ...................\n",
      "[CV]  C=6.333333333333333, gamma=1.0, score=0.9645935001557471, total=   4.8s\n",
      "[CV] C=6.333333333333333, gamma=1.4444444444444444 ...................\n",
      "[CV]  C=6.333333333333333, gamma=1.4444444444444444, score=0.966597510373444, total=   4.8s\n",
      "[CV] C=6.333333333333333, gamma=1.4444444444444444 ...................\n",
      "[CV]  C=6.333333333333333, gamma=1.4444444444444444, score=0.9653666146645866, total=   5.0s\n",
      "[CV] C=6.333333333333333, gamma=1.8888888888888888 ...................\n",
      "[CV]  C=6.333333333333333, gamma=1.4444444444444444, score=0.966870910790321, total=   5.0s\n",
      "[CV] C=6.333333333333333, gamma=1.8888888888888888 ...................\n",
      "[CV]  C=6.333333333333333, gamma=1.8888888888888888, score=0.9687791722850327, total=   4.9s\n",
      "[CV] C=6.333333333333333, gamma=1.8888888888888888 ...................\n",
      "[CV]  C=6.333333333333333, gamma=1.8888888888888888, score=0.9664443518132555, total=   4.8s\n",
      "[CV] C=6.333333333333333, gamma=2.333333333333333 ....................\n",
      "[CV]  C=6.333333333333333, gamma=1.8888888888888888, score=0.9686201163757273, total=   4.7s\n",
      "[CV] C=6.333333333333333, gamma=2.333333333333333 ....................\n",
      "[CV]  C=6.333333333333333, gamma=2.333333333333333, score=0.9694767441860465, total=   4.9s\n",
      "[CV] C=6.333333333333333, gamma=2.333333333333333 ....................\n",
      "[CV]  C=6.333333333333333, gamma=2.333333333333333, score=0.9667881311816763, total=   5.0s\n",
      "[CV] C=6.333333333333333, gamma=2.7777777777777777 ...................\n",
      "[CV]  C=6.333333333333333, gamma=2.333333333333333, score=0.9694577186785789, total=   4.9s\n",
      "[CV] C=6.333333333333333, gamma=2.7777777777777777 ...................\n",
      "[CV]  C=6.333333333333333, gamma=2.7777777777777777, score=0.9700176366843033, total=   5.4s\n",
      "[CV] C=6.333333333333333, gamma=2.7777777777777777 ...................\n",
      "[CV]  C=6.333333333333333, gamma=2.7777777777777777, score=0.9670100947028827, total=   5.2s\n",
      "[CV] C=6.333333333333333, gamma=3.2222222222222223 ...................\n",
      "[CV]  C=6.333333333333333, gamma=2.7777777777777777, score=0.9695647657629584, total=   5.4s\n",
      "[CV] C=6.333333333333333, gamma=3.2222222222222223 ...................\n",
      "[CV]  C=6.333333333333333, gamma=3.2222222222222223, score=0.9703319502074689, total=   5.5s\n",
      "[CV] C=6.333333333333333, gamma=3.2222222222222223 ...................\n",
      "[CV]  C=6.333333333333333, gamma=3.2222222222222223, score=0.9662921348314607, total=   5.8s\n",
      "[CV] C=6.333333333333333, gamma=3.6666666666666665 ...................\n",
      "[CV]  C=6.333333333333333, gamma=3.2222222222222223, score=0.969211566465571, total=   5.6s\n",
      "[CV] C=6.333333333333333, gamma=3.6666666666666665 ...................\n",
      "[CV]  C=6.333333333333333, gamma=3.6666666666666665, score=0.9689737470167064, total=   6.3s\n",
      "[CV] C=6.333333333333333, gamma=3.6666666666666665 ...................\n",
      "[CV]  C=6.333333333333333, gamma=3.6666666666666665, score=0.9670970428987923, total=   6.0s\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[CV] C=6.333333333333333, gamma=4.111111111111111 ....................\n",
      "[CV]  C=6.333333333333333, gamma=3.6666666666666665, score=0.9686882346822012, total=   6.2s\n",
      "[CV] C=6.333333333333333, gamma=4.111111111111111 ....................\n",
      "[CV]  C=6.333333333333333, gamma=4.111111111111111, score=0.9682242990654205, total=   6.5s\n",
      "[CV] C=6.333333333333333, gamma=4.111111111111111 ....................\n",
      "[CV]  C=6.333333333333333, gamma=4.111111111111111, score=0.9669963560645497, total=   6.5s\n",
      "[CV] C=6.333333333333333, gamma=4.555555555555555 ....................\n",
      "[CV]  C=6.333333333333333, gamma=4.111111111111111, score=0.9683465222823824, total=   6.4s\n",
      "[CV] C=6.333333333333333, gamma=4.555555555555555 ....................\n",
      "[CV]  C=6.333333333333333, gamma=4.555555555555555, score=0.9675945159950147, total=   7.0s\n",
      "[CV] C=6.333333333333333, gamma=4.555555555555555 ....................\n",
      "[CV]  C=6.333333333333333, gamma=4.555555555555555, score=0.9677285030189465, total=   6.7s\n",
      "[CV] C=6.333333333333333, gamma=5.0 ..................................\n",
      "[CV]  C=6.333333333333333, gamma=4.555555555555555, score=0.9679433805162365, total=   6.8s\n",
      "[CV] C=6.333333333333333, gamma=5.0 ..................................\n",
      "[CV]  C=6.333333333333333, gamma=5.0, score=0.9683380047752518, total=   7.2s\n",
      "[CV] C=6.333333333333333, gamma=5.0 ..................................\n",
      "[CV]  C=6.333333333333333, gamma=5.0, score=0.9677083333333333, total=   7.4s\n",
      "[CV] C=9.0, gamma=1.0 ................................................\n",
      "[CV]  C=6.333333333333333, gamma=5.0, score=0.9682853280648851, total=   7.2s\n",
      "[CV] C=9.0, gamma=1.0 ................................................\n",
      "[CV] ....... C=9.0, gamma=1.0, score=0.9655530192986097, total=   5.0s\n",
      "[CV] C=9.0, gamma=1.0 ................................................\n",
      "[CV] ....... C=9.0, gamma=1.0, score=0.9643339918893626, total=   4.7s\n",
      "[CV] C=9.0, gamma=1.4444444444444444 .................................\n",
      "[CV] ....... C=9.0, gamma=1.0, score=0.9658252830580658, total=   4.9s\n",
      "[CV] C=9.0, gamma=1.4444444444444444 .................................\n",
      "[CV]  C=9.0, gamma=1.4444444444444444, score=0.9679360796928504, total=   5.0s\n",
      "[CV] C=9.0, gamma=1.4444444444444444 .................................\n",
      "[CV]  C=9.0, gamma=1.4444444444444444, score=0.9658404499062696, total=   6.3s\n",
      "[CV] C=9.0, gamma=1.8888888888888888 .................................\n",
      "[CV]  C=9.0, gamma=1.4444444444444444, score=0.9672727272727273, total=   5.9s\n",
      "[CV] C=9.0, gamma=1.8888888888888888 .................................\n",
      "[CV]  C=9.0, gamma=1.8888888888888888, score=0.9696026558771657, total=   5.6s\n",
      "[CV] C=9.0, gamma=1.8888888888888888 .................................\n",
      "[CV]  C=9.0, gamma=1.8888888888888888, score=0.9663926750598273, total=   5.3s\n",
      "[CV] C=9.0, gamma=2.333333333333333 ..................................\n",
      "[CV]  C=9.0, gamma=1.8888888888888888, score=0.9688408807644371, total=   5.3s\n",
      "[CV] C=9.0, gamma=2.333333333333333 ..................................\n",
      "[CV]  C=9.0, gamma=2.333333333333333, score=0.9697095435684648, total=   5.3s\n",
      "[CV] C=9.0, gamma=2.333333333333333 ..................................\n",
      "[CV]  C=9.0, gamma=2.333333333333333, score=0.9662570297854614, total=   5.4s\n",
      "[CV] C=9.0, gamma=2.7777777777777777 .................................\n",
      "[CV]  C=9.0, gamma=2.333333333333333, score=0.96934427933077, total=   5.4s\n",
      "[CV] C=9.0, gamma=2.7777777777777777 .................................\n",
      "[CV]  C=9.0, gamma=2.7777777777777777, score=0.9696152649590376, total=   5.7s\n",
      "[CV] C=9.0, gamma=2.7777777777777777 .................................\n",
      "[CV]  C=9.0, gamma=2.7777777777777777, score=0.9663856800915808, total=   5.5s\n",
      "[CV] C=9.0, gamma=3.2222222222222223 .................................\n",
      "[CV]  C=9.0, gamma=2.7777777777777777, score=0.9683794466403163, total=   5.7s\n",
      "[CV] C=9.0, gamma=3.2222222222222223 .................................\n",
      "[CV]  C=9.0, gamma=3.2222222222222223, score=0.9686721991701245, total=   5.9s\n",
      "[CV] C=9.0, gamma=3.2222222222222223 .................................\n",
      "[CV]  C=9.0, gamma=3.2222222222222223, score=0.9669757266381915, total=   5.9s\n",
      "[CV] C=9.0, gamma=3.6666666666666665 .................................\n",
      "[CV]  C=9.0, gamma=3.2222222222222223, score=0.9677217825905873, total=   5.7s\n",
      "[CV] C=9.0, gamma=3.6666666666666665 .................................\n",
      "[CV]  C=9.0, gamma=3.6666666666666665, score=0.9682242990654205, total=   6.3s\n",
      "[CV] C=9.0, gamma=3.6666666666666665 .................................\n",
      "[CV]  C=9.0, gamma=3.6666666666666665, score=0.9666527719883284, total=   6.2s\n",
      "[CV] C=9.0, gamma=4.111111111111111 ..................................\n",
      "[CV]  C=9.0, gamma=3.6666666666666665, score=0.9673189009159034, total=   6.2s\n",
      "[CV] C=9.0, gamma=4.111111111111111 ..................................\n",
      "[CV]  C=9.0, gamma=4.111111111111111, score=0.9680166147455868, total=   6.5s\n",
      "[CV] C=9.0, gamma=4.111111111111111 ..................................\n",
      "[CV]  C=9.0, gamma=4.111111111111111, score=0.9661423064902593, total=   6.6s\n",
      "[CV] C=9.0, gamma=4.555555555555555 ..................................\n",
      "[CV]  C=9.0, gamma=4.111111111111111, score=0.9669232369461203, total=   6.6s\n",
      "[CV] C=9.0, gamma=4.555555555555555 ..................................\n",
      "[CV]  C=9.0, gamma=4.555555555555555, score=0.9682176983797257, total=   7.6s\n",
      "[CV] C=9.0, gamma=4.555555555555555 ..................................\n",
      "[CV] ... C=9.0, gamma=4.555555555555555, score=0.966875, total=   7.4s\n",
      "[CV] C=9.0, gamma=5.0 ................................................\n",
      "[CV]  C=9.0, gamma=4.555555555555555, score=0.9665280665280664, total=   7.1s\n",
      "[CV] C=9.0, gamma=5.0 ................................................\n",
      "[CV] ....... C=9.0, gamma=5.0, score=0.9677084414910186, total=   8.4s\n",
      "[CV] C=9.0, gamma=5.0 ................................................\n",
      "[CV] ....... C=9.0, gamma=5.0, score=0.9671909176127487, total=   8.4s\n",
      "[CV] C=11.666666666666666, gamma=1.0 .................................\n",
      "[CV] ....... C=9.0, gamma=5.0, score=0.9664276062779337, total=   8.0s\n",
      "[CV] C=11.666666666666666, gamma=1.0 .................................\n",
      "[CV]  C=11.666666666666666, gamma=1.0, score=0.9664972513224769, total=   4.8s\n",
      "[CV] C=11.666666666666666, gamma=1.0 .................................\n",
      "[CV]  C=11.666666666666666, gamma=1.0, score=0.9651441057122048, total=   4.6s\n",
      "[CV] C=11.666666666666666, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=11.666666666666666, gamma=1.0, score=0.9663271669091664, total=   4.6s\n",
      "[CV] C=11.666666666666666, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=11.666666666666666, gamma=1.4444444444444444, score=0.9685782432852845, total=   4.9s\n",
      "[CV] C=11.666666666666666, gamma=1.4444444444444444 ..................\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[Parallel(n_jobs=2)]: Done 124 tasks      | elapsed:  8.1min\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[CV]  C=11.666666666666666, gamma=1.4444444444444444, score=0.966271080574641, total=   5.1s\n",
      "[CV] C=11.666666666666666, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=11.666666666666666, gamma=1.4444444444444444, score=0.9683182715279941, total=   5.1s\n",
      "[CV] C=11.666666666666666, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=11.666666666666666, gamma=1.8888888888888888, score=0.9685717249248003, total=   5.3s\n",
      "[CV] C=11.666666666666666, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=11.666666666666666, gamma=1.8888888888888888, score=0.9664653197250572, total=   5.1s\n",
      "[CV] C=11.666666666666666, gamma=2.333333333333333 ...................\n",
      "[CV]  C=11.666666666666666, gamma=1.8888888888888888, score=0.9691620807808118, total=   5.1s\n",
      "[CV] C=11.666666666666666, gamma=2.333333333333333 ...................\n",
      "[CV]  C=11.666666666666666, gamma=2.333333333333333, score=0.9690999585234342, total=   5.4s\n",
      "[CV] C=11.666666666666666, gamma=2.333333333333333 ...................\n",
      "[CV]  C=11.666666666666666, gamma=2.333333333333333, score=0.9659552316501823, total=   5.5s\n",
      "[CV] C=11.666666666666666, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=11.666666666666666, gamma=2.333333333333333, score=0.9683925972135579, total=   5.3s\n",
      "[CV] C=11.666666666666666, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=11.666666666666666, gamma=2.7777777777777777, score=0.9694957460053952, total=   5.7s\n",
      "[CV] C=11.666666666666666, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=11.666666666666666, gamma=2.7777777777777777, score=0.9662570297854614, total=   5.6s\n",
      "[CV] C=11.666666666666666, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=11.666666666666666, gamma=2.7777777777777777, score=0.9678493392987202, total=   5.7s\n",
      "[CV] C=11.666666666666666, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=11.666666666666666, gamma=3.2222222222222223, score=0.9676214196762142, total=   5.9s\n",
      "[CV] C=11.666666666666666, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=11.666666666666666, gamma=3.2222222222222223, score=0.9663436490569971, total=   6.3s\n",
      "[CV] C=11.666666666666666, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=11.666666666666666, gamma=3.2222222222222223, score=0.9671977507029055, total=   5.8s\n",
      "[CV] C=11.666666666666666, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=11.666666666666666, gamma=3.6666666666666665, score=0.9675877830874715, total=   6.6s\n",
      "[CV] C=11.666666666666666, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=11.666666666666666, gamma=3.6666666666666665, score=0.9665520475148485, total=   6.3s\n",
      "[CV] C=11.666666666666666, gamma=4.111111111111111 ...................\n",
      "[CV]  C=11.666666666666666, gamma=3.6666666666666665, score=0.9668019564991154, total=   6.3s\n",
      "[CV] C=11.666666666666666, gamma=4.111111111111111 ...................\n",
      "[CV]  C=11.666666666666666, gamma=4.111111111111111, score=0.9672795263321907, total=   7.0s\n",
      "[CV] C=11.666666666666666, gamma=4.111111111111111 ...................\n",
      "[CV]  C=11.666666666666666, gamma=4.111111111111111, score=0.9669619593538301, total=   7.7s\n",
      "[CV] C=11.666666666666666, gamma=4.555555555555555 ...................\n",
      "[CV]  C=11.666666666666666, gamma=4.111111111111111, score=0.9659906396255851, total=   8.5s\n",
      "[CV] C=11.666666666666666, gamma=4.555555555555555 ...................\n",
      "[CV]  C=11.666666666666666, gamma=4.555555555555555, score=0.9668777904682796, total=   9.1s\n",
      "[CV] C=11.666666666666666, gamma=4.555555555555555 ...................\n",
      "[CV]  C=11.666666666666666, gamma=4.555555555555555, score=0.9662499999999999, total=   7.3s\n",
      "[CV] C=11.666666666666666, gamma=5.0 .................................\n",
      "[CV]  C=11.666666666666666, gamma=4.555555555555555, score=0.9662127040232873, total=   7.3s\n",
      "[CV] C=11.666666666666666, gamma=5.0 .................................\n",
      "[CV]  C=11.666666666666666, gamma=5.0, score=0.9667359667359666, total=   9.3s\n",
      "[CV] C=11.666666666666666, gamma=5.0 .................................\n",
      "[CV]  C=11.666666666666666, gamma=5.0, score=0.9663506615272424, total=  10.0s\n",
      "[CV] C=14.333333333333332, gamma=1.0 .................................\n",
      "[CV]  C=11.666666666666666, gamma=5.0, score=0.9657897473224498, total=   9.2s\n",
      "[CV] C=14.333333333333332, gamma=1.0 .................................\n",
      "[CV]  C=14.333333333333332, gamma=1.0, score=0.9671264129420304, total=   5.2s\n",
      "[CV] C=14.333333333333332, gamma=1.0 .................................\n",
      "[CV]  C=14.333333333333332, gamma=1.0, score=0.9652373022481264, total=   5.2s\n",
      "[CV] C=14.333333333333332, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=14.333333333333332, gamma=1.0, score=0.9671722418450031, total=   5.4s\n",
      "[CV] C=14.333333333333332, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=14.333333333333332, gamma=1.4444444444444444, score=0.9692882340734592, total=   5.4s\n",
      "[CV] C=14.333333333333332, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=14.333333333333332, gamma=1.4444444444444444, score=0.9660840615896795, total=   5.2s\n",
      "[CV] C=14.333333333333332, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=14.333333333333332, gamma=1.4444444444444444, score=0.9688344068148763, total=   5.2s\n",
      "[CV] C=14.333333333333332, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=14.333333333333332, gamma=1.8888888888888888, score=0.9689054726368159, total=   5.6s\n",
      "[CV] C=14.333333333333332, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=14.333333333333332, gamma=1.8888888888888888, score=0.9659481412058731, total=   5.4s\n",
      "[CV] C=14.333333333333332, gamma=2.333333333333333 ...................\n",
      "[CV]  C=14.333333333333332, gamma=1.8888888888888888, score=0.9692499480573447, total=   5.3s\n",
      "[CV] C=14.333333333333332, gamma=2.333333333333333 ...................\n",
      "[CV]  C=14.333333333333332, gamma=2.333333333333333, score=0.9693009749014727, total=   5.5s\n",
      "[CV] C=14.333333333333332, gamma=2.333333333333333 ...................\n",
      "[CV]  C=14.333333333333332, gamma=2.333333333333333, score=0.9660770031217482, total=   5.5s\n",
      "[CV] C=14.333333333333332, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=14.333333333333332, gamma=2.333333333333333, score=0.9681714166840025, total=   5.5s\n",
      "[CV] C=14.333333333333332, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=14.333333333333332, gamma=2.7777777777777777, score=0.9679493828441034, total=   5.8s\n",
      "[CV] C=14.333333333333332, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=14.333333333333332, gamma=2.7777777777777777, score=0.966121129990618, total=   6.0s\n",
      "[CV] C=14.333333333333332, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=14.333333333333332, gamma=2.7777777777777777, score=0.9678292555960437, total=   5.9s\n",
      "[CV] C=14.333333333333332, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=14.333333333333332, gamma=3.2222222222222223, score=0.9669987546699876, total=   6.0s\n",
      "[CV] C=14.333333333333332, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=14.333333333333332, gamma=3.2222222222222223, score=0.9663436490569971, total=   6.1s\n",
      "[CV] C=14.333333333333332, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=14.333333333333332, gamma=3.2222222222222223, score=0.9663646777048839, total=   6.3s\n",
      "[CV] C=14.333333333333332, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=14.333333333333332, gamma=3.6666666666666665, score=0.9663621262458472, total=   7.2s\n",
      "[CV] C=14.333333333333332, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=14.333333333333332, gamma=3.6666666666666665, score=0.9657541376079941, total=   6.4s\n",
      "[CV] C=14.333333333333332, gamma=4.111111111111111 ...................\n",
      "[CV]  C=14.333333333333332, gamma=3.6666666666666665, score=0.9659835639238531, total=   6.4s\n",
      "[CV] C=14.333333333333332, gamma=4.111111111111111 ...................\n",
      "[CV]  C=14.333333333333332, gamma=4.111111111111111, score=0.9662758119746808, total=   7.2s\n",
      "[CV] C=14.333333333333332, gamma=4.111111111111111 ...................\n",
      "[CV]  C=14.333333333333332, gamma=4.111111111111111, score=0.9658333333333333, total=   6.9s\n",
      "[CV] C=14.333333333333332, gamma=4.555555555555555 ...................\n",
      "[CV]  C=14.333333333333332, gamma=4.111111111111111, score=0.9661122661122661, total=   6.9s\n",
      "[CV] C=14.333333333333332, gamma=4.555555555555555 ...................\n",
      "[CV]  C=14.333333333333332, gamma=4.555555555555555, score=0.9664554990133971, total=   7.3s\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[CV] C=14.333333333333332, gamma=4.555555555555555 ...................\n",
      "[CV]  C=14.333333333333332, gamma=4.555555555555555, score=0.9658333333333333, total=   7.7s\n",
      "[CV] C=14.333333333333332, gamma=5.0 .................................\n",
      "[CV]  C=14.333333333333332, gamma=4.555555555555555, score=0.9651803346845442, total=   8.8s\n",
      "[CV] C=14.333333333333332, gamma=5.0 .................................\n",
      "[CV]  C=14.333333333333332, gamma=5.0, score=0.9664415584415585, total=  11.0s\n",
      "[CV] C=14.333333333333332, gamma=5.0 .................................\n",
      "[CV]  C=14.333333333333332, gamma=5.0, score=0.9644828663680866, total=  10.6s\n",
      "[CV] C=17.0, gamma=1.0 ...............................................\n",
      "[CV] ...... C=17.0, gamma=1.0, score=0.9674543946932007, total=   5.2s\n",
      "[CV] C=17.0, gamma=1.0 ...............................................\n",
      "[CV]  C=14.333333333333332, gamma=5.0, score=0.9648648648648649, total=  10.1s\n",
      "[CV] C=17.0, gamma=1.0 ...............................................\n",
      "[CV] ...... C=17.0, gamma=1.0, score=0.9654454621149041, total=   5.6s\n",
      "[CV] C=17.0, gamma=1.4444444444444444 ................................\n",
      "[CV] ...... C=17.0, gamma=1.0, score=0.9669713336103033, total=   5.5s\n",
      "[CV] C=17.0, gamma=1.4444444444444444 ................................\n",
      "[CV]  C=17.0, gamma=1.4444444444444444, score=0.9691812804814777, total=   5.6s\n",
      "[CV] C=17.0, gamma=1.4444444444444444 ................................\n",
      "[CV]  C=17.0, gamma=1.4444444444444444, score=0.9661775418878136, total=   5.6s\n",
      "[CV] C=17.0, gamma=1.8888888888888888 ................................\n",
      "[CV]  C=17.0, gamma=1.4444444444444444, score=0.968613593847433, total=   5.6s\n",
      "[CV] C=17.0, gamma=1.8888888888888888 ................................\n",
      "[CV]  C=17.0, gamma=1.8888888888888888, score=0.9687985902353062, total=   5.7s\n",
      "[CV] C=17.0, gamma=1.8888888888888888 ................................\n",
      "[CV]  C=17.0, gamma=1.8888888888888888, score=0.9652228238234069, total=   5.7s\n",
      "[CV] C=17.0, gamma=2.333333333333333 .................................\n",
      "[CV]  C=17.0, gamma=1.8888888888888888, score=0.9692371648305965, total=   5.6s\n",
      "[CV] C=17.0, gamma=2.333333333333333 .................................\n",
      "[CV]  C=17.0, gamma=2.333333333333333, score=0.9685652038593215, total=   6.7s\n",
      "[CV] C=17.0, gamma=2.333333333333333 .................................\n",
      "[CV]  C=17.0, gamma=2.333333333333333, score=0.9654526534859521, total=   6.8s\n",
      "[CV] C=17.0, gamma=2.7777777777777777 ................................\n",
      "[CV]  C=17.0, gamma=2.333333333333333, score=0.9676479766982211, total=   6.7s\n",
      "[CV] C=17.0, gamma=2.7777777777777777 ................................\n",
      "[CV]  C=17.0, gamma=2.7777777777777777, score=0.9669919036744863, total=   6.8s\n",
      "[CV] C=17.0, gamma=2.7777777777777777 ................................\n",
      "[CV]  C=17.0, gamma=2.7777777777777777, score=0.9656898529565128, total=   6.2s\n",
      "[CV] C=17.0, gamma=3.2222222222222223 ................................\n",
      "[CV]  C=17.0, gamma=2.7777777777777777, score=0.967090189543845, total=   6.2s\n",
      "[CV] C=17.0, gamma=3.2222222222222223 ................................\n",
      "[CV]  C=17.0, gamma=3.2222222222222223, score=0.9662758119746808, total=   6.6s\n",
      "[CV] C=17.0, gamma=3.2222222222222223 ................................\n",
      "[CV]  C=17.0, gamma=3.2222222222222223, score=0.9660416666666667, total=   6.3s\n",
      "[CV] C=17.0, gamma=3.6666666666666665 ................................\n",
      "[CV]  C=17.0, gamma=3.2222222222222223, score=0.9660770031217482, total=   6.4s\n",
      "[CV] C=17.0, gamma=3.6666666666666665 ................................\n",
      "[CV]  C=17.0, gamma=3.6666666666666665, score=0.966476388168137, total=   6.7s\n",
      "[CV] C=17.0, gamma=3.6666666666666665 ................................\n",
      "[CV]  C=17.0, gamma=3.6666666666666665, score=0.9654454621149041, total=   6.6s\n",
      "[CV] C=17.0, gamma=4.111111111111111 .................................\n",
      "[CV]  C=17.0, gamma=3.6666666666666665, score=0.9654742096505823, total=   6.6s\n",
      "[CV] C=17.0, gamma=4.111111111111111 .................................\n",
      "[CV]  C=17.0, gamma=4.111111111111111, score=0.9662758119746808, total=   7.1s\n",
      "[CV] C=17.0, gamma=4.111111111111111 .................................\n",
      "[CV]  C=17.0, gamma=4.111111111111111, score=0.9658404499062696, total=   7.0s\n",
      "[CV] C=17.0, gamma=4.555555555555555 .................................\n",
      "[CV]  C=17.0, gamma=4.111111111111111, score=0.9655029093931837, total=   7.0s\n",
      "[CV] C=17.0, gamma=4.555555555555555 .................................\n",
      "[CV]  C=17.0, gamma=4.555555555555555, score=0.9659539132239984, total=   7.5s\n",
      "[CV] C=17.0, gamma=4.555555555555555 .................................\n",
      "[CV]  C=17.0, gamma=4.555555555555555, score=0.9646764613941856, total=   7.8s\n",
      "[CV] C=17.0, gamma=5.0 ...............................................\n",
      "[CV]  C=17.0, gamma=4.555555555555555, score=0.9647719006546814, total=   7.4s\n",
      "[CV] C=17.0, gamma=5.0 ...............................................\n",
      "[CV] ....... C=17.0, gamma=5.0, score=0.967158594886718, total=  10.6s\n",
      "[CV] C=17.0, gamma=5.0 ...............................................\n",
      "[CV] ...... C=17.0, gamma=5.0, score=0.9643898375676802, total=  10.8s\n",
      "[CV] C=19.666666666666664, gamma=1.0 .................................\n",
      "[CV]  C=19.666666666666664, gamma=1.0, score=0.9672335130651182, total=   5.4s\n",
      "[CV] C=19.666666666666664, gamma=1.0 .................................\n",
      "[CV] ....... C=17.0, gamma=5.0, score=0.964033264033264, total=   9.8s\n",
      "[CV] C=19.666666666666664, gamma=1.0 .................................\n",
      "[CV]  C=19.666666666666664, gamma=1.0, score=0.9654310703873387, total=   4.9s\n",
      "[CV] C=19.666666666666664, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=19.666666666666664, gamma=1.0, score=0.9674872753713514, total=   5.1s\n",
      "[CV] C=19.666666666666664, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=19.666666666666664, gamma=1.4444444444444444, score=0.968873210209587, total=   5.4s\n",
      "[CV] C=19.666666666666664, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=19.666666666666664, gamma=1.4444444444444444, score=0.9656393169512703, total=   5.6s\n",
      "[CV] C=19.666666666666664, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=19.666666666666664, gamma=1.4444444444444444, score=0.9690486082260075, total=   6.0s\n",
      "[CV] C=19.666666666666664, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=19.666666666666664, gamma=1.8888888888888888, score=0.9685717249248003, total=   7.9s\n",
      "[CV] C=19.666666666666664, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=19.666666666666664, gamma=1.8888888888888888, score=0.9653305570015617, total=   7.6s\n",
      "[CV] C=19.666666666666664, gamma=2.333333333333333 ...................\n",
      "[CV]  C=19.666666666666664, gamma=1.8888888888888888, score=0.9689027561102443, total=   6.2s\n",
      "[CV] C=19.666666666666664, gamma=2.333333333333333 ...................\n",
      "[CV]  C=19.666666666666664, gamma=2.333333333333333, score=0.9676079734219268, total=   6.8s\n",
      "[CV] C=19.666666666666664, gamma=2.333333333333333 ...................\n",
      "[CV]  C=19.666666666666664, gamma=2.333333333333333, score=0.9658190912880368, total=   6.9s\n",
      "[CV] C=19.666666666666664, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=19.666666666666664, gamma=2.333333333333333, score=0.9679433805162365, total=   6.6s\n",
      "[CV] C=19.666666666666664, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=19.666666666666664, gamma=2.7777777777777777, score=0.9667843055843887, total=   6.9s\n",
      "[CV] C=19.666666666666664, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=19.666666666666664, gamma=2.7777777777777777, score=0.965603502188868, total=   7.8s\n",
      "[CV] C=19.666666666666664, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=19.666666666666664, gamma=2.7777777777777777, score=0.9665799062988026, total=   9.1s\n",
      "[CV] C=19.666666666666664, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=19.666666666666664, gamma=3.2222222222222223, score=0.9659680431624819, total=   9.6s\n",
      "[CV] C=19.666666666666664, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=19.666666666666664, gamma=3.2222222222222223, score=0.9654310703873387, total=   8.0s\n",
      "[CV] C=19.666666666666664, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=19.666666666666664, gamma=3.2222222222222223, score=0.9654813890621752, total=   8.0s\n",
      "[CV] C=19.666666666666664, gamma=3.6666666666666665 ..................\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[CV]  C=19.666666666666664, gamma=3.6666666666666665, score=0.9653598838415266, total=   9.8s\n",
      "[CV] C=19.666666666666664, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=19.666666666666664, gamma=3.6666666666666665, score=0.9659410478075201, total=   9.1s\n",
      "[CV] C=19.666666666666664, gamma=4.111111111111111 ...................\n",
      "[CV]  C=19.666666666666664, gamma=3.6666666666666665, score=0.9655960918823406, total=   8.1s\n",
      "[CV] C=19.666666666666664, gamma=4.111111111111111 ...................\n",
      "[CV]  C=19.666666666666664, gamma=4.111111111111111, score=0.9654385054488843, total=   8.8s\n",
      "[CV] C=19.666666666666664, gamma=4.111111111111111 ...................\n",
      "[CV]  C=19.666666666666664, gamma=4.111111111111111, score=0.9649854105877449, total=   8.8s\n",
      "[CV] C=19.666666666666664, gamma=4.555555555555555 ...................\n",
      "[CV]  C=19.666666666666664, gamma=4.111111111111111, score=0.96530951391774, total=   7.7s\n",
      "[CV] C=19.666666666666664, gamma=4.555555555555555 ...................\n",
      "[CV]  C=19.666666666666664, gamma=4.555555555555555, score=0.9661544850498338, total=   8.6s\n",
      "[CV] C=19.666666666666664, gamma=4.555555555555555 ...................\n",
      "[CV]  C=19.666666666666664, gamma=4.555555555555555, score=0.9637500000000001, total=   9.6s\n",
      "[CV] C=19.666666666666664, gamma=5.0 .................................\n",
      "[CV]  C=19.666666666666664, gamma=4.555555555555555, score=0.9643414076307308, total=   8.5s\n",
      "[CV] C=19.666666666666664, gamma=5.0 .................................\n",
      "[CV]  C=19.666666666666664, gamma=5.0, score=0.9670443913088679, total=  11.3s\n",
      "[CV] C=19.666666666666664, gamma=5.0 .................................\n",
      "[CV]  C=19.666666666666664, gamma=5.0, score=0.9646985317088409, total=  11.5s\n",
      "[CV] C=22.333333333333332, gamma=1.0 .................................\n",
      "[CV]  C=22.333333333333332, gamma=1.0, score=0.9670398009950248, total=   6.2s\n",
      "[CV] C=22.333333333333332, gamma=1.0 .................................\n",
      "[CV]  C=19.666666666666664, gamma=5.0, score=0.9652950955943475, total=  11.8s\n",
      "[CV] C=22.333333333333332, gamma=1.0 .................................\n",
      "[CV]  C=22.333333333333332, gamma=1.0, score=0.9656464709556528, total=   5.4s\n",
      "[CV] C=22.333333333333332, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=22.333333333333332, gamma=1.0, score=0.9676950244105121, total=   5.4s\n",
      "[CV] C=22.333333333333332, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=22.333333333333332, gamma=1.4444444444444444, score=0.968665698277651, total=   6.3s\n",
      "[CV] C=22.333333333333332, gamma=1.4444444444444444 ..................\n",
      "[CV]  C=22.333333333333332, gamma=1.4444444444444444, score=0.965847563515202, total=   5.9s\n",
      "[CV] C=22.333333333333332, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=22.333333333333332, gamma=1.4444444444444444, score=0.9688408807644371, total=   6.1s\n",
      "[CV] C=22.333333333333332, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=22.333333333333332, gamma=1.8888888888888888, score=0.9687467552694424, total=   6.4s\n",
      "[CV] C=22.333333333333332, gamma=1.8888888888888888 ..................\n",
      "[CV]  C=22.333333333333332, gamma=1.8888888888888888, score=0.9654382677493233, total=   6.1s\n",
      "[CV] C=22.333333333333332, gamma=2.333333333333333 ...................\n",
      "[CV]  C=22.333333333333332, gamma=1.8888888888888888, score=0.9683597002497918, total=   6.4s\n",
      "[CV] C=22.333333333333332, gamma=2.333333333333333 ...................\n",
      "[CV]  C=22.333333333333332, gamma=2.333333333333333, score=0.9667843055843887, total=   6.8s\n",
      "[CV] C=22.333333333333332, gamma=2.333333333333333 ...................\n",
      "[CV]  C=22.333333333333332, gamma=2.333333333333333, score=0.9652871885750026, total=   6.6s\n",
      "[CV] C=22.333333333333332, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=22.333333333333332, gamma=2.333333333333333, score=0.967842647517952, total=   6.3s\n",
      "[CV] C=22.333333333333332, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=22.333333333333332, gamma=2.7777777777777777, score=0.9662828094200643, total=   6.7s\n",
      "[CV] C=22.333333333333332, gamma=2.7777777777777777 ..................\n",
      "[CV]  C=22.333333333333332, gamma=2.7777777777777777, score=0.9657255964162934, total=   6.5s\n",
      "[CV] C=22.333333333333332, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=22.333333333333332, gamma=2.7777777777777777, score=0.9660558100791337, total=   6.3s\n",
      "[CV] C=22.333333333333332, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=22.333333333333332, gamma=3.2222222222222223, score=0.9660753190164956, total=   7.2s\n",
      "[CV] C=22.333333333333332, gamma=3.2222222222222223 ..................\n",
      "[CV]  C=22.333333333333332, gamma=3.2222222222222223, score=0.9648136581303353, total=   7.0s\n",
      "[CV] C=22.333333333333332, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=22.333333333333332, gamma=3.2222222222222223, score=0.9653666146645866, total=   7.2s\n",
      "[CV] C=22.333333333333332, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=22.333333333333332, gamma=3.6666666666666665, score=0.9648522550544323, total=   7.5s\n",
      "[CV] C=22.333333333333332, gamma=3.6666666666666665 ..................\n",
      "[CV]  C=22.333333333333332, gamma=3.6666666666666665, score=0.9660558100791337, total=   7.6s\n",
      "[CV] C=22.333333333333332, gamma=4.111111111111111 ...................\n",
      "[CV]  C=22.333333333333332, gamma=3.6666666666666665, score=0.9651875714434168, total=   7.3s\n",
      "[CV] C=22.333333333333332, gamma=4.111111111111111 ...................\n",
      "[CV]  C=22.333333333333332, gamma=4.111111111111111, score=0.9654456781155962, total=   7.8s\n",
      "[CV] C=22.333333333333332, gamma=4.111111111111111 ...................\n",
      "[CV]  C=22.333333333333332, gamma=4.111111111111111, score=0.9641666666666667, total=   7.2s\n",
      "[CV] C=22.333333333333332, gamma=4.555555555555555 ...................\n",
      "[CV]  C=22.333333333333332, gamma=4.111111111111111, score=0.9647792207792207, total=   8.7s\n",
      "[CV] C=22.333333333333332, gamma=4.555555555555555 ...................\n",
      "[CV]  C=22.333333333333332, gamma=4.555555555555555, score=0.966147455867082, total=   9.5s\n",
      "[CV] C=22.333333333333332, gamma=4.555555555555555 ...................\n",
      "[CV]  C=22.333333333333332, gamma=4.555555555555555, score=0.9640812077043206, total=   9.1s\n",
      "[CV] C=22.333333333333332, gamma=5.0 .................................\n",
      "[CV]  C=22.333333333333332, gamma=4.555555555555555, score=0.9632865314612584, total=   7.8s\n",
      "[CV] C=22.333333333333332, gamma=5.0 .................................\n",
      "[CV]  C=22.333333333333332, gamma=5.0, score=0.9667428808979421, total=  11.8s\n",
      "[CV] C=22.333333333333332, gamma=5.0 .................................\n",
      "[CV]  C=22.333333333333332, gamma=5.0, score=0.9646838212313783, total=  11.6s\n",
      "[CV] C=25.0, gamma=1.0 ...............................................\n",
      "[CV] ...... C=25.0, gamma=1.0, score=0.9680630443799254, total=   6.3s\n",
      "[CV] C=25.0, gamma=1.0 ...............................................\n",
      "[CV]  C=22.333333333333332, gamma=5.0, score=0.9640556825264908, total=  11.7s\n",
      "[CV] C=25.0, gamma=1.0 ...............................................\n",
      "[CV] ....... C=25.0, gamma=1.0, score=0.965854674161982, total=   6.4s\n",
      "[CV] C=25.0, gamma=1.4444444444444444 ................................\n",
      "[CV] ...... C=25.0, gamma=1.0, score=0.9680033243299399, total=   6.6s\n",
      "[CV] C=25.0, gamma=1.4444444444444444 ................................\n",
      "[CV]  C=25.0, gamma=1.4444444444444444, score=0.968364277564568, total=   6.8s\n",
      "[CV] C=25.0, gamma=1.4444444444444444 ................................\n",
      "[CV]  C=25.0, gamma=1.4444444444444444, score=0.9659552316501823, total=   6.9s\n",
      "[CV] C=25.0, gamma=1.8888888888888888 ................................\n",
      "[CV]  C=25.0, gamma=1.4444444444444444, score=0.968613593847433, total=   6.3s\n",
      "[CV] C=25.0, gamma=1.8888888888888888 ................................\n",
      "[CV]  C=25.0, gamma=1.8888888888888888, score=0.9682374922150715, total=   6.8s\n",
      "[CV] C=25.0, gamma=1.8888888888888888 ................................\n",
      "[CV]  C=25.0, gamma=1.8888888888888888, score=0.9651223321186881, total=   6.8s\n",
      "[CV] C=25.0, gamma=2.333333333333333 .................................\n",
      "[CV]  C=25.0, gamma=1.8888888888888888, score=0.9680574341899906, total=   6.5s\n",
      "[CV] C=25.0, gamma=2.333333333333333 .................................\n",
      "[CV]  C=25.0, gamma=2.333333333333333, score=0.9665697674418605, total=   6.2s\n",
      "[CV] C=25.0, gamma=2.333333333333333 .................................\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[CV]  C=25.0, gamma=2.333333333333333, score=0.9653878231859883, total=   6.1s\n",
      "[CV] C=25.0, gamma=2.7777777777777777 ................................\n",
      "[CV]  C=25.0, gamma=2.333333333333333, score=0.967741935483871, total=   6.5s\n",
      "[CV] C=25.0, gamma=2.7777777777777777 ................................\n",
      "[CV]  C=25.0, gamma=2.7777777777777777, score=0.9657534246575343, total=   6.8s\n",
      "[CV] C=25.0, gamma=2.7777777777777777 ................................\n",
      "[CV]  C=25.0, gamma=2.7777777777777777, score=0.9648994896364961, total=   6.4s\n",
      "[CV] C=25.0, gamma=3.2222222222222223 ................................\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[Parallel(n_jobs=2)]: Done 284 tasks      | elapsed: 20.0min\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[CV]  C=25.0, gamma=2.7777777777777777, score=0.96617050067659, total=   6.5s\n",
      "[CV] C=25.0, gamma=3.2222222222222223 ................................\n",
      "[CV]  C=25.0, gamma=3.2222222222222223, score=0.9655530192986097, total=   7.2s\n",
      "[CV] C=25.0, gamma=3.2222222222222223 ................................\n",
      "[CV]  C=25.0, gamma=3.2222222222222223, score=0.9649927068139196, total=   6.8s\n",
      "[CV] C=25.0, gamma=3.6666666666666665 ................................\n",
      "[CV]  C=25.0, gamma=3.2222222222222223, score=0.9654742096505823, total=   6.9s\n",
      "[CV] C=25.0, gamma=3.6666666666666665 ................................\n",
      "[CV]  C=25.0, gamma=3.6666666666666665, score=0.9647376063057457, total=   7.0s\n",
      "[CV] C=25.0, gamma=3.6666666666666665 ................................\n",
      "[CV]  C=25.0, gamma=3.6666666666666665, score=0.9650000000000001, total=   7.0s\n",
      "[CV] C=25.0, gamma=4.111111111111111 .................................\n",
      "[CV]  C=25.0, gamma=3.6666666666666665, score=0.9647792207792207, total=   6.8s\n",
      "[CV] C=25.0, gamma=4.111111111111111 .................................\n",
      "[CV]  C=25.0, gamma=4.111111111111111, score=0.9660400872364732, total=   7.1s\n",
      "[CV] C=25.0, gamma=4.111111111111111 .................................\n",
      "[CV]  C=25.0, gamma=4.111111111111111, score=0.9641890485113471, total=   7.4s\n",
      "[CV] C=25.0, gamma=4.555555555555555 .................................\n",
      "[CV]  C=25.0, gamma=4.111111111111111, score=0.9643488202889513, total=   7.1s\n",
      "[CV] C=25.0, gamma=4.555555555555555 .................................\n",
      "[CV]  C=25.0, gamma=4.555555555555555, score=0.9659256181175981, total=   8.6s\n",
      "[CV] C=25.0, gamma=4.555555555555555 .................................\n",
      "[CV]  C=25.0, gamma=4.555555555555555, score=0.9637726420986883, total=   8.6s\n",
      "[CV] C=25.0, gamma=5.0 ...............................................\n",
      "[CV]  C=25.0, gamma=4.555555555555555, score=0.9636098981077147, total=   8.8s\n",
      "[CV] C=25.0, gamma=5.0 ...............................................\n",
      "[CV] ....... C=25.0, gamma=5.0, score=0.966541978387365, total=  12.4s\n",
      "[CV] C=25.0, gamma=5.0 ...............................................\n",
      "[CV] ...... C=25.0, gamma=5.0, score=0.9642596644784829, total=  11.9s\n",
      "[CV] ...... C=25.0, gamma=5.0, score=0.9638403990024937, total=   9.6s\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[Parallel(n_jobs=2)]: Done 300 out of 300 | elapsed: 21.3min finished\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Best SVM with:\n",
      "\tC: 3.6666666666666665\n",
      "\tgamma: 4.111111111111111\n",
      "\tBest Score (F1): 0.9691136727049655\n",
      "Performance on the test set (7200 samples):\n",
      "\tAccuracy Score: 0.9676388888888889\n",
      "\tArea under ROC curve: 0.9676185993394858\n",
      "\tClassification report (on the test set):\n",
      "             precision    recall  f1-score   support\n",
      "\n",
      "          0       0.96      0.97      0.97      3620\n",
      "          1       0.97      0.96      0.97      3580\n",
      "\n",
      "avg / total       0.97      0.97      0.97      7200\n",
      "\n"
     ]
    }
   ],
   "source": [
    "from sklearn.svm import SVC\n",
    "from sklearn.model_selection import GridSearchCV\n",
    "from sklearn.metrics import classification_report\n",
    "from sklearn.metrics import accuracy_score\n",
    "from sklearn.metrics import roc_auc_score\n",
    "from sklearn.metrics import f1_score\n",
    "\n",
    "\n",
    "svm_params = [\n",
    "    { \"C\": np.linspace(1, 25, 10), \"gamma\": np.linspace(1, 5, 10) },\n",
    "]\n",
    "\n",
    "grid_search_cv = GridSearchCV(estimator=SVC(kernel=\"rbf\"), param_grid=svm_params, n_jobs=2, scoring=\"f1\", verbose=3)\n",
    "grid_search_cv.fit(train_set, train_labels)\n",
    "predictions = grid_search_cv.predict(test_set)\n",
    "\n",
    "print(\"Best SVM with:\")\n",
    "print(\"\\tC:\", grid_search_cv.best_params_[\"C\"])\n",
    "print(\"\\tgamma:\", grid_search_cv.best_params_[\"gamma\"])\n",
    "print(\"\\tBest Score (F1):\", grid_search_cv.best_score_)\n",
    "print(\"Performance on the test set (%d samples):\" % len(test_set))\n",
    "print(\"\\tAccuracy Score:\", accuracy_score(test_labels, predictions))\n",
    "print(\"\\tArea under ROC curve:\", roc_auc_score(test_labels, predictions))\n",
    "print(\"\\tClassification report (on the test set):\")\n",
    "print(classification_report(test_labels, predictions))\n",
    "\n",
    "# Export the best estimator:\n",
    "pickle.dump(grid_search_cv.best_estimator_, open(\"svm\", \"wb\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "pycharm": {
     "name": "#%%\n"
    }
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}