parsing and preparing data.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Парсинг и подготовка данных\n",
    "Большая и слабоструктурированная тетрадка с парсингом данных на разных этапах работы"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "import random\n",
    "import pymorphy2\n",
    "import pandas as pd\n",
    "import requests\n",
    "from string import punctuation\n",
    "from collections import Counter\n",
    "from pprint import pprint\n",
    "from nltk import ngrams\n",
    "\n",
    "morph = pymorphy2.MorphAnalyzer()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "TOKEN = TOKEN  # insert yours here\n",
    "post_step = 100\n",
    "comment_step = 100"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Первый этап: данные для проверки гипотезы"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Критерии для пабликов: \n",
    "* много активности = ответов на комментарии, дискуссий\n",
    "* комментарии открыты\n",
    "* автоматическая модерация по ключевым словам\n",
    "* отсутствие ручной модерации (чтобы комментарии с замаскированными ругательствами не удаляли)\n",
    "* спорная тематика - чтобы был повод для агрессии. Это одновременно и необходимость, и огранчение\n",
    "\n",
    "Паблики:\n",
    "* лентач (новости, политика)\n",
    "* медуза (новости, политика)\n",
    "* дождь (новости, политика)  \n",
    "мдк, двач, раша тудей, первый канал, риа новости, икволити, новая газета, эхо москвы, госдума и несколько других не подошли - либо нет автоматической модерации, либо есть ручная, либо нет второй стороны для споров, либо нет комментариев вообще  \n",
    "\n",
    "\n",
    "Ограничение на тематику:\n",
    "* в развлекательных пабликах часто нет фильтра на мат\n",
    "* в тематических пабликах нет повода для споров и применения грубой лексики\n",
    "* в пабликах на спорные чувствительные темы (например, правозащита или активизм) часто ручная модерация\n",
    "* в провластных пабликах нет противоположного мнения\n",
    "Видимо, подходят только условно оппозиционные паблики, куда часто приходят ругаться с \"противоположной\" стороны"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "meduza_id = -76982440\n",
    "lentach_id = -29534144\n",
    "dozhd_id = -17568841"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_post_ids(group_id, n_posts):\n",
    "    \"\"\"\n",
    "    collects given number of post ids\n",
    "    \"\"\"\n",
    "    post_ids = []\n",
    "    for off in range(0, n_posts, post_step): \n",
    "        data = requests.get(\n",
    "            'https://api.vk.com/method/wall.get', \n",
    "            params={\n",
    "                \"owner_id\": group_id,\n",
    "                \"count\": post_step,\n",
    "                \"v\":\"5.131\",\n",
    "                \"offset\": off,\n",
    "                \"access_token\": TOKEN\n",
    "            }\n",
    "        ).json()\n",
    "        for item in data['response']['items']:\n",
    "            post_ids.append(item['id'])\n",
    "    return post_ids"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_comment_texts(group_id, post_id_list, threshold):\n",
    "    \"\"\"\n",
    "    collects comments from given posts, stops at a threshold\n",
    "    \"\"\"\n",
    "    comments = []\n",
    "    for post_id in post_id_list:\n",
    "        for off in range(0, 1000, comment_step):\n",
    "            data = requests.get(\n",
    "                'https://api.vk.com/method/wall.getComments', \n",
    "                params={\n",
    "                    \"owner_id\": group_id,\n",
    "                    \"post_id\": post_id,\n",
    "                    \"preview_length\": 0,\n",
    "                    \"thread_items_count\": 10, # max 10\n",
    "                    \"count\": comment_step, # def 10, max 100\n",
    "                    \"v\":\"5.131\",\n",
    "                    \"offset\": off,\n",
    "                    \"access_token\": TOKEN\n",
    "                }\n",
    "            ).json()\n",
    "            # pprint(data)\n",
    "            for item in data['response']['items']:\n",
    "                comments.append(item['text'])\n",
    "                if item['thread']['count'] > 0:\n",
    "                    for reply_comment in item['thread']['items']:\n",
    "                        comments.append(reply_comment['text'])\n",
    "        if len(comments) > threshold:\n",
    "            break\n",
    "    return comments"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "groups = [meduza_id, lentach_id, dozhd_id]\n",
    "\n",
    "def parse(n_posts, threshold):\n",
    "    \"\"\"\n",
    "    runs parsing and writes data to corpus dictionary\n",
    "    \"\"\"\n",
    "    comment_corpus = {'source': ['медуза']*threshold + ['лентач']*threshold + ['дождь']*threshold,\n",
    "                      'comments': []}\n",
    "\n",
    "    for group_id in groups:\n",
    "        post_ids = get_post_ids(group_id, n_posts)\n",
    "        post_comments = get_comment_texts(group_id, post_ids, threshold)\n",
    "        comment_corpus['comments'].extend(post_comments[:threshold])\n",
    "\n",
    "    return comment_corpus"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# corpus = parse(100, 1000)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source</th>\n",
       "      <th>comments</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Григорий Спел)))</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Только новую серию Намедни закончил смотреть и...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>медуза</td>\n",
       "      <td>А будет ли фильм Русские русские?</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id415480453|Олег], есть же, \"Цвет нации\".</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Что бы ни делал Леонид Геннадьевич - шедеврально.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2995</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id138280294|Антон], не повторяйся бот</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2996</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id49464409|Анатолий],  Это констатация факта....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2997</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id138280294|Антон], утром методичку новую дали</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2998</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id49464409|Анатолий], ага, Байден все делает ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2999</th>\n",
       "      <td>дождь</td>\n",
       "      <td>Есть ещё в России настоящие офицеры! Преподава...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>3000 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      source                                           comments\n",
       "0     медуза                                   Григорий Спел)))\n",
       "1     медуза  Только новую серию Намедни закончил смотреть и...\n",
       "2     медуза                  А будет ли фильм Русские русские?\n",
       "3     медуза         [id415480453|Олег], есть же, \"Цвет нации\".\n",
       "4     медуза  Что бы ни делал Леонид Геннадьевич - шедеврально.\n",
       "...      ...                                                ...\n",
       "2995   дождь             [id138280294|Антон], не повторяйся бот\n",
       "2996   дождь  [id49464409|Анатолий],  Это констатация факта....\n",
       "2997   дождь    [id138280294|Антон], утром методичку новую дали\n",
       "2998   дождь  [id49464409|Анатолий], ага, Байден все делает ...\n",
       "2999   дождь  Есть ещё в России настоящие офицеры! Преподава...\n",
       "\n",
       "[3000 rows x 2 columns]"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "corpus_df = pd.DataFrame(comment_corpus)\n",
    "corpus_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [],
   "source": [
    "corpus_df.to_csv('vk_corpus.csv', encoding='utf-8', sep='\\t')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Новые данные для нейросети"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Варианты датасетов для мультитаск нейросети:**\n",
    "\n",
    "* данные для двух задач - оба только мои по вк\n",
    "    * токсичность (2874 токс+нетокс немаск + 4.2% (126 шт) токс+нетокс маск)\n",
    "    * маскировка (1800 маск+немаск (900 детекшн и разметка и 900 аугментация))\n",
    "\n",
    "* данные для двух задач - все имеющиеся по токсичности, только мой по маскировкам\n",
    "    * токсичность (2874 токс+нетокс немаск + 4.2% (126 шт) токс+нетокс маск + все остальные маск+немаск)\n",
    "    * маскировка (1800 маск+немаск (900 детекшн и разметка и 900 аугментация))    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Парсинг новых комментов"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "def parse_one(group_id, n_posts, threshold):\n",
    "    \"\"\"\n",
    "    parses comments for one group\n",
    "    \"\"\"\n",
    "    post_ids = get_post_ids(group_id, n_posts)\n",
    "    post_comments = get_comment_texts(group_id, post_ids, threshold)\n",
    "    \n",
    "    return post_comments"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "6052\n"
     ]
    }
   ],
   "source": [
    "meduza_comments = parse_one(meduza_id, n_posts=400, threshold=14500)\n",
    "print(len(meduza_comments))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "6362\n"
     ]
    }
   ],
   "source": [
    "meduza_comments2 = parse_one(meduza_id, n_posts=400, threshold=14500)\n",
    "print(len(meduza_comments2))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "all_meduza_comments = meduza_comments + meduza_comments2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('all_meduza_comments.txt', 'w', encoding='UTF-8') as f:\n",
    "    for comment in all_meduza_comments:\n",
    "        f.write(comment + '\\n--\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "14835\n"
     ]
    }
   ],
   "source": [
    "lentach_comments = parse_one(lentach_id, n_posts=400, threshold=14500)\n",
    "print(len(lentach_comments))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('all_lentach_comments.txt', 'w', encoding='UTF-8') as f:\n",
    "    for comment in lentach_comments:\n",
    "        f.write(comment + '\\n--\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "14510\n"
     ]
    }
   ],
   "source": [
    "dozhd_comments = parse_one(dozhd_id, n_posts=400, threshold=14500)\n",
    "print(len(dozhd_comments))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 87,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('all_dozhd_comments.txt', 'w', encoding='UTF-8') as f:\n",
    "    for comment in dozhd_comments:\n",
    "        f.write(comment + '\\n--\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "12414 14835\n"
     ]
    }
   ],
   "source": [
    "print(len(all_meduza_comments), len(lentach_comments))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source</th>\n",
       "      <th>comments</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Да как же вы так заблокированы, коли в контакте чуть не чаще ФАН отмечаетесь?</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id283595911|Владимир], ФАН-это унылое пригожинское говно. Не нужно сравнивать его с Медузой! А Медузу мы и так читаем и видим.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id183748796|Сергей], я не оцениваю, я констатирую.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id283595911|Владимир], можно было это фуфло не упоминать. Уважающий себя человек это говно не читает.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id183748796|Сергей], да бог с вами, читайте что хотите!</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   source  \\\n",
       "0  медуза   \n",
       "1  медуза   \n",
       "2  медуза   \n",
       "3  медуза   \n",
       "4  медуза   \n",
       "\n",
       "                                                                                                                          comments  \n",
       "0                                                    Да как же вы так заблокированы, коли в контакте чуть не чаще ФАН отмечаетесь?  \n",
       "1  [id283595911|Владимир], ФАН-это унылое пригожинское говно. Не нужно сравнивать его с Медузой! А Медузу мы и так читаем и видим.  \n",
       "2                                                                              [id183748796|Сергей], я не оцениваю, я констатирую.  \n",
       "3                           [id283595911|Владимир], можно было это фуфло не упоминать. Уважающий себя человек это говно не читает.  \n",
       "4                                                                         [id183748796|Сергей], да бог с вами, читайте что хотите!  "
      ]
     },
     "execution_count": 89,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# create corpus\n",
    "new_comments = {'source': ['медуза']*len(all_meduza_comments) + \\\n",
    "                          ['лентач']*len(lentach_comments) + \\\n",
    "                          ['дождь']*len(dozhd_comments),\n",
    "                'comments': []}\n",
    "new_comments['comments'].extend(all_meduza_comments)\n",
    "new_comments['comments'].extend(lentach_comments)\n",
    "new_comments['comments'].extend(dozhd_comments)\n",
    "\n",
    "second_sample = pd.DataFrame(new_comments)\n",
    "second_sample.head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "41759"
      ]
     },
     "execution_count": 90,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(second_sample)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "41665"
      ]
     },
     "execution_count": 91,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# delete comments that were included in the first sample\n",
    "first_sample = pd.read_csv('корпуса/vk_labeled.tsv', sep='\\t')\n",
    "clean_second_sample = second_sample[~second_sample.comments.isin(first_sample.comments)]\n",
    "len(clean_second_sample) # approx. 40k"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "pd.set_option('display.max_colwidth', None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 93,
   "metadata": {},
   "outputs": [],
   "source": [
    "clean_second_sample = clean_second_sample.sample(len(clean_second_sample))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 95,
   "metadata": {},
   "outputs": [],
   "source": [
    "clean_second_sample.to_csv('vk_corpus_total.csv', encoding='utf-8', sep='\\t')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Детекция комментариев с возможными маскировками"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 708,
   "metadata": {},
   "outputs": [],
   "source": [
    "vk_link = re.compile('^\\[.*?|.*?\\], ')\n",
    "http_link = re.compile('https?[0-9a-zA-Z.:/]*')\n",
    "digits = re.compile('^\\d+ | \\d+ | \\d+$')\n",
    "punct = re.compile('^[\\W\\d]+ | [\\W\\d]+ | [\\W\\d]+$')\n",
    "nonletters = re.compile('[^а-яёА-ЯЁ ,]')\n",
    "spec_letters = [re.compile(item) for item in ['йо', '^мл', 'цц', '^ип']]\n",
    "emoji = re.compile(pattern = \"[\"\n",
    "        u\"\\U0001F600-\\U0001F64F\"  # emoticons\n",
    "        u\"\\U0001F300-\\U0001F5FF\"  # symbols & pictographs\n",
    "        u\"\\U0001F680-\\U0001F6FF\"  # transport & map symbols\n",
    "        u\"\\U0001F1E0-\\U0001F1FF\"  # flags (iOS)\n",
    "                           \"]+\", flags = re.UNICODE)\n",
    "\n",
    "def check_comment(text, debug=False):\n",
    "    \"\"\"\n",
    "    checks given comments for signs of present distortion \n",
    "    \"\"\"\n",
    "    # step 1: remove links\n",
    "    if text.startswith('['):\n",
    "        text = re.sub(vk_link, '', text)\n",
    "    text = re.sub(http_link, '', text)\n",
    "    # step 2: remove separate numbers\n",
    "    text = re.sub(digits, ' ', text)\n",
    "    # step 3: remove single punctuations\n",
    "    text = re.sub(punct, ' ', text)\n",
    "    # step 4: remove emojis\n",
    "    text = re.sub(emoji, '', text)\n",
    "    # step 5: rstrip some punctuation for remaining words (or there will be too many false positives)\n",
    "    text = ' '.join([token.rstrip('!\"\\'),-.:;?»…”').lstrip('“«\"\\'') for token in text.split()])\n",
    "    # step 6: remove dashes that are not used for distortions\n",
    "    for dashed_word in ['-то', '-либо', '-нибудь', 'из-за', 'из-под', '-петербург', 'кое-', '-таки']:\n",
    "        text = text.replace(dashed_word, '')\n",
    "    # step 7: if [^а-яёА-ЯЁ ,] pattern is in the remaining string - it's probably a distortion example\n",
    "    if bool(re.search(nonletters, text)):\n",
    "        if debug:\n",
    "            print(re.search(nonletters, text))\n",
    "        return True\n",
    "    # step six: if special letter pattern (йо, ^мл, цц, ^ип) is in -> True\n",
    "    if any(bool(re.search(pattern, text)) for pattern in spec_letters):\n",
    "        if debug:\n",
    "            print([re.search(pattern, text) for pattern in spec_letters])\n",
    "        return True\n",
    "    # does not take into account distortions with punctuation on the right, commas, letter duplications or deletions\n",
    "    return False"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 97,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "9429\n"
     ]
    }
   ],
   "source": [
    "detected_distortions = clean_second_sample[clean_second_sample['comments'].apply(check_comment)]\n",
    "print(len(detected_distortions))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 98,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source</th>\n",
       "      <th>comments</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>6753</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Идея \"быть украинцем\" это примерно процентов на 20 результат украинизации австро-венгерской (например, с помощью концлагеря Телергоф и др.), и на оставшиеся 80 - советской.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>165</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id83411201|Анар], всё еще впереди! И колбаса дяди Вовы, которую он положил на будущее страны. Со скрепным вкусом птицы-мехобвалки и белкового стабилизатора \"свиная шкурка\".</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22698</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id24769898|Григорий], и как х0хлы скулят и как Зеля попрошайничает и своих на Азовстали бросает 💩</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22644</th>\n",
       "      <td>лентач</td>\n",
       "      <td>Бантустан Украина гордо и красиво раскинулся на русских просторах УССР-СССР ,подаренных Киеву сифилитиком В Ульяновым в 1918-1922 гг. В 2014 г,после \"Революции Достоинства\" в Киеве, я предлагал друзьям-украинцам провести пограничное цивилизованное размежевание с РФ,как провели его Франция-Германия (референдумы,опросы,переселение,выплата компенсаций и т д).\"Всё наше\"-сказали украинцы. \"Не проглотите,обделаетесь кровавым поносом\"-предупредил я БЫВШИХ братьев. \"За призывы к референдумам мы тебя отыщем и удавим\"-пригрозили мне украинцы и отправились на танках покорять русский Донбасс.Украинцы сегодня умирают за Родину-Украину,не понимая, что её у них уже украли и они умирают за Новую Великую Хазарию. В Природе тоже так бывает, из локона гусеницы, инфицированной яйцами ос, весной вылетит не бабочка, о осиный рой.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33829</th>\n",
       "      <td>дождь</td>\n",
       "      <td>Время обьявить ввп международным террористом# Можно и по-тихому, всё как он любит )))))</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10478</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Ник - реально сопливый холуеныш-пидорок,  осваивающий профессию проститутки:)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3816</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id349297371|Алексей], зачем жители Донбасса призывали в 2014 году Путина ввести войска и начать войну?Не понимают последствия своих действий лишь те, кто недостаточно хорошо изучал историю, которая очень часто повторяется.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1299</th>\n",
       "      <td>медуза</td>\n",
       "      <td>урок всем, выбирающим непрофессиональных президентов, будь то артист или кгб-шник! президент должен быть политологом, историком и дипломатом!</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32268</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id617119893|Dan], такие как ты - да.✌</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19800</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id555441796|Аркадий], лгунишка. https://www.theguardian.com/world/2022/apr/24/dozens-bucha-civilians-killed-flechettes-metal-darts-russian-artillery</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29101</th>\n",
       "      <td>дождь</td>\n",
       "      <td>Откуда они берут эти данные \\n\\nПридумывают что-ли?</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26623</th>\n",
       "      <td>лентач</td>\n",
       "      <td>Так и призвание варягов в 862м году тоже не в Киеве было, но админ лентача об этом не в курсе )</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14966</th>\n",
       "      <td>лентач</td>\n",
       "      <td>&gt;Риск ядерной войны реален, эту опасность нельзя недооценивать. При этом ядерная война недопустима и это принципиальная позиция Москвы\\n\\nЕсли говорят что с позиции кремля она недопустима, стоит насторожиться\\n\\nТолько личный врач бункерного деда ведает что в башке у этого свихнувшегося карлика</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23229</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id315022513|Даниил],</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28658</th>\n",
       "      <td>дождь</td>\n",
       "      <td>...Поляки пыхтели, поляки вздыхали, \\nИ в спину со злостью глядели Ивану, \\nНо так как дороги поляки не знали, \\nТо шли по лесам, как отара баранов,\\nПрошло две недели, поляки худые, \\nВ мешках ведь ни сала и не сухаря, \\nА хитрый Сусанин поддерживал силы, \\nОрешки и ягоду ел в тихоря,\\nИ бросил отряд он в таких буераках, \\nЧто сам еле вышел оттуда живой, \\nНо вышел Иван, посрамив тех поляков, \\nИ храбрым героем вернулся домой,\\nСидит на завалинке, смотрит зарницу, \\nНе пьет и не курит, чтоб быть очень сильным, \\nИ ждет с не терпеньем гостей - интуристов, \\nЧтоб им показать все красоты России !</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       source  \\\n",
       "6753   медуза   \n",
       "165    медуза   \n",
       "22698  лентач   \n",
       "22644  лентач   \n",
       "33829   дождь   \n",
       "10478  медуза   \n",
       "3816   медуза   \n",
       "1299   медуза   \n",
       "32268   дождь   \n",
       "19800  лентач   \n",
       "29101   дождь   \n",
       "26623  лентач   \n",
       "14966  лентач   \n",
       "23229  лентач   \n",
       "28658   дождь   \n",
       "\n",
       "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  comments  \n",
       "6753                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          Идея \"быть украинцем\" это примерно процентов на 20 результат украинизации австро-венгерской (например, с помощью концлагеря Телергоф и др.), и на оставшиеся 80 - советской.  \n",
       "165                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          [id83411201|Анар], всё еще впереди! И колбаса дяди Вовы, которую он положил на будущее страны. Со скрепным вкусом птицы-мехобвалки и белкового стабилизатора \"свиная шкурка\".  \n",
       "22698                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   [id24769898|Григорий], и как х0хлы скулят и как Зеля попрошайничает и своих на Азовстали бросает 💩  \n",
       "22644  Бантустан Украина гордо и красиво раскинулся на русских просторах УССР-СССР ,подаренных Киеву сифилитиком В Ульяновым в 1918-1922 гг. В 2014 г,после \"Революции Достоинства\" в Киеве, я предлагал друзьям-украинцам провести пограничное цивилизованное размежевание с РФ,как провели его Франция-Германия (референдумы,опросы,переселение,выплата компенсаций и т д).\"Всё наше\"-сказали украинцы. \"Не проглотите,обделаетесь кровавым поносом\"-предупредил я БЫВШИХ братьев. \"За призывы к референдумам мы тебя отыщем и удавим\"-пригрозили мне украинцы и отправились на танках покорять русский Донбасс.Украинцы сегодня умирают за Родину-Украину,не понимая, что её у них уже украли и они умирают за Новую Великую Хазарию. В Природе тоже так бывает, из локона гусеницы, инфицированной яйцами ос, весной вылетит не бабочка, о осиный рой.  \n",
       "33829                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              Время обьявить ввп международным террористом# Можно и по-тихому, всё как он любит )))))  \n",
       "10478                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        Ник - реально сопливый холуеныш-пидорок,  осваивающий профессию проститутки:)  \n",
       "3816                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       [id349297371|Алексей], зачем жители Донбасса призывали в 2014 году Путина ввести войска и начать войну?Не понимают последствия своих действий лишь те, кто недостаточно хорошо изучал историю, которая очень часто повторяется.  \n",
       "1299                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         урок всем, выбирающим непрофессиональных президентов, будь то артист или кгб-шник! президент должен быть политологом, историком и дипломатом!  \n",
       "32268                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               [id617119893|Dan], такие как ты - да.✌  \n",
       "19800                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                [id555441796|Аркадий], лгунишка. https://www.theguardian.com/world/2022/apr/24/dozens-bucha-civilians-killed-flechettes-metal-darts-russian-artillery  \n",
       "29101                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  Откуда они берут эти данные \\n\\nПридумывают что-ли?  \n",
       "26623                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      Так и призвание варягов в 862м году тоже не в Киеве было, но админ лентача об этом не в курсе )  \n",
       "14966                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              >Риск ядерной войны реален, эту опасность нельзя недооценивать. При этом ядерная война недопустима и это принципиальная позиция Москвы\\n\\nЕсли говорят что с позиции кремля она недопустима, стоит насторожиться\\n\\nТолько личный врач бункерного деда ведает что в башке у этого свихнувшегося карлика  \n",
       "23229                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                [id315022513|Даниил],  \n",
       "28658                                                                                                                                                                                                                            ...Поляки пыхтели, поляки вздыхали, \\nИ в спину со злостью глядели Ивану, \\nНо так как дороги поляки не знали, \\nТо шли по лесам, как отара баранов,\\nПрошло две недели, поляки худые, \\nВ мешках ведь ни сала и не сухаря, \\nА хитрый Сусанин поддерживал силы, \\nОрешки и ягоду ел в тихоря,\\nИ бросил отряд он в таких буераках, \\nЧто сам еле вышел оттуда живой, \\nНо вышел Иван, посрамив тех поляков, \\nИ храбрым героем вернулся домой,\\nСидит на завалинке, смотрит зарницу, \\nНе пьет и не курит, чтоб быть очень сильным, \\nИ ждет с не терпеньем гостей - интуристов, \\nЧтоб им показать все красоты России !  "
      ]
     },
     "execution_count": 98,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "detected_distortions.sample(15)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\User\\Anaconda3\\lib\\site-packages\\ipykernel_launcher.py:1: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame.\n",
      "Try using .loc[row_indexer,col_indexer] = value instead\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  \"\"\"Entry point for launching an IPython kernel.\n"
     ]
    }
   ],
   "source": [
    "detected_distortions['comments'] = detected_distortions['comments'].str.replace('\\n', ' ')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "metadata": {},
   "outputs": [],
   "source": [
    "detected_distortions.to_csv('vk_detected_distortions_TOBELABELED.csv', encoding='utf-8', sep='\\t')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 102,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "\n",
    "with open('vk_detected_distortions_TOBELABELED.csv', encoding='utf-8') as f:\n",
    "    text = f.read()\n",
    "    text = text.replace(r'\\n', ' ')\n",
    "with open('vk_detected_distortions_TOBELABELED_excel.csv', 'w', encoding='utf-8') as f:\n",
    "    f.write(text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Дополнительная проверка на латиницу\n",
    "Для комментариев, которые были вручную размечены как не содержащие маскировки, необходимо проверить автоматически наличие латинских букв, визуально совпадающих с кириллическими"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 202,
   "metadata": {},
   "outputs": [],
   "source": [
    "labeled = pd.read_csv('корпуса/labeled_distortions.tsv', encoding='UTF-8', sep='\\t', index_col='Column1')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 203,
   "metadata": {},
   "outputs": [],
   "source": [
    "labeled = labeled.head(3289)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 204,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    2913\n",
       "1     376\n",
       "Name: distortion, dtype: int64"
      ]
     },
     "execution_count": 204,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "labeled['distortion'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 164,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source</th>\n",
       "      <th>comment</th>\n",
       "      <th>distortion</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Column1</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>14616.0</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id720973152|Сабир ]масульманин? Если да,то скажи мне где в Коране написано,что божно обращаться к богу с просьбой о смерти другого человека</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2558.0</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id717780224|Sam], он не может, он на задании.  Ему ещё после смены все свои выcepы в отчёт надо будет собрать и сдать куратору. И пачку доносов приложить к отчёту.  Иначе зарплату зажмут и премии лишат.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36108.0</th>\n",
       "      <td>дождь</td>\n",
       "      <td>вот о каких он сейчас минусах вещает,всё сейчас реально поняли-руссеие теперь реально не сдаются</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         source  \\\n",
       "Column1           \n",
       "14616.0  лентач   \n",
       "2558.0   медуза   \n",
       "36108.0   дождь   \n",
       "\n",
       "                                                                                                                                                                                                             comment  \\\n",
       "Column1                                                                                                                                                                                                                \n",
       "14616.0                                                                 [id720973152|Сабир ]масульманин? Если да,то скажи мне где в Коране написано,что божно обращаться к богу с просьбой о смерти другого человека   \n",
       "2558.0   [id717780224|Sam], он не может, он на задании.  Ему ещё после смены все свои выcepы в отчёт надо будет собрать и сдать куратору. И пачку доносов приложить к отчёту.  Иначе зарплату зажмут и премии лишат.   \n",
       "36108.0                                                                                                             вот о каких он сейчас минусах вещает,всё сейчас реально поняли-руссеие теперь реально не сдаются   \n",
       "\n",
       "         distortion  \n",
       "Column1              \n",
       "14616.0           0  \n",
       "2558.0            0  \n",
       "36108.0           0  "
      ]
     },
     "execution_count": 164,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "labeled.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 170,
   "metadata": {},
   "outputs": [],
   "source": [
    "negative = labeled.loc[labeled['distortion']==0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 173,
   "metadata": {},
   "outputs": [],
   "source": [
    "negative.index = negative.index.astype('int64')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 175,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source</th>\n",
       "      <th>comment</th>\n",
       "      <th>distortion</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Column1</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>14616</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id720973152|Сабир ]масульманин? Если да,то скажи мне где в Коране написано,что божно обращаться к богу с просьбой о смерти другого человека</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2558</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id717780224|Sam], он не может, он на задании.  Ему ещё после смены все свои выcepы в отчёт надо будет собрать и сдать куратору. И пачку доносов приложить к отчёту.  Иначе зарплату зажмут и премии лишат.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36108</th>\n",
       "      <td>дождь</td>\n",
       "      <td>вот о каких он сейчас минусах вещает,всё сейчас реально поняли-руссеие теперь реально не сдаются</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         source  \\\n",
       "Column1           \n",
       "14616    лентач   \n",
       "2558     медуза   \n",
       "36108     дождь   \n",
       "\n",
       "                                                                                                                                                                                                             comment  \\\n",
       "Column1                                                                                                                                                                                                                \n",
       "14616                                                                   [id720973152|Сабир ]масульманин? Если да,то скажи мне где в Коране написано,что божно обращаться к богу с просьбой о смерти другого человека   \n",
       "2558     [id717780224|Sam], он не может, он на задании.  Ему ещё после смены все свои выcepы в отчёт надо будет собрать и сдать куратору. И пачку доносов приложить к отчёту.  Иначе зарплату зажмут и премии лишат.   \n",
       "36108                                                                                                               вот о каких он сейчас минусах вещает,всё сейчас реально поняли-руссеие теперь реально не сдаются   \n",
       "\n",
       "         distortion  \n",
       "Column1              \n",
       "14616             0  \n",
       "2558              0  \n",
       "36108             0  "
      ]
     },
     "execution_count": 175,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "negative.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 189,
   "metadata": {},
   "outputs": [],
   "source": [
    "lat_and_cyr = re.compile('[a-zA-Z]+[а-яА-Я]+|[а-яА-Я]+[a-zA-Z]+')\n",
    "\n",
    "def find_latin(text, debug=False):\n",
    "    \"\"\"\n",
    "    looks for latin letters after stripping reply link\n",
    "    \"\"\"\n",
    "    if text.startswith('['):\n",
    "        text = re.sub(link, '', text)\n",
    "    text = re.sub(http_link, '', text)\n",
    "    if bool(re.search(lat_and_cyr, text)):\n",
    "        if debug:\n",
    "            print(comment)\n",
    "            print(re.findall('[a-zA-Z]+', text))\n",
    "        return True"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 190,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[id717780224|Sam], он не может, он на задании.  Ему ещё после смены все свои выcepы в отчёт надо будет собрать и сдать куратору. И пачку доносов приложить к отчёту.  Иначе зарплату зажмут и премии лишат.\n",
      "['cep']\n",
      "\n",
      "\n",
      "1\n",
      "ХристоZ ВоскреZ!!! Слава руZZкому миру. Победа будет Zа нами. ??????\n",
      "['Z', 'Z', 'ZZ', 'Z']\n",
      "\n",
      "\n",
      "\n",
      "Вести из Китая ближе Я вижу Начинается история та Сибири Китай раздаёт паспорта Пение Дзин и первый свисток Паспорта Китая держи Дальний Восток Защита подданных - первый этап Суживаются глаза мам, детей, пап Якутия, Эвенкия, Ямал Прирост Шина таки йоу не мал Япония не отстаёт Курилам Камчатке свой Док раздаёт Pашка сжата до внутримкадья Потом вообще до кремля Единой Планеты Сёстры и Братья Летит летит песня моя Единства чудесный пир Всё Великим Путём В Лад и Мир!)))))\n",
      "['P']\n",
      "\n",
      "\n",
      "1\n",
      "[id44844688|Владимир], eбанутая, никто не запрещал эвакуацию. Другое дело, что не все хотели покидать дома. Украинцы ведь не думали, что в 21 веке им устроят многомесячную блокаду.\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "Не, мы сами норм ссым на eблеты лахтоблядям )\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "[id260224483|Ник], и что это должно доказать? Из тебя дерьмовaя скептикиня без какой-либо аргументированной позиции.\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id257529579|Вишневская], просрали Украину, а там 30 000 000 нашиx родственников\n",
      "['x']\n",
      "\n",
      "\n",
      "\n",
      "[id3340274|Людмила], сколько уже нахрюкал за сегодня, Zигун?\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Этот клоун сейчас фигура номер один на политической арене. К нему, даже не смотря на опасности войны, едут руководители всех развитых стран, оказывают поддержку и помощь. А нашего пыню из под шконкм доставать никто не хочет, заблокировали со всех сторон и руки не подаст даже тот,кого он эти двадцать лет кормил, даже его же купленные нацики вроде лепен отвернулись от этого стратега недоделанного. А сами россияне заняты исключительно вопросом насущного выживания в условиях нaeбнувшейся из за пыни же экономики. А ты чё то смеёшься тут, недоразвитый. Там на Авито набирают воевать за пыню, а ты на диване сидишь, опущенец\n",
      "['ae']\n",
      "\n",
      "\n",
      "1\n",
      "[id597838832|Роман], не кажется, он пидop\n",
      "['op']\n",
      "\n",
      "\n",
      "1\n",
      "И нaxyя эти крeтины сообщают об этом? Какие выводы нужно сделать в контексте всех обстоятельств за последние два месяца? ??\n",
      "['axy', 'e']\n",
      "\n",
      "\n",
      "1\n",
      "[id600003413|Mr], Mr, как минимум, достаточно того факта, что российские военные и техника пересекают территорию Украины через Белоруссию, дeбик ??\n",
      "['Mr', 'e']\n",
      "\n",
      "\n",
      "1\n",
      "[id235095010|Зимняя], надеюсь, тебя также к xyям разнесёт, дeрьмo.\n",
      "['xy', 'e', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "Психически неуравновешенный клоyн, который запомнится лишь неадекватным поведением. Лучше бы совершил каминг-аут и продвигал законопроекты для защиты ЛГБТ в противовес фашистским высерам марионеточных политиков.\n",
      "['y']\n",
      "\n",
      "\n",
      "1\n",
      "[id16549413|Сергей], какую сверхприбыль он получает, когда не поставляет ничего ни по существующим транзитным трубам, ни тем более по севпотоку? Идиoт здесь только ты и твой подворотный паxан.\n",
      "['o', 'x']\n",
      "\n",
      "\n",
      "1\n",
      "[id590494531|Ivan], старухa, поешь говнa.\n",
      "['a', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "Арестович такой дypaчок.\n",
      "['ypa']\n",
      "\n",
      "\n",
      "1\n",
      "Если из России уедут все адекватные люди, то останутся только РУССКИЕ и к ним поедит ZOРО??????\n",
      "['ZO']\n",
      "\n",
      "\n",
      "\n",
      "[id676845884|Лидия], ничтожествo eбаное, найди нормальную работу вместо пропаганды фашизма за 11 рублей. Никто не виноват, что ты маргинальный овощ с образованием 9-ти классов.\n",
      "['o', 'e']\n",
      "\n",
      "\n",
      "1\n",
      "[id9571910|Дмытро], забавно наблюдать за говорящими бабуинами с конскими хвостами вместо голов... Жаль только что это смешное босоногое племя скоро исчезнет совсем- с 52 млн в 1991 году и до 28 млн в 2018,почти вдвое... Хорошо если пшеки организуют резервацию \"Галичина\" под Лембергом, чтобы сохранить племя папUAсив, которое можно за деньги показывать...))\n",
      "['UA']\n",
      "\n",
      "\n",
      "\n",
      "ВК давно уже помоика с кремлеботами, отсюда даже уже вaтники сбежали лет 5 назад, щас переобулись\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id134639512|Быдлаева], ты где, бандеровка драная? Пришло твое время о6осрaтьcя, хохлoнацистка. ?????????? СУХС, свыння!\n",
      "['a', 'c', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id508039250|Борат], ебaHaшкa,, что тебя возбудило??\n",
      "['aHa', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id691640514|Валентина], погодите  Если эти убитые рук дело обстрелов Украины то какого xyя Россия молчала и не поднимала кипишь, не делала видео, фото, а тихо и молча ушла из города?\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "[id704917205|Sergey], если он сказочник, тогда ты долбоeбик ??\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "А чё изменится для путина? Как был xуйло, так и останется на века.\n",
      "['x']\n",
      "\n",
      "\n",
      "1\n",
      "В.В. Путин признал ДНР и ЛНР? Договор о помощи дружбе и взаимоподдержки подписан! Разложил всё по полочкам, норм он так по большевикам и нацикам всех мастей прошёлся?? Хiхлов вообще обнулил, стёр в порошок ?? ?? История пишется на глазах!\n",
      "['i']\n",
      "\n",
      "\n",
      "\n",
      "[id542190284|Владислав], дypa, проснись, ты проебалa последние два месяца.\n",
      "['ypa', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id242223363|Sexy], а, понятно, ты престарeлый шизoфреник.\n",
      "['e', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "Да кому он нафиг вcpaлся\n",
      "['cpa']\n",
      "\n",
      "\n",
      "1\n",
      "[id152379714|жуйка], переведи своё rовно на Русский язык, ничего не понятно, свинина.??\n",
      "['r']\n",
      "\n",
      "\n",
      "1\n",
      "[id561667943|Black], с тех пор уже два месяца почти прошло, а НАТО не то что нападать не собирается, но и небо над Украиной закрывать не хочет, чтобы не связываться с поехавшим дедом и его Zондер-командами.\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Меzуза молодец.\n",
      "['z']\n",
      "\n",
      "\n",
      "\n",
      "да кто такой нaxyй этот ваш Зaмиp\n",
      "['axy', 'a', 'p']\n",
      "\n",
      "\n",
      "1\n",
      "[id97640293|Алексей], да абсолютно везде есть определенные нацпроявления в той или иной степени. И уж тем более в России, где буквально на официальном уровне кавказцам отказывают в трудоустройстве или аренде недвижимости. Просто не совсем понятно как эта дoлбаёбкa приплела свой высep к моему комментарию ???????\n",
      "['o', 'a', 'ep']\n",
      "\n",
      "\n",
      "1\n",
      "[id171514000|Mikhail], какой крест? как жили норм, так и живем и будем норм жить дальше, а xoxляндии не привыкать жить в гoвне на подачки запада\n",
      "['xox', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "Нужно начинать с себя, в первую очередь, а не потакать политике карликового yблюдкa. Если бы каждый латентный пeдик вроде Галкина совершал каминг-аут, а не женился на пенсионерке в качестве бороды, то маргинальный контингент хоть немного расширял скудный кругозор. Вся эта хyйня взаимосвязана. Какой теперь смысл задаваться глупыми вопросами, эмигрировав в другую страну. Трусливость уже на генетическом уровне.\n",
      "['y', 'a', 'e', 'y']\n",
      "\n",
      "\n",
      "1\n",
      "[id267055242|Илья], Путин тоже этим занят в данный момент. Думал просто так что ли усраину xyячат?)\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "[id13033624|Алексей], ну путин всегда был мpaзью. Гэбня она такая  А на счет Лаврова согласна - когда-то он производил впечатление умного и адекватного политика. Могу только предположить, что его крепко держат за кокушки угрозами семье.\n",
      "['pa']\n",
      "\n",
      "\n",
      "1\n",
      "[id678323341|Широко-Известен-В], тоби пiзда\n",
      "['i']\n",
      "\n",
      "\n",
      "\n",
      "[id456598182|Рустам], в ресторане не было ни одного человека? Ты eблан?\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "[id313178263|Геннадий], он за свою гривну переживает, xoxол же.\n",
      "['xox']\n",
      "\n",
      "\n",
      "1\n",
      "[id706474757|Вера], сyчий бот, спутники подтвердили информацию о том, что трyпы лежали около трёх недель.\n",
      "['y', 'y']\n",
      "\n",
      "\n",
      "1\n",
      "А как следующие десятилетие назовём, да поxyй, уже через год никто не вспомнит че там мы говорили\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "[id381238439|Евгений], он про каклошвайнов и сeрливых набутылочных либерах\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "Малолетний cyкин сын зигует и ему это кажется даже смешным. Его и его лживую шлюxy-мать можно смело отправлять в тюрягу за реабилитацию нацизма.\n",
      "['cy', 'xy']\n",
      "\n",
      "\n",
      "1\n",
      "Та не вi cчо. Это путинский бред. Постанова\n",
      "['i', 'c']\n",
      "\n",
      "\n",
      "\n",
      "[id393197230|Евгения], Za Voйну?\n",
      "['Za', 'Vo']\n",
      "\n",
      "\n",
      "\n",
      "[id692826729|Игорь], ага упакованных в Zинк 200\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "[id186576757|Dmitry], вот cyка, даже поименно не называет погибших.\n",
      "['cy']\n",
      "\n",
      "\n",
      "1\n",
      "[id520283769|Ilya], руZкие прямо сейчас могут покинуть Украину и тем самым закончить войну\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Королёв, ХOХЛOТРOЛЛЬ!\n",
      "['O', 'O', 'O']\n",
      "\n",
      "\n",
      "1\n",
      "[id692756807|Евгений], тебе сколько лет,  дебилушка? Если среди твоего окружения \"таких нет\", то это значит только то, что и ты, и твоё окружение, говнoeды??\n",
      "['oe']\n",
      "\n",
      "\n",
      "1\n",
      "[id716153572|Ваня], шлюxoбот, ну-ка нaxyй отсюда!\n",
      "['xo', 'axy']\n",
      "\n",
      "\n",
      "1\n",
      "???Междунаpодный Фоpум «Лoжь yбивает миp. Хочy знать пpавду!».    3 апреля, в 13:00 (мск) начинает свою работу II Междунаpодный Фоpум «Лoжь yбивает миp. Хочy знать пpавду!». Уже традиционно на Фоpуме выступят эксперты, ученые, аналитики, правозащитники и неравнодушные гражданские активисты. В Фоpуме примут участие иностранные спикеры.    Народ не только России, но и всего мира - обманут. В теории большой лжи действует правило: надо лгать так глобально, чтобы люди даже представить себе не могли, что так нагло можно лгать. Так сейчас и происходит с нами. Телевизор настолько плотно вошел в жизнь людей, что многие не могут отделить реальный мир от экрана.    ?? Мало кто понимает, что власть в руках очень небольшой кучки глобалистов, что они просто поставили своих оплаченных людей на управление странами и международными организациями. Ставленники этих самых денежных мешков реализуют один и тот же сценарий по всей планете. Страны, куда пришли назначенцы Мирового Правительства, стали фактически колониями Запада — передав им свои территории и ресурсы.    Эти назначенцы пришли к власти либо через хорошо инсценированные, оплаченные выборы, либо по сценарию оранжевых революций, разработанных в ЦРУ. Так и в России, Путин — лишь приемник Ельцина, который пришел к власти, пройдя по сотням трупов, через переворот в 1993 года. С той поры Россия, по всем признакам, -необъявленная колония, которая передает Западу свои ресурсы, земли, предприятия.    Сознание народа обработали так, что он этого не видит, не слышит и занят лишь собой. Это сделано и «черными психологами», это сделано через ТВ, психогенераторами и другими способами зомбирования масс.    Как освободиться от манипуляций? Что делать в сложившейся ситуации? Ищите ответы на Фоpуме!    ??Трансляция на всех площадках Рaзоблaчено https://vk.com/disclosed_live и ОCВP https://vk.com/oks_ussr\n",
      "['p', 'p', 'o', 'y', 'p', 'y', 'p', 'II', 'p', 'p', 'o', 'y', 'p', 'y', 'p', 'p', 'p', 'p', 'a', 'a', 'live', 'C', 'P', 'ussr']\n",
      "\n",
      "\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "[id1470163|Евгений], найди себе наконец парня и прекрати истерить, недотрахaннaя сyчкa.)\n",
      "['a', 'a', 'y', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id936775|Михаил], когда хохлы сало роняют, у руssких появляется возможность покушать??\n",
      "['ss']\n",
      "\n",
      "\n",
      "\n",
      "Zадержки V развитии\n",
      "['Z', 'V']\n",
      "\n",
      "\n",
      "\n",
      "Поганaя мрaзь.\n",
      "['a', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "Круто! Горжусь преzидентом! НАТО нам не надо! Прорвёмся!!!\n",
      "['z']\n",
      "\n",
      "\n",
      "\n",
      "[id318410827|Roger], эта бичyxa в дырявых сапогах ходит\n",
      "['yxa']\n",
      "\n",
      "\n",
      "1\n",
      "Королёв, ХOХЛOТРOЛЛЬ\n",
      "['O', 'O', 'O']\n",
      "\n",
      "\n",
      "1\n",
      "[id87868142|Святослав], Мне нравится как чел из самой жoпнoй и грязной страны мира говорит кому то хрюкнуть ??\n",
      "['o', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id617658661|Podporuchik], а руZZкие фашисты конечно не при делах. Они же жертвы ситуации\n",
      "['ZZ']\n",
      "\n",
      "\n",
      "\n",
      "[id5290963|Дмитрiй],\n",
      "['id', 'i']\n",
      "\n",
      "\n",
      "\n",
      "[id20489266|Александр], сын шлюxи, не гавкай.\n",
      "['x']\n",
      "\n",
      "\n",
      "1\n",
      "[id3391071|Дмитрий], нaxyй твоя жопа хороша, пидop тупой\n",
      "['axy', 'op']\n",
      "\n",
      "\n",
      "1\n",
      "[id660475021|Olika], Z это зига. Зига-зага руZZичи.\n",
      "['Z', 'ZZ']\n",
      "\n",
      "\n",
      "\n",
      "? Открытый микpофон “Стpану – сдают? Защитникoв – уничтoжают? Что делать?”    ?24 апреля, 13:00 (мск) на площадках [https://vk.com/oks_ussr|Общенаpодного Сoюза Возpождения Росcии] состоится открытый микрофон “Страну – сдают? Защитников – уничтожают? Что делать?”    И действительно, посмотрите внимательно на внешнюю и внутреннюю политику, проводимую действующей системой власти. Есть мнение, что ситуация на Украине – это ??«договорняк» с целью лишить Россию армии.    Тем самым оставить страну без защитников, освободив дорогу нашему стратегическому противнику – НАТО. Во внутренней политике тоже творится кошмар. По мнению независимых экспертов, защитников страны решили устранить из социума: всех, кто борется за гражданские права, устраняют обвинением в уголовных преступлениях.    А народ молча на все это взирает... Чего ждет? Когда не останется у него ни внутренних, ни внешних защитников? Так до гибели рукой подать. Будем сидеть и ждать, когда и в вашу дверь постучат? А этот момент настанет обязательно, если сейчас не защитить тех, кого предает и репрессируют система власти.    ?? Сейчас складывается впечатление, что нашу армию изматывают странными приказами: то мы разворачиваем наступление, то вдруг сворачиваем, имея явный численный перевес. То дается приказ на штурм Азовстали, где, по данным СМИ, засели высокопоставленные офицеры НАТО, то вдруг штурм отменяется тем же Путиным аккурат после того, как в СМИ проходит информация про натовских офицеров. Что это за тактика такая?    Одновременно с этим Запад, как мы видим, активно накачивает Украину деньгами на вооружение. Очевидно пытаясь ликвидировать явный численный перевес ВС РФ и устроить на Донбассе самую настоящую мясорубку для тысяч российских и украинских военных, а также иностранных наемников. Зачем? Чтобы сведенная практически к нулю армия не смогла противостоять оккупации РФ натовскими солдатами, которые пойдут вслед за ВСУ и наемниками?    ?Вместе с тем, репрессии небывалых масштабов захлестнули страну изнутри. Людей хватают на улицах за то, что они требуют миpа, за то, что они реализуют свое право свободы голоса, выражения мнения. На правозащитников, гражданских активистов, независимых журналистов и народных лидеров, по мнению независимых правозащитников, фабрикуют уголовные дела, их пытают, требуя оговорить себя – сознаться в этих выдуманных преступлениях... Так никого не останется, кто мог бы защитить вас!    Будете молча взирать? Хат с краю не осталось, за любое несогласие с политикой системы вас могут репрессировать – все средства тотального контроля уже почти реализованы в нашей стране. Даже до ваших генов, до вашей ДНК (!) добрались и создают единую базу всей генной информации россиян.    Что говорить о тотальной слежке и прекращение выдачи вам собственных денег. Все теперь будет только электронное, цифровое и с ограниченным сроком службы: не успел потратить – хозяева денег обнулят твой счет не задумываясь... Осталось только колючую проволоку протянуть? И такая ситуация может случиться, если не встанете на защиту своей семьи, своей земли, своего будущего!    ?Что делать? Смотри наш ??Открытый микрофон – мы вместе найдем выход из сложившейся ситуации. https://vk.com/wall-183578784_106124\n",
      "['p', 'p', 'o', 'o', 'ussr', 'p', 'o', 'p', 'c', 'p']\n",
      "\n",
      "\n",
      "\n",
      "надо было берцем втащить по е6aльнику этой тётке, как немцы ??\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id567024567|Роман], если бы каклошвайнам не запретили постить разрушения, мы бы заeбались их репостить\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "[id232542295|Bekkhem], не скули, мартышкa.)\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id13834433|Ренат], как же oxyенно читать ваши комментарии, даже в цирк ходить не надо\n",
      "['oxy']\n",
      "\n",
      "\n",
      "1\n",
      "[id44844688|Владимир], дeбилкa, украинская сторона множество раз пыталась организовать коридоры, но машины попросту обстреливали. Откуда берутся подобные дети шлюx? Вас мамка слишком часто роняла?\n",
      "['e', 'a', 'x']\n",
      "\n",
      "\n",
      "1\n",
      "? Видео-Обзор открытого микрофона “Стpану – сдают? Зaщитников – уничтoжают? Что делать?”    Репрессии небывалых масштабов захлестнули страну изнутри. Людей хватают на улицах за то, что они требуют мира, за то, что они реализуют свое право свободы голоса, выражения мнения. На правозащитников, гражданских активистов, независимых журналистов и народных лидеров, по мнению независимых правозащитников, фабрикуют уголовные дела, их пытают, требуя оговорить себя – сознаться в этих выдуманных преступлениях... Так никого не останется, кто мог бы защитить нас!    ?Будете молча взирать? Хат с краю не осталось, за любое несогласие с политикой системы вас могут репрессировать – все средства тотального контроля уже почти реализованы в нашей стране. Даже до ваших генов, до вашей ДНК (!) добрались и создают единую базу всей генной информации россиян.    Что говорить о тотальной слежке и прекращение выдачи вам собственных денег. Все теперь будет только электронное, цифровое и с ограниченным сроком службы: не успел потратить – хозяева денег обнулят твой счет не задумываясь... Осталось только колючую проволоку протянуть? И такая ситуация может случиться, если не встанете на защиту своей семьи, своей земли, своего будущего!    Цифровые деньги кардинально отличаются от просто безналичных. Их ?нельзя будет снять в банкомате в виде налички, они существуют только как цифры в компьютере. Именно в банковском компьютере. То есть контролер ваших денег – да, банк! И он обязательно вас убедит, что вам это удобно… А на самом деле – удобно тем, кто вас контролирует. Цифровые деньги можно «пометить», присвоить им специальный код, чтобы ?отслеживать, на что они тратятся. Вроде бы это хорошо, можно бороться с коррупцией. Но, по мнению экспертов, скорее всего – именно коррупционеры и будут контролировать работяг, а не наоборот. Как-то нам ни разу ни один коррупционер не отчитался и не дал даже возможности отследить движение его денег. Олигархи на наших глазах богатеют во время кризиса, в то время как мы – беднеем не по дням, а по часам. А еще цифровой рубль ?можно запрограммировать на определенные траты. И если банк — хозяин цифровых денег — ?запрещает вам покупку автомобиля, он просто может отметить это на ваших деньгах, и вы не сможете ими воспользоваться! Также у цифровых денег будет определенное время жизни — ?их нельзя будет копить, через некоторое время они будут просто таять. Всё это описано для нас, и не говорите, что вы не слышали и не знаете. Думаете нереально? Вспомните социальный рейтинг в Китае, они уже не могут совершать поездки или крутые покупки, если у них низкий социальный рейтинг.    ??Что делать? Смотpи наш Откpытый микpофон – мы вместе найдем выход из сложившейся ситуации.  https://vk.com/oks_ussr?w=wall-183578784_106187\n",
      "['p', 'a', 'o', 'p', 'p', 'p', 'ussr', 'w', 'wall']\n",
      "\n",
      "\n",
      "\n",
      "ГеннадийСиняк, ты, ссyка плешивая, почему такую мелкую ямку выкопал? Тя тов.майор найдет и швабру те в зад засунет:) https://youtu.be/FkkmbtxCKg0\n",
      "['y']\n",
      "\n",
      "\n",
      "1\n",
      "? Открытый микpофон “Стpану – сдают? Защитникoв – уничтoжают? Что делать?”    ??Прямая трансляция ПРЯМО СЕЙЧАС 24 апреля, 13:00 (мск) на площадке [https://vk.com/oks_ussr|Общенаpодного Сoюза Возpождения Росcии] состоится открытый микрофон “Страну – сдают? Защитников – уничтожают? Что делать?”    И действительно, посмотрите внимательно на внешнюю и внутреннюю политику, проводимую действующей системой власти. Есть мнение, что ситуация на Украине – это ??«договорняк» с целью лишить Россию армии.    Тем самым оставить страну без защитников, освободив дорогу нашему стратегическому противнику – НАТО. Во внутренней политике тоже творится кошмар. По мнению независимых экспертов, защитников страны решили устранить из социума: всех, кто борется за гражданские права, устраняют обвинением в уголовных преступлениях. А народ молча на все это взирает... Чего ждет? Когда не останется у него ни внутренних, ни внешних защитников? Так до гибели рукой подать. Будем сидеть и ждать, когда и в вашу дверь постучат? А этот момент настанет обязательно, если сейчас не защитить тех, кого предает и репрессируют система власти.    ?? Сейчас складывается впечатление, что нашу армию изматывают странными приказами: то мы разворачиваем наступление, то вдруг сворачиваем, имея явный численный перевес. То дается приказ на штурм Азовстали, где, по данным СМИ, засели высокопоставленные офицеры НАТО, то вдруг штурм отменяется тем же Путиным аккурат после того, как в СМИ проходит информация про натовских офицеров. Что это за тактика такая?    Одновременно с этим Запад, как мы видим, активно накачивает Украину деньгами на вооружение. Очевидно пытаясь ликвидировать явный численный перевес ВС РФ и устроить на Донбассе самую настоящую мясорубку для тысяч российских и украинских военных, а также иностранных наемников. Зачем? Чтобы сведенная практически к нулю армия не смогла противостоять оккупации РФ натовскими солдатами, которые пойдут вслед за ВСУ и наемниками?    ?Вместе с тем, репрессии небывалых масштабов захлестнули страну изнутри. Людей хватают на улицах за то, что они требуют миpа, за то, что они реализуют свое право свободы голоса, выражения мнения. На правозащитников, гражданских активистов, независимых журналистов и народных лидеров, по мнению независимых правозащитников, фабрикуют уголовные дела, их пытают, требуя оговорить себя – сознаться в этих выдуманных преступлениях... Так никого не останется, кто мог бы защитить вас!    Будете молча взирать? Хат с краю не осталось, за любое несогласие с политикой системы вас могут репрессировать – все средства тотального контроля уже почти реализованы в нашей стране. Даже до ваших генов, до вашей ДНК (!) добрались и создают единую базу всей генной информации россиян.    Что говорить о тотальной слежке и прекращение выдачи вам собственных денег. Все теперь будет только электронное, цифровое и с ограниченным сроком службы: не успел потратить – хозяева денег обнулят твой счет не задумываясь... Осталось только колючую проволоку протянуть? И такая ситуация может случиться, если не встанете на защиту своей семьи, своей земли, своего будущего!    ?Что делать? Смотри наш ??Открытый микрофон – мы вместе найдем выход из сложившейся ситуации. https://vk.com/wall-183578784_106187\n",
      "['p', 'p', 'o', 'o', 'ussr', 'p', 'o', 'p', 'c', 'p']\n",
      "\n",
      "\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "[id569409622|Уинстон], не нравится - пиздуйтe в не ксенофобную Россию обратно????\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "[id283595911|Владимир], престарелый сын шлюxи, молодость не вернуть, а мудрость не купить. В твоём случае только эвтаназия.)\n",
      "['x']\n",
      "\n",
      "\n",
      "1\n",
      "[id627854|Сергей], иx ищет интерпол\n",
      "['x']\n",
      "\n",
      "\n",
      "\n",
      "[id223651410|Яна], мне плевать русские они или якуты - я лишь констатировал факт. Если ты узкоглазaя хyитa, то вопросов нет, у каждого своя внешность. Не стесняйся указывать национальность нацистов, ну.)\n",
      "['a', 'y', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "Тот факт, что мне удобнее здесь смотреть мемы чем где-либо не отменяет тот факт, что это контора пидapacoв.\n",
      "['apaco']\n",
      "\n",
      "\n",
      "1\n",
      "[id595984371|Денис], слейся нaxyй, если не осознаешь настолько базовых вещей.\n",
      "['axy']\n",
      "\n",
      "\n",
      "1\n",
      "[id377141647|Иван], хрюкни ещё, Zигун\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Случайно прочитав ее фамилию как \"Нaeбyллина\" один раз, после уже не возможно читать ее правильно.\n",
      "['ae', 'y']\n",
      "\n",
      "\n",
      "1\n",
      "[id629099314|Алла], это с какого такие выводы? Т.е. защита мирного населения от обстрелов укрокарателей, это \"преступления против человечества\"? Ты идиoтка?\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id3340274|Людмила], че бабка сегодня уже дрoчила на хитлера,одев свои дырявые сапоги??\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id271280328|Наська], этого никто не знает, потому что этого быть не должно, равнять завоевания в честных войнах и тyпо административные подарки пьяных сoвков может только какое-то животное дефективное\n",
      "['y', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id537598419|Дмитрий], кучки плохих людей? Почитай комменты своих сограждан, матрёшка. Не война русских и украинцев, лол. Опохмелись и осознай сколько каZапов поддерживают войну.\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Маргиналы ликуют и давятся очередной порцией дерьмa с лопаты. Больше ненависти! Больше запретов! Меньше логики и здравого смысла!\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id3328670|Кирилл], xрюкни\n",
      "['x']\n",
      "\n",
      "\n",
      "1\n",
      "С голой жoпой в Сибирь! ????\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id39374483|Sergei], навальняцкий электорат - это сплошное хомячье, тупoe, инфантильное уeбищe?? ты тому подтверждение\n",
      "['oe', 'e', 'e']\n",
      "\n",
      "\n",
      "1\n",
      "[id190606532|Илья], ты считай сколько навальный на киче, безмозглый пидop.\n",
      "['op']\n",
      "\n",
      "\n",
      "1\n",
      "[id278007933|Igor], еще скажи сами вторглись в свою же страну войной??zомбаки оболваненные..\n",
      "['z']\n",
      "\n",
      "\n",
      "\n",
      "[id235095010|Зимняя], стояли русские солдаты, дyp.\n",
      "['yp']\n",
      "\n",
      "\n",
      "1\n",
      "[id691176902|Надежда], наxyй сходила, отупелая шваль? Зачем вернулась? ??\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "Так ору, когда роскомхyйзор что-то требует или блокирует.\n",
      "['y']\n",
      "\n",
      "\n",
      "1\n",
      "один он всё понимает , только cpaть не просится\n",
      "['cpa']\n",
      "\n",
      "\n",
      "1\n",
      "https://vk.com/wall720931753_1 2  gocs4 / gocs3 / promo / гокс4 /gocs / free / гокс / csgo / кейсы / барабан / бонус / халява / промокод / промо / promocode/ csgetto /csgorun / meowskins / wtfskins / Battle / csgopolygon / GetDrop / GiveDrop / csgolive / magicdrop / csgo500 / nvuti / justcase / cases4real / dark-csgo / ггдроп / ggdrop / CSGF / раздача/ бабос/ скин / скины / гдераздача /деньги / в долг / автор / ид / popodoz / gocs2 /раздача скинов / кс-го / контра / Counter-Strike /Counter Strike / Global Offensive / go / тактика / winado / goldx / x2money / тактики /бесплатно / без денег / nvuti / cabura /кабура / nvuti /нвути / бума Play2x, Drgn, Dragon, Battler, Battle, Meowskins, CsGoRun, Rublix, Wheel2x, Dice2x, Nvuti, EpicMoney, x2Money, LootMoney, freeskins, Stepx100, 1Dice, CSGF, GGDrop, GiveDrop, GetDrop, GOCS, FoxGame, VGODep, CSGODep, Csgetto, Csgolive, BotLesya, Magicdrop, Csgo500, CsgoAtse, , CsgoEpmipe, Real4Case, D2Bingo, ClickLoot, CsgoPolygon, WTFSkins progame cabura халявный бума , gocs5, dragonmoney, драгонмани, play2x, бесплатные скины, халява, бесплатно, селектор, up-x, upx, ап икс, апикс, LOTBET, lotbet, лотбет, lotбет, новый сайт, сайт с халявой,нхл шорт хоккей футбол теннис лига вирус изоляция симптом чемпион слив бесплатный лесенка vip вип розыгрыш китай зеркало ипотека взнос вклад акции лото лотереи dababy weeknd megan сияй morgenshtern cadillac моргенштерн кадиллак minor мияги miyagi khaled smoke juice дягтерев беляев егэ макарова минаж вырезки / psd / псд / лайтрум / lib4d / cinema / 4d / риг / скин / мобы / png / jpg / аватар / шапка / обложка / ava юткан / free / дизайн/ lightroom / c4d / delorenzy / pavlov / zazedka / lololoshka / design / photoshop / фотошоп / крутой / ютуб / вк / гта / gta sa / vk / youtube / фоны / gradients / gradients / plp / фотошоп / всё для фотошопа / stili viga / foxter den / фокстер ден / плажка / анимация / стим / steam / анимация для стима / анимация для steam / дизайн /оформление / обложка вк /слив / ggdrop / промокоды ggdrop/ ггдроп / эффекты / пнг / design / фон / фон кс го / фон в Steam / иллюстрация Steam / иллюстрация / текстуры / шрифт / работа / годнота / блики / теги / дизайн / фотошоп / афтер эффектс / c4d / photoshop / After Effects / войный / adobe media encoder / backgrounds / effects / glitches / subscribers / banners / png / jpeg / fonts / ideas / packs / цена / товары / спецэффекты / скидки / крутая работа / лайтрумы / лайтрум / шапка / шаблон / аватарки / стили / работа / psd / c4d\n",
      "['gocs', 'gocs', 'promo', 'gocs', 'free', 'csgo', 'promocode', 'csgetto', 'csgorun', 'meowskins', 'wtfskins', 'Battle', 'csgopolygon', 'GetDrop', 'GiveDrop', 'csgolive', 'magicdrop', 'csgo', 'nvuti', 'justcase', 'cases', 'real', 'dark', 'csgo', 'ggdrop', 'CSGF', 'popodoz', 'gocs', 'Counter', 'Strike', 'Counter', 'Strike', 'Global', 'Offensive', 'go', 'winado', 'goldx', 'x', 'money', 'nvuti', 'cabura', 'nvuti', 'Play', 'x', 'Drgn', 'Dragon', 'Battler', 'Battle', 'Meowskins', 'CsGoRun', 'Rublix', 'Wheel', 'x', 'Dice', 'x', 'Nvuti', 'EpicMoney', 'x', 'Money', 'LootMoney', 'freeskins', 'Stepx', 'Dice', 'CSGF', 'GGDrop', 'GiveDrop', 'GetDrop', 'GOCS', 'FoxGame', 'VGODep', 'CSGODep', 'Csgetto', 'Csgolive', 'BotLesya', 'Magicdrop', 'Csgo', 'CsgoAtse', 'CsgoEpmipe', 'Real', 'Case', 'D', 'Bingo', 'ClickLoot', 'CsgoPolygon', 'WTFSkins', 'progame', 'cabura', 'gocs', 'dragonmoney', 'play', 'x', 'up', 'x', 'upx', 'LOTBET', 'lotbet', 'lot', 'vip', 'dababy', 'weeknd', 'megan', 'morgenshtern', 'cadillac', 'minor', 'miyagi', 'khaled', 'smoke', 'juice', 'psd', 'lib', 'd', 'cinema', 'd', 'png', 'jpg', 'ava', 'free', 'lightroom', 'c', 'd', 'delorenzy', 'pavlov', 'zazedka', 'lololoshka', 'design', 'photoshop', 'gta', 'sa', 'vk', 'youtube', 'gradients', 'gradients', 'plp', 'stili', 'viga', 'foxter', 'den', 'steam', 'steam', 'ggdrop', 'ggdrop', 'design', 'Steam', 'Steam', 'c', 'd', 'photoshop', 'After', 'Effects', 'adobe', 'media', 'encoder', 'backgrounds', 'effects', 'glitches', 'subscribers', 'banners', 'png', 'jpeg', 'fonts', 'ideas', 'packs', 'psd', 'c', 'd']\n",
      "\n",
      "\n",
      "\n",
      "Кто-нибудь уже eбнeтe этой бабке по старой и плешивой голове))\n",
      "['e', 'e', 'e']\n",
      "\n",
      "\n",
      "1\n",
      "Zигуют своему фюреру а убитых детей чужой сраны называют фашистами.\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Найти ,срочно найти и ZAкинуть МЯСА в СИЗО ,на швабру !!!\n",
      "['ZA']\n",
      "\n",
      "\n",
      "\n",
      "Не, ну ужe доказали, что эта лживaя, менструирующая мрaзь оклеветала Деппа, хотя в самом начале я ей верил.\n",
      "['e', 'a', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id609119487|Владимир], а твоя шлюxa мамаша чего кукарекает, пидop дырявый?))\n",
      "['xa', 'op']\n",
      "\n",
      "\n",
      "1\n",
      "А останется как террорист чемоданоносец, который сбил малайзийский боинг, как только он станет ненужным своим хозяевам, всю ответственность за это всё, возложат на тупых вaтников:))\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id278007933|Igor], лично ты можешь идти наxyй ??\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "[id590457|Юрий], держи пятёрину, носи на жoпе)\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id703303630|Андрiйко], ты то канешна из окопа вещаешь, поглаживая свой деревянный автомат. Або копье и лук со стрелами, папUAс?... ??????\n",
      "['UA']\n",
      "\n",
      "\n",
      "\n",
      "[id691709990|Дина], да-да, эти ракеты отправляют прямиком тебе в очкo, полoумный гoвнобот.)\n",
      "['o', 'o', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "Маразм полнейший. Я не фанат Сабурова, и его аморального шоу «Что было дальше?». Но принуждать комика занимать позицию это кретинизм. Он неоднократно заявлял ведь что не поддерживает это, чего они от него ещё хотят? В мире миллионы шиZанутых россиян, а они решили до казаха докопаться? Чего они тогда в Америке у него в концерте забыли, раз их так беспокоит ситуация. Как люди любят крайних находить.\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "[id282684463|Дмитрий], сын шaлaвы, если бы ты не был тyпоголoвым ботом с единственной извилиной и знал обстоятельства войны в Ираке или Югославии, то подобные сравнения в принципе не возникали бы.\n",
      "['a', 'a', 'y', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id523056236|Максим], дуpa, я тебе задал вопрос - ты фанатка этого маргинала?\n",
      "['pa']\n",
      "\n",
      "\n",
      "1\n",
      "[id10826668|Неуловимый], ты только что связал украинцев с моими высказываниями лишь на основании цвета кожи, и это сделал в контексте обвинений в расизме - вся суть тупоголовoй либшизы с отсутствующим интеллектом.)\n",
      "['o']\n",
      "\n",
      "\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1\n",
      "Вы так говорите, словно вы бы не запретили акции \"Zа мир\" если бы у вас была такая возможность.\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Я СПИСОК КОРАБЛЕЙ ПРОЧЕЛ ДО СЕРЕДИНЫ  Утро было пасмурным и хмурым  В даль, в туман, подальше от земли  От причала мировой культуры  Уходили в море корабли.  Первым, ощетинив грозно пушки,  Ржавой чешуёй как жар горя,  Гордо шёл авианосец \"Пушкин\",  В трюмах – тридцать три богатыря.  Следом, на войну и мир готовый,  С сизой дыма бородой густой  Крейсер плыл огромный, но не новый –  \"Граф Лев Николаевич Толстой\",  А за ним кильватерной полоской –  Три эсминца, всем внушая страх –  \"Бродский\", \"Маяковский\" и \"Чайковский\"  Медленно плелись на всех парах.  Чайки на лету лишались чувства,  Мухи отделялись от котлет,  Видя баржи \"Русское Искусство\"  \"Достоевский\" \"Горький\" и \"Балет\".  В родину и скрепы крепко веря,  Оркестровый загрузив десант,  Шёл за ними \"Гергиев Валерий\",  На носу неся гвардейский бант.  В каждый порт входившие без страха,  Ласканные славой и рублём  Посланы по направленью \"нах*й\"  За военным русским кораблём.  - Как же мы без вас?!! – им вслед рыдали.  - Родненькие, вас-то, вас за что?  - Вас же всей планетой почитали!  С кораблей не отвечал никто…  Словно бог войны великолепен,  В триколор раскрасивши трубу,  Нах*й уплывал \"Zахар Прилепин\"  Со сквозной пробоиной во лбу.  Альбатрос над серым морем носится,  Глядя, как идёт красив, толков  Бесогон, герой, оскароносец  С именем \"Никита Михалков\".  Строй неровный, но довольно длинный,  Золочёный словно образа,  Проходя вдоль острова Змеиный,  Вдаль отвёл стыдливые глаза.  Без оркестров, тихо и понуро,  Чуя, что давно пробито дно,  Уплывали \"Русская культура\",  \"Русский цирк\" и \"Русское кино\".  Гордость, славу, символы державы,  Испытавшей вдруг крутой облом,  Провожал в поход орёл двуглавый  Сломанным под Харьковом крылом  На последней лодочке – Герасим  Тупо вёз топить своё Муму  И мычал: – Я русский, я прекрасен,  И за что мне \"нах*й\" – не пойму!\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "общество zомбаков само по себе расколется!\n",
      "['z']\n",
      "\n",
      "\n",
      "\n",
      "[id325919203|Маша], невозможно слушать обоссaнных маргиналов, по ушам бьёт этот говор и бомжарскoe мышление.\n",
      "['a', 'oe']\n",
      "\n",
      "\n",
      "1\n",
      "Даже Трамп называет геноцид геноцидом, в отличии от придyрковатых любителей лягушатины ???????\n",
      "['y']\n",
      "\n",
      "\n",
      "1\n",
      "Это никак не оправдать - массовые пытки, убийства, изнасилования… Подобные обстоятельства не поддаются какой-либо логике. Проблема России в 21-ом году была в отсутствии персональной ответственности и осознанности, а проблема 22-го года в полном моральном крахе общества. Это оказалось намного страшнее, чем вырoдки-коррупционеры у власти.\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "Кстати странно почему они называют войну спецоперацией, хотя могли бы сказать что это Vойна\n",
      "['V']\n",
      "\n",
      "\n",
      "\n",
      "[id281565238|Людмила], eбaлo завали фемка трансвистит 300кг пудж\n",
      "['e', 'a', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id4931913|Миша], снаряд в очко и вперёд на фронт, дебилкa.\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id137689063|Dmitry], у бабки деменция просто, человек без повреждения мозга не выйдет встречать солдат в надежде, что это фaшиZты, при этом с флагом СССР\n",
      "['a', 'Z']\n",
      "\n",
      "\n",
      "1\n",
      "[id258594699|Снайпер], xyйлo безмамное офнись\n",
      "['xy', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id44844688|Владимир], eбанутая, не трогай детей.\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "«Эту власть я не выбирал, ее имперский угар я не поддерживал»  23 февраля, 2022 - 13:56      На прошлой неделе я впервые оказался в Норвегии. Поездка была короткой, но далась тяжело. Все города и поселки, которые мы встречали на своем пути, оставляли примерно такое впечатление: когда-то люди оказались на холодном, вытянутом и не очень пригодном для комфортной жизни куске земли, но смогли обустроить его так, что даже самая захолустная деревня на 10 домов излучает благополучие. И это мы еще не были на границе: в интернете много сравнений норвежского Киркенеса с нашими Заполярным или Никелем (расстояние – 55-65 км); если не боитесь окончательного упадка настроения и сил – найдите и посмотрите.    Есть много причин, почему у них – нефть и газ и вот так, а у нас – нефть и газ и вот так вот. Вчера большинство из этих причин мы снова наблюдали. Увлекшийся историей император. Свита с ампутированным мнением и волей. Пропагандистский эскорт, так складно и так сладко одобряющий войну из теплых столичных квартир. Ну и решения, которые вся эта тусовка принимает. Решения – не на то, чтобы конвертировать природные ресурсы в благополучие Воронежа, Камчатки, Никеля и Заполярного, а чтобы богатеть самим и подольше в управлении этих ресурсов оставаться.    Все, что написано выше, – очень банально; это очевидно для всех, у кого 2Х2=4. Поэтому я пишу это ровно с одним мотивом: когда мои дети подрастут, доберутся до этого клочка истории, охренеют и спросят: «Пап, ну а ты-то тогда чего?» – у меня будет письменное доказательство: эту власть я не выбирал, ее имперский угар я не поддерживал.    Второе.    Весной прошлого года у нас вышел выпуск с Михалычем из петербургской группы Animal Джаz. Отвечая на вопрос: «Как ты воспринимаешь то, что происходит между Россией и Украиной?», – он ответил: «Жесть. Трагедия. И чувство вины. Вот эти все зеленые человечки, вот это все вмешательство со стороны – это бесконечные чувства моего стыда и вины. С одной стороны – за то, что я не могу повлиять. С другой – за то, что это моя страна, хотя я вроде бы напрямую и не ответственен за эти вещи».    Этот ответ очень близок к тому, что испытываю сейчас я.    Я вырос в России, Россия — моя Родина, я с нежностью и любовью ношу триколор на предплечье. Но Украине, родине родных и дому друзей, — моя максимальная поддержка в эти дни.    России, Украине, миру — мир.    Юрий Дудь\n",
      "['Animal', 'z']\n",
      "\n",
      "\n",
      "\n",
      "Медузa, заблокируй этого дeбилa в ночную смену.\n",
      "['a', 'e', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id462293|Вера], xpeна ли мне в интернете что то искать, я сам пенсионер. У меня пенсия поднялась на 2 тыс. ( на 8.6 %)\n",
      "['xpe']\n",
      "\n",
      "\n",
      "1\n",
      "[id4558559|Анатолий], эйфория пройдет и в итоге холодильник победит zомбоящик??\n",
      "['z']\n",
      "\n",
      "\n",
      "\n",
      "[id260224483|Ник], рыжaя дyрa, ты самостоятельно проверяла «свежесть» трупов и дату фотографий?\n",
      "['a', 'y', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "Вот это ниxyя себе Путин вaту переиграл??\n",
      "['xy', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id660475021|Olika], для рюZZге там места хватит всем????\n",
      "['ZZ']\n",
      "\n",
      "\n",
      "\n",
      "[id11437776|Иван], ага удивляет кол-во мyдoзвoнoв, поставивших лайки под этим говно вбросом, рассчитанном на клинических идиотов. Не все ж их них боты и скакуасы. По ходу местная подписота и правда состоит на 90 % из имбецилов.\n",
      "['y', 'o', 'o', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id20359098|White], Ничего нового, они воевали всегда, как трусы! Поставят артиллерию в российском селе или городе и лупят по территории Украины  это даже не провокация, а им пoxep на всех, и эти выpoдки никогда своими мозгами о последствиях преступных приказов не думают.\n",
      "['oxep', 'po']\n",
      "\n",
      "\n",
      "1\n",
      "[id657051218|Arlette-H], Он на год младше путена, шизик ты eбaный\n",
      "['e', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id15857245|Pavel], ты уVолен\n",
      "['V']\n",
      "\n",
      "\n",
      "\n",
      "[id302488769|Mikolaj], шуруй родину защищать, а то так в интернете прocрешь все до конца\n",
      "['oc']\n",
      "\n",
      "\n",
      "1\n",
      "[id12980101|Serg], работай умнее, че всякую xepню пишешь?\n",
      "['xep']\n",
      "\n",
      "\n",
      "1\n",
      "[id134639512|Блядаева], ты где, бандеровка драная? Пришло твое время о6осрaтьcя, хохлoнацистка. ?????????? СУХС, свыння!\n",
      "['a', 'c', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id260224483|Ник], дочь шлюxи, нaxyя тебя разбанили?! Почемучка ебанaя ??\n",
      "['x', 'axy', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "Нужно вернуть всю лавровскую мpaзь домой. Миру не нужны представители путинского нацизма, разговаривать с ними не о чем, разговоры будут в международном трибунале.\n",
      "['pa']\n",
      "\n",
      "\n",
      "1\n",
      "[id134639512|Ирина], вышиванка немытая, так ты уже в России отираешься и себя уже настоящей россиянкой ощущаешь?... Но ещё пока не забыла сказки звирки свидомого телебачення Олёны Васильевой та ещё поки верно на мове пишешь \"дыныры\"... Бггг, гуцула тупiя... ??????\n",
      "['i']\n",
      "\n",
      "\n",
      "\n",
      ">У Запада не получается расколоть российское общество  У тебя зато получилось, клoyн  >Сегодня ФСБ пресекла деятельность террористической группы  Ох уж эти \"террористы\", переодетые фсбшники 20 лет подряд, одни и те же спектакли Старый пepдун, работает по одной и той же схеме, хоть бы новое что-нибудь придумал Боюсь, такими темпами опять начнутся в домах хлопки, с сахарком\n",
      "['oy', 'ep']\n",
      "\n",
      "\n",
      "1\n",
      "«РоссийскОЕ войска оставилО» Игорёк сегодня пьяный на работе. Нахлебался в гoвнинy.\n",
      "['o', 'y']\n",
      "\n",
      "\n",
      "1\n",
      "Дегенеративнaя алкошлюxa, молись, чтобы режим не пал, это будет уже твоим приговором.\n",
      "['a', 'xa']\n",
      "\n",
      "\n",
      "1\n",
      "[id377999938|Никита], дура, 80 % на русофобском паблике против. С учетом, что здесь комментаторы 90% хохлы. И один пидop из Норвегии.\n",
      "['op']\n",
      "\n",
      "\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1\n",
      "[id410299385|Валодя], пошел нaxyй, стрелочник мамкин\n",
      "['axy']\n",
      "\n",
      "\n",
      "1\n",
      "[id79288090|Андрей], ты реально веришь в эту xyйню что написал?\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "[id51326742|Виктория], мирные люди жили мирно, пока на них не напал легион орков убивая и насилуя женщин и детей. Этот 10 летний мальчик остался сиротой. Его отца убили на глазах, а мать насиловали 2 дня до смерти руzzкие ослоебители. Как ты думаешь, какая у него мечта?\n",
      "['zz']\n",
      "\n",
      "\n",
      "\n",
      "Если из России уедут все адекватные люди, то останутся только РУССКИЕ и к ним поедит ZOРО??????\n",
      "['ZO']\n",
      "\n",
      "\n",
      "\n",
      "[id44844688|Владимир], обезьяна, Шольц не равно Германия, германские политики и общество иного мнения (сейчас идут разговоры об импичменте), а его лживaя позиция свидетельствует о возможном наличии личных целей, которые он преследует.\n",
      "['a']\n",
      "\n",
      "\n",
      "\n",
      "https://youtu.be/1dOUqwQc8OE  Чувак на канале Латыниной детально разложил лживyю политику Байдена в отношении Украины ???????\n",
      "['y']\n",
      "\n",
      "\n",
      "\n",
      "Галктики освободим, нет наZхцизму. Первая ракета взлетит при помощи моего жопогорения\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Ибо нефик ссaть в наших подъездах ??\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "Эти немцы надеются продать, ОВl национализировать, а немчуре дать пинка под зад!\n",
      "['l']\n",
      "\n",
      "\n",
      "\n",
      "а другие усердно Zигуют.\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "[id595984371|Денис], что за ебанутыe вопросы ты постоянно задаёшь?! Российские детдомовцы вообще никак и никем не защищены - с ними можно делать всё что угодно. А теперь к этому ещё добавить ненависть на национальной почве. При условии, что их незаконно вывезли и никто не знает об их судьбе и местонахождении.\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "Нaxepa тогда вообще ездил и что такого нового он путлеру сообщил?\n",
      "['axepa']\n",
      "\n",
      "\n",
      "1\n",
      "В Paшке телепоказуха Словно как лихая Шлюxa Отправляется на фронт Массам скрепный снимать понт Показухе ватник рад Путём Великим В Мир и Лад!)))))\n",
      "['Pa', 'xa']\n",
      "\n",
      "\n",
      "1\n",
      "Вaта может спать спокойно\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id716153572|Ваня], ну ведь Украина не твоя мать, которую делили бoмжары с ближайшего подвала, здесь такая формула не работает.\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id317133846|Сергей], у вас супервайзер не читает комменты? Можно выcиpaть что угодно? Бот видит только ботов? А если бот поставит бота на js? Хм…\n",
      "['c', 'pa', 'js']\n",
      "\n",
      "\n",
      "1\n",
      "Завали eбало, лахтоебень и вернись на парашу\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "[id260224483|Ник], про «не задалось» расскажешь, когда они тебе очкo порвут и выкинут в канаву.\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id98920200|Анастасия], Тебя пёхают в aнaл? А основное отверстие простаивает?\n",
      "['a', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id2301338|Кирилл], а какого xyя эти \"злые узкие\" туда вообще поперлись с оружием в руках? Клоун\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "Потому что Хyило им выгоден, постоянно стабилизирует экономику Запада и доллар, сливает наворованные бабки его кооперативом Озеро, а потом выводит их зарубеж к своим хозяевам под видом санкций \"на пользу\"  Я БОЛЬШЕ ВСЕГО ПОРАЖАЮСЬ ТУПЫМ ВAТНИКАМ??\n",
      "['y', 'A']\n",
      "\n",
      "\n",
      "1\n",
      "[id572439|Дмитрий], пропaгaндоновиpyc ??\n",
      "['a', 'a', 'pyc']\n",
      "\n",
      "\n",
      "1\n",
      "Как вчера хорошо ночью было: в комментариях лентача не было дaунов пригожинских. А сегодня вновь по новой ??\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id648626000|Андрей], что пидop вонючий, корежит? ??Страдай, мpaзь eбaная.\n",
      "['op', 'pa', 'e', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "Ахаха сукa реально бот-инвалид ??\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "Xyeбот переписывается сам с собой - это можно считать новой формой шизофрении ??\n",
      "['Xye']\n",
      "\n",
      "\n",
      "1\n",
      "Оно само себя ещё и лайкает ахах, бот-даyн ???????\n",
      "['y']\n",
      "\n",
      "\n",
      "1\n",
      "[id138280294|Антон], раз вaта открыла рот,значит она врет\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id628617710|Наталья], обычно это зрители Соловьиного выблядкa кастрюлеголовые. Типо тебя)\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id594024745|Инженер], тебе то ни один , xpeн? Или рассчитывал из Тернополя в Москву переехать?\n",
      "['xpe']\n",
      "\n",
      "\n",
      "1\n",
      "[id299833108|Владимир], пока что все выступают против раZейского фашизма, признают геноцид украинского народа, военные преступления, нарушение международного законодательства. Странное дело. Никто не верит в украинский нацизм. И даже больше. Все помогают Украине, а не рашке. Вот же ш дела ??????\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "руZZкие фашисты\n",
      "['ZZ']\n",
      "\n",
      "\n",
      "\n",
      "[id617658661|Подпоручик], шлюxoбот-олигoфрeн, для тебя, меня и всей России ???????\n",
      "['xo', 'o', 'e']\n",
      "\n",
      "\n",
      "1\n",
      "23 февраля - день позора красной армии.    День советской армии. Что случилось 23 февраля 1918 года. Правда против лжи.    Вопреки позднейшим утверждениям большевиков, день 23 февраля 1918 г. (день создания красной коммунистической армии) ничем героическим для них отмечен не был. Наоборот, в этот день отряды красной гвардии трусливо бежали от немцев, которые практически без боя подошли к Пскову и могли легко двинуться на Петроград, что стало последним аргументом в принятии Лениным условий подписанного вскоре Брестского мира, то есть капитуляции России в Великой войне.    Официальная история возникновения праздника 23 февраля, как дня возникновения красной армии карателей изложена Иосифом Сталиным, который придумал миф о победе 23 февраля над немцами под Псковом и Нарвой. Согласно красной легенде Молодые отряды Красной Армии, впервые вступившие в войну, наголову разбили немецких захватчиков под Псковом и Нарвой 23 февраля 1918 года. Именно поэтому день 23 февраля 1918 г. был объявлен днём рождения Красной Армии.    Однако ни в германских, ни в советских военных документах и мемуарах не встречается ровным счётом никаких упоминаний о якобы имевшем место 23 февраля 1918 г. победой красных карателей под Псковом и Нарвой. В архивных документах идет речь о бегстве без боя красных карателей из под Нарвы.    В действительности Нарва была взята очень небольшим отрядом немцев, всего около 40 человек, приехавших на мотоциклетках в 8 часов утра. Бегство из города красных карателей началось как раз 23 февраля, около 12 часов дня. Первыми бежали солдаты и комитеты, бросая все на произвол судьбы. Потому речь не идет о поражении в битве, речь идет о проявлении трусости и бегстве без боя.    Не кто иной, как сам Ульянов-Ленин в своей передовице в «Правде» 25 февраля 1918 г. по поводу позорной сдачи Нарвы красными без боя отмечал: «Эта неделя является для партии и всего советского народа горьким, обидным, тяжелым, но необходимым, полезным, благодетельным уроком».    А большевицкий Совнарком в этот же день, 23 февраля 1918 г. по новому стилю, провозгласил по радио свое согласие на все условия капитуляции, продиктованные торжествующей «германской военщиной».    Германцы повсеместно останавливались сами, достигнув заданных рубежей, а из Берлина ещё и одергивали самых горячих генералов, чтобы они не вздумали продолжать движение своих войск на революционный Петроград. Потому что продолжение германского наступления на Петроград неминуемо привело бы к падению большевицкого режима. А свержение власти большевиков над Россией никогда не входило в планы Германского Генерального Штаба. Не для того расчётливые германцы пестовали и финансировали большевиков, не для того везли их через пол-Европы в «пломбированном вагоне».    23 февраля был действительно подписан декрет о создании регулярной Красной Армии – но лишь из-за того, что «красная гвардия» доказала свою абсолютную небоеспособность. Кто же стал основой красной армии, во второй половине февраля 1918 г. тысячи выпущенных на свободу немецких военнопленных по призыву советского правительства «Социалистическое отечество в опасности!» вступили в новоиспеченную Красную Армию. Был сформирован первый немецкий Добровольческий отряд Красной Армии, немедленно отправленный…отнюдь не на Запад, защищать «отечество пролетариев всего мира» от «наглой агрессии германского милитаризма», а… на Восток, против православного казачьего атамана Дутова! Вскоре все воинские уставы и инструкции будут переведены как раз на немецкий и венгерский языки.    Уже к весне 1918 г., когда численность Красной Армии достигла 300 тыс. чел., более половины составили именно немецкие и австрийские солдаты (и архивы это четко фиксируют). Вообще-то, в период гражданской войны, как раз немцы и австрийцы на отдельном этапе довольно часто занимали высокие посты в РККА. Например, начальником штаба Актюбинского фронта был австрийский офицер Зингер; командующим 11-й армии - офицер Геккер; к лету 1918-го в г.Свияжск (ставка Троцкого на Волге) весь красный гарнизон города состоял из австро-венгерских солдат. Что же касается ЧК, то, например, лишь в Барнаульском отделе служило таковых 160 человек, отобранных из числа бывших военнопленных    23 февраля немцы предъявили своим ставленникам-большевикам новый ультиматум с еще более тяжелыми условиями мира. Поэтому Ленин тоже вынужден был ставить ультиматум собственной партии, угрожая в случае непринятия его позиции выйти из нее (а также и из правительства) и начать борьбу против нее. Под таким давлением Ленина 24 февраля ЦК принял решение о немедленном заключении мира (7 – за, 4 – против, 4 – воздержались).    Оправдывая необходимость этого позорного мира, Ленин писал в \"Правде\" 25 февраля: «Неделя 18–24 февраля 1918 года, неделя военного наступления Германии, явилась горьким, обидным, тяжелым, но необходимым уроком... Мучительно-позорные сообщения об отказе полков сохранять позиции, об отказе защищать даже нарвскую линию о невыполнении приказа уничтожить все и вся при отступлении; не говоря уже о бегстве, хаосе, безрукости, безпомощности, разгильдяйстве... В Советской республике нет армии» (ПСС, Т. 35).    3 марта 1918 г. в Брест-Литовске был заключен этот еще более грабительский (из-за стычек под Псковом) мир, знаменовавший собой безславный выход России из Мировой войны с выплатой многомиллиардных реппарраций золотом и зерном и потерей значительной части ранее захваченных империей территорий (Украина, Польша, Прибалтика, Грузия и часть Белоруссии).    23 февраля навсегда останется днем военного позора мордора, а следующий за этим поражением Брестский мир станет ключевым моментом начала расчленения и краха империи зла. Именно после разгрома и бегства отрядов красных карателей 23 февраля 1918 года, Ленин смог сломить оппозицию в ЦК и добиться согласия на заключения брестского мира, потому что большинство его членов до этого поражения, отказывалось заключать мир с германией на подобных условиях.    Кстати любимец ватной публики, И.В. Сталин начиная с января открыто поддерживал Ленина и выступал на заседании ЦК партии большевиков по вопросу о заключении сепаратного мира с Германией с речью, направленной как против бухаринцев, так и против позиции Троцкого, который предлагал переговоры прервать и мира не подписывать. И.В. Сталин выступил открыто в поддержку позиции В.И. Ленина в вопросе о безоговорочном и немедленном заключении мирного договора с Германией.    Ватники утверждают, что мир с германией был вынужден, потому что Россия войну проигрывала, но это было не так. По состоянию на момент переворота в октябре 1917 года, российская армия вдвое превышала по своей численности немецкие и австрийские силы, не уступая им в технике. Но благодаря окопной правде, которую большевики стали забрасывать на фронт еще весной 1917 года, и призывам большевиков к братанию с немцами, 5 миллионная армия россии к февралю 1918 фактически перестала существовать. Именно благодаря Ленину и Сталину, которая работали за немецкие деньги, 5 миллионная армия империи была уничтожена, фронт разрушен, а российской империи без военных поражений, был нанесен смертельный удар.    Доведенные до крайнего истощения, Германия и Австро-Венгрия давно уже жаждали избавиться от забот на Восточном фронте. “Надо... во что бы то ни стало постараться заключить сепаратный мир с Россией», — настоятельно требовал германский кронпринц от Вильгельма II летом 1917 года. При этом следует отметить, что уже 19 июля 1917 года Рейхстаг большинством голосов принял резолюцию о мире. Выражая свое удовлетворение этим решением, император заявил депутатам, что мир по соглашению состоит в том, что “мы возьмем у врагов деньги, сырые материалы, хлопок, масла и из их кармана переложим в наш карман”. Забегая вперед, отмечу, что благодаря Ленину все так и было сделано. Кроме миллиона квадратных километров европейских территорий, большевики также согласились выплатить германии 6 млрд. золотых марок (около 300 млрд. евро на текущий момент), а также отдали «центральным державам» почти все русские нефтяные месторождения, 90% всех угольных месторождений, 54%, колоссальные запасы вооружения, боеприпасов и военного имущества, захваченные в прифронтовой полосе. Но даже 60 переброшенных на Западный фронт немецких дивизий и 2 млн. освобожденных военнопленных, эшелоны хлеба и металла от большевиков, все равно не смогли спасти Германскую империю, потому если бы не переворот и заключенный большевиками мир, в Константинополе, Вене и Варшаве и сейчас бы висел российский флаг. Так что октябрьская революция, Ленин и Сталин, вместе как никто другой сделали максимум для гибели россии.    Брестский мирный договор.    Статья III    Области, лежащие к западу от установленной договаривающимися сторонами линии и принадлежавшие раньше России, не будут более находиться под ее верховной властью: установленная линия обозначена на приложенной карте..., являющейся существенной составной частью настоящего мирного договора. Точное определение этой линии будет выработано русско-германской комиссией ( На западе от России отторгались Польша, Прибалтика, часть Белоруссии и признавалась независимость Украины).    Cтатья IV  Россия сделает все от нее зависящее, чтобы обеспечить скорейшее очищение провинций Восточной Анатолии и их упорядоченное возвращение Турции.    Статья V  Россия незамедлительно произведет полную демобилизацию своей армии, включая и войсковые части, вновь сформированные теперешним правительством.    Статья VI  Россия обязывается немедленно заключить мир с Украинской Народной Республикой и признать мирный договор между этим государством и державами Четверного союза. Территория Украины незамедлительно очищается от русских войск и русской Красной гвардии. Россия прекращает всякую агитацию или пропаганду против правительства или общественных учреждений Украинской Народной Республики.    Эстляндия и Лифляндия также незамедлительно очищаются от русских войск и русской Красной гвардии. Восточная граница Эстлявдии проходит в общем по реке Нарве. Восточная граница Лифлявдии проходит в общем через озеро Чудское и Псковское озеро до его юго-западного угла, потом через Любанское озеро в направлении к Ливенгофу на Западной Двине. Эстлявдия и Лифляндия будут заняты германской полицейской властью до тех пор, пока общественная безопасность не будет там обеспечена собственными учреждениями страны.    Финляндия и Аландские острова также будут немедленно очищены от русских войск и русской Красной гвардии, а финские порты - от русского флота и русских военно-морских сил.?    Кстати, позорный для россии, брестский мир был аннулирован не в результате военных успехов красных карателей или их рабоармии, а только после полной военной капитуляции германской империи под ударами Западных союзников в ноябре 1918 года, потому большевики этот позорный для мордора договор выполняли до самого конца их немецких господ. Лишь военный крах и капитуляция Германии позволили повторно оккупировать большевикам часть ранее признанных независимыми территорий. Но поезд уже ушел, и несмотря на военную оккупацию красными карателями, Украина, Белоруссия, Грузия, а с 1940 года и Прибалтийские государства, от Ленина и Сталина получили официальный государственный статус с правительствами и границами (союзные республики), а в Конституции им гарантировали право выхода из состава СССР, что и позволило им бескровно стать независимыми государствами в 1991 году. Но ватники до сих пор не перестают считать большевиков и их лидеров Ленина и Сталина величайшими правителями и патриотами мордора.    Несмотря на то, что по указке немцев, политбюро, ЦК и Совнарком во главе с Лениным и Сталиным, признали Украину независимым государством, Украинцам тоже нет причин считать их адекватными руководителями, потому что только их карательные акции в 1918 – 1921 году на территории Украины, и три искусственно созданных голода в 1921-1922, 1933 – 1934, 1947 году убили более 10 миллионов Украинцев. Еще раз повторюсь, основой для возникновения независимой Украины, стала позиция Кайзера Вильгельма II и немецкого имперского правительства, а их лакеи в советской россии только выполняли приказ, потому Сталин и Ленин в Украине навсегда останутся красными карателями и палачами.\n",
      "['II', 'III', 'C', 'IV', 'V', 'VI', 'II']\n",
      "\n",
      "\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "[id283595911|Владимир], стаpaя дeбилкa, без мата в доме престарелых.\n",
      "['pa', 'e', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id703303630|Андрiйко], рогуль, у тобе личка открыта чи шо, гаваець тупiй? Западные посольства перебрались во Львив потому что Западенщина будет защищена от потока рогулей - одичалые недоэвропэйци в виде беженцев Европе ни трэба... ??????\n",
      "['i']\n",
      "\n",
      "\n",
      "\n",
      "[id355287|Александр], естественно. Я же патриот и родину люблю, а не мacтурбирую на плешивого путлера, который уничтожает Россию, как некоторые тут в камментах.\n",
      "['ac']\n",
      "\n",
      "\n",
      "1\n",
      "Слишком дeгенеративная тема для обсуждения.\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "[id512734700|Вячеслав],пошел наxyй отсюда\n",
      "['id', 'xy']\n",
      "\n",
      "\n",
      "1\n",
      "[id20359098|White], пошла нaxyй, сельская казашка.)\n",
      "['axy']\n",
      "\n",
      "\n",
      "1\n",
      "[id25105430|Максим], каклошвайн, пошел нaxyй\n",
      "['axy']\n",
      "\n",
      "\n",
      "1\n",
      "раньше я был против цензуры, но изучив матчасть того как устроена свобода слова я понял что советская цензура была чуть ли не совершенством в плане фильтрации гoвнa.  Ее не надо было ломать, только совершенствовать.\n",
      "['o', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id270735056|Кирилл], во-первых, сын шлюxи, бота увидишь между ног своей мамашки. А во-вторых, мой комментарий про ответ Навального, где он таки и рассуждает о трагедии в Буче. Но ты настолько тупорылaя либшиза, что даже не умеешь читать. Брысь из моей ветки комментариев.\n",
      "['x', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id569409622|Уинстон], в представлениях сельских дурачкoв из какой-нибудь калужской области - да.)\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id717780224|Sam], блe, он там вообще ничего не решает, чисто голова говорящая, егоб воля была давно свалил бы, но не дают хозяева xd какие же либepaxи тyпые и наивные, фильмов марвел насмотрелись и теперь героев из всех лепят ??\n",
      "['e', 'xd', 'epax', 'y']\n",
      "\n",
      "\n",
      "1\n",
      "[id410299385|Валодя], кукарекает твоя папаша,когда ее eбyт в очко!\n",
      "['e', 'y']\n",
      "\n",
      "\n",
      "1\n",
      "В путинской Paшке у обычного человека могут быть только водительские права, не более того.\n",
      "['Pa']\n",
      "\n",
      "\n",
      "1\n",
      "чееегооо? Москва центр Руси? он ебанyлся?\n",
      "['y']\n",
      "\n",
      "\n",
      "1\n",
      "[id462067951|Kollins], voйну! ???\n",
      "['vo']\n",
      "\n",
      "\n",
      "\n",
      "Как меня бесит это мерзкое ебалo ??\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "Пожалуйста, можно не освещать подобную хyeтy, спасибо.\n",
      "['ye', 'y']\n",
      "\n",
      "\n",
      "1\n",
      "[id440578742|Владимир],  Cиoнистам всякий рад Путём Великим В Мир и Лад!)))))\n",
      "['C', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id714325670|Вероника], и да я не переходил на личности и на национальности. И да, для EuroPolа и InterPolа очень много работы будет нынче, так что пишите больше))) Всех благ))\n",
      "['EuroPol', 'InterPol']\n",
      "\n",
      "\n",
      "\n",
      "[id425808903|Иван], а где здесь методичка? Вам хотелось бы, чтобы по вашему городу прилетела хохляцкая кассетная бомба и разорвала бы вам нaxyй всю хату?\n",
      "['axy']\n",
      "\n",
      "\n",
      "1\n",
      "[id660475021|Olika], \"руZZня узревает Киев и умирает\"\n",
      "['ZZ']\n",
      "\n",
      "\n",
      "\n",
      "[id617658661|Подпоручик], важно отличать нацистскую суть, которой сейчас заражено население фашистской федерации от каких-то смешных фото. В реальности фашизму сейчас противостоит Украина, а Zигующее население путенского гулага нацизм раболепно поддерживает и дохнет за своего фюрера\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "[id176346772|Валентина], Zа Vойну..\n",
      "['Z', 'V']\n",
      "\n",
      "\n",
      "\n",
      "[id260224483|Ник], российская армия там стояла, плюс российская армия главу села увела, вопрос только в том на кого из ведомств это повесят, а то что это Zапутинские 100%. Многие уже забыли но ЧВК Вагнера тем же самым занималось с Африке. один в один. А начальство там одно и тоже\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "[id2301338|Кирилл], есть видос, как колонна ВСУ заезжает в город - там натурально гражданские каждые 10-15 метров по обе стороны дороги лежат. В некоторых местах между зданиями со связанными руками за спиной. Где-то в массовых могилах - руки-ноги, головы торчат. ВК удаляет видосы, они все +18. В Телеграмме нужно смотреть. И явно не в пророссийских. В пророссийских сейчас форсят десять раз сжатое видео в шакальем качестве с артефактами на видеоряде, где «наезжающие» на трупы плямы и царапины на стекле в машине оператора создают эффект шевеления и выдают этот видос за «доказательство постановочных кадров». Почему они не рассматривают такое доказательство в 4K или хотя 1080 качестве - непонятно. Вернее - понятно.  Pycня официально опустилась до уровня мясников при геноциде в Руанде.\n",
      "['K', 'Pyc']\n",
      "\n",
      "\n",
      "1\n",
      "Zигуйте дальше твари Поддерживайте Путина\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "[id617658661|Подпоручик], сyчий бот, брысь с Медузы с дегенеративными вбросами.\n",
      "['y']\n",
      "\n",
      "\n",
      "1\n",
      "[id310281348|Иван], впятепром заxватите расиюшку\n",
      "['x']\n",
      "\n",
      "\n",
      "\n",
      "[id673387693|Максим], аа, разгром Украины ещё будет?) Завтра в Киев, ну ну) Прям жду горящие пердаки zетанутых, которые настроились на всю Украину, когда Путин объявит о \"победе\" в виде руин Мариуполя и усе. Сомневаюсь что даже Краматорск взять смогут.\n",
      "['z']\n",
      "\n",
      "\n",
      "\n",
      "В будущем о путинской Роzzии будут рассказывать как о сумасшедшей диктатуре наровне с африканскими диктаторскими режимами\n",
      "['zz']\n",
      "\n",
      "\n",
      "\n",
      "[id117344916|Аня,] я могу быдловатный нищебродный терпильный рабсисянский биомycop типа тебя опускать бесконечно))))\n",
      "['id', 'ycop']\n",
      "\n",
      "\n",
      "1\n",
      "[id6889347|Денис], я же не шавкобот в отличие от тебя, дерьмo.)\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id21875698|Игорь], мне не интересны твои маргинальные махинации, дyp.\n",
      "['yp']\n",
      "\n",
      "\n",
      "1\n",
      "\"Отбивать агрессию, Путiн нэ пройдэ!\"...\n",
      "['i']\n",
      "\n",
      "\n",
      "\n",
      "[id314810758|Вячеслав], продажные хуeботы должны умиpaть самой страшной смертью ??????\n",
      "['e', 'pa']\n",
      "\n",
      "\n",
      "1\n",
      "Вы верите в эти сказки? Z zиганутые про Путинцы? Выключите телевизор и имейте независимое мнение.\n",
      "['Z', 'z']\n",
      "\n",
      "\n",
      "\n",
      "Рашко ваня идет подставлять свою тупую башку под пули за олигарxов евреев и прочиx нерусей...\n",
      "['x', 'x']\n",
      "\n",
      "\n",
      "\n",
      "[id51897986|Вячеслав], я понимаю, что ты идиoт и с первого раза не готов воспринять информацию, но всё же. Плевать на его критику об армии или чиновниках, если по итогу он подлизал карликовому вырoдкy и закрыл глаза на всё то, что он совершил за последние два месяца. А теперь нaxyй отсюда.\n",
      "['o', 'o', 'y', 'axy']\n",
      "\n",
      "\n",
      "1\n",
      "Щас какой нибудь вор в законе выкупит, будет дырявые гoндоны кремлеботве продавать:)\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "Вот интересно, те боты которые здесь кyкapeкали, что России эта война не нужна, это все Запад, машка алкaшкa считала даты до и после 16 февраля, получается Путин пошёл на поводу у Запада, признал террористов республиками и сейчас туда вторгается армией? Путин никудышный стратег и его втянули в войну, из которой он не выберется или что???\n",
      "['y', 'ape', 'a', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "Пользуйтесь cyки!\n",
      "['cy']\n",
      "\n",
      "\n",
      "1\n",
      "??? Междунаpодный конcилиум вpачей: \"У первых лиц симптомы проказы? Сохранение здоровья населения\".    ?Итак, начал свою работу междунаpодный конcилиум вpачей. \"У пеpвых лиц симптомы пpоказы? Сохранение здоровья населения\" — заявленная тема мероприятия. Организаторы мероприятия Нeзависимая Асcоциация Вpачей, Общeнаpодный Сoюз Возpождения Роcсии и междунаpодный Сoюз Вoльных Нарoдов.    ?Полную версию смотрите здесь: ??https://vk.com/video-181047282_456244615??    И действительно, по мнению специалистов, мало кто обращает внимание на физическое и психологическое здоровье мировых правителей. Одним из последних громких заявлений стало исследования профессора Игоря Гундаpова, который предположил наличие пандемии проказы (лепры) среди политических элит. Ющенко, Пyтин, Билл и Хилари Клинтон, даже Медведев и Ангела Меркель по мнению академика Игоря Гундаpова, возможно, болеют проказой. Профессор отмечает, что политикам, зачастую не могут даже поставить правильный диагноз и лечат не известно как.    Не теоретик, а практик рассказал о том, как он определили болезнь, какие симптомы он нашел у политиков и что можно сделать в сложившейся ситуации.    ?Кроме того, два года у нас бушует пландемия ОРВИ, которое власти, по мнению врачей, пытаются выдать за какое-то новое страшное заболевание. На деле же, очевидно, пандемия спланирована для того, чтобы ввести в странах цифровой концлагерь и тотальный контроль по планам Мирового правительства.    Врачи из Нeзависимая Асcоциация считают, что пора подвести итоги пландемии и определить дальнейшие действия междунаpодного медицинского сообщества.\n",
      "['p', 'c', 'p', 'p', 'c', 'p', 'p', 'p', 'e', 'c', 'p', 'e', 'p', 'o', 'p', 'c', 'p', 'o', 'o', 'o', 'p', 'y', 'p', 'e', 'c', 'p']\n",
      "\n",
      "\n",
      "\n",
      "[id473602961|Кира], сучья ботярa, какому передвижению в селе, где военная техника не перенаправляется, а стоит на месте? Где ты увидело свежесть трупoв? Лживaя, пятиконечная мрaзь!\n",
      "['a', 'o', 'a', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "Александр Королёв, ХOХЛOТРOЛЛЬ!\n",
      "['O', 'O', 'O']\n",
      "\n",
      "\n",
      "1\n",
      "[id673387693|Максим], возрастное чмo, а ты работаешь в лахте или удаленно? Снимаешь комнату на окраине Питера? У тебя хотя бы есть телефон или ты работаешь исключительно с кинескопного кампуктера?)\n",
      "['o']\n",
      "\n",
      "\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1\n",
      "Переименовалась на Еwa\n",
      "['wa']\n",
      "\n",
      "\n",
      "\n",
      "[id554098782|Артём], то есть если не сказал на стенд-апе то, о чём не хочет - трусливый чухaн?)\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id675126538|Abu], дyp, это видео после…\n",
      "['yp']\n",
      "\n",
      "\n",
      "1\n",
      "[id291311787|МихУил], я тебе, 6лядвa хохлорылая, лично череп проcтpeлю, мне нужен только приказ,  червь ты хохлодырый????????????????\n",
      "['a', 'c', 'pe']\n",
      "\n",
      "\n",
      "1\n",
      "[id270484805|Александр], котлеты по-руzки\n",
      "['z']\n",
      "\n",
      "\n",
      "\n",
      "[id21875698|Игорь], плесень у тебя на eблетe, овoщ.\n",
      "['e', 'e', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id138897333|Ромуальд], рыжий дeбик - сын вокзальной проститyтки, её любовь к дешёвой синтетике в период беременности имела последствия ???????\n",
      "['e', 'y']\n",
      "\n",
      "\n",
      "1\n",
      "Когда через пару дней большой группировке всу под Донецком в рот напихают, кaклы и либeoда на своих горящих сpaльниках наверное в стратосферу  улетят ??\n",
      "['a', 'eo', 'pa']\n",
      "\n",
      "\n",
      "1\n",
      "В качестве голубя подойдёт любой поцреот с пропеллером в задницe ??\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "[id223651410|Яна], дочь шлюxи, тем не менее ты судишь о моем происхождении или представлениях лишь на основе славянского имени. Включай критическое мышление, чмошницa, прежде чем обвинять другого в нацизме или защите русских.\n",
      "['x', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id704650242|Денисий], ты специально регался, чтоб эту xyйню спрашивать? Жизни у тебя совсем нет?\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "Удивляет другое, что Зеленский предъявляет претензии НАТО  Нет, конечно блаблабла, мир, труд, май, но наxyя самому НАТО прямое противостояние с Россией?  Зеленского можно понять при этом, но остаеца вопрос\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "[id448267101|Denis], скули выблядoк поганый ??что тебе ещё остаётся, пидop?\n",
      "['o', 'op']\n",
      "\n",
      "\n",
      "1\n",
      "[id2333165|Владимир], Россия бомбит гражданское население - РРРРЯ ДИТЯТКО ТРЕХМЕСЯЧНОЕ УБИЛИ ЗА ШО ТАМ НЕ БЫЛО ВОЕННЫХ ПУК СРЕНЬК ВОЕННОЕ ПРЕСТУПЛЕНИЕ ГЕНОЦИД Украина бомбит гражданское население - АХАХХА МЫ ЩАС ВАС ЕЩЁ ПОБОМБИМ ДЕРЖИТЕСЬ Ай да биoмycop.\n",
      "['o', 'ycop']\n",
      "\n",
      "\n",
      "1\n",
      "[id54581541|Evgeny], так а тебе то проще от того что люди будут видеть в тебе не бота, а ушлепка имперца, мечтающего о великой россии из окна своей убитой однушки в eбeняx задрищенска? Это вы бакланы громче всех кудахчите о своей поддержке войны и из-за вас тебе даже кажется что вас таких 90%.  По факту вас то буйных фанатов взять киев меньшинство и есть\n",
      "['e', 'e', 'x']\n",
      "\n",
      "\n",
      "1\n",
      "ФCБ взрывает Россию... В этот раз хоть предупреждают – может, кого-то это спасет.\n",
      "['C']\n",
      "\n",
      "\n",
      "\n",
      "«Эту власть я не выбирал, ее имперский угар я не поддерживал»  23 февраля, 2022 - 13:56      На прошлой неделе я впервые оказался в Норвегии. Поездка была короткой, но далась тяжело. Все города и поселки, которые мы встречали на своем пути, оставляли примерно такое впечатление: когда-то люди оказались на холодном, вытянутом и не очень пригодном для комфортной жизни куске земли, но смогли обустроить его так, что даже самая захолустная деревня на 10 домов излучает благополучие. И это мы еще не были на границе: в интернете много сравнений норвежского Киркенеса с нашими Заполярным или Никелем (расстояние – 55-65 км); если не боитесь окончательного упадка настроения и сил – найдите и посмотрите.    Есть много причин, почему у них – нефть и газ и вот так, а у нас – нефть и газ и вот так вот. Вчера большинство из этих причин мы снова наблюдали. Увлекшийся историей император. Свита с ампутированным мнением и волей. Пропагандистский эскорт, так складно и так сладко одобряющий войну из теплых столичных квартир. Ну и решения, которые вся эта тусовка принимает. Решения – не на то, чтобы конвертировать природные ресурсы в благополучие Воронежа, Камчатки, Никеля и Заполярного, а чтобы богатеть самим и подольше в управлении этих ресурсов оставаться.    Все, что написано выше, – очень банально; это очевидно для всех, у кого 2Х2=4. Поэтому я пишу это ровно с одним мотивом: когда мои дети подрастут, доберутся до этого клочка истории, охренеют и спросят: «Пап, ну а ты-то тогда чего?» – у меня будет письменное доказательство: эту власть я не выбирал, ее имперский угар я не поддерживал.    Второе.    Весной прошлого года у нас вышел выпуск с Михалычем из петербургской группы Animal Джаz. Отвечая на вопрос: «Как ты воспринимаешь то, что происходит между Россией и Украиной?», – он ответил: «Жесть. Трагедия. И чувство вины. Вот эти все зеленые человечки, вот это все вмешательство со стороны – это бесконечные чувства моего стыда и вины. С одной стороны – за то, что я не могу повлиять. С другой – за то, что это моя страна, хотя я вроде бы напрямую и не ответственен за эти вещи».    Этот ответ очень близок к тому, что испытываю сейчас я.    Я вырос в России, Россия — моя Родина, я с нежностью и любовью ношу триколор на предплечье. Но Украине, родине родных и дому друзей, — моя максимальная поддержка в эти дни.    России, Украине, миру — мир.    Юрий Дудь\n",
      "['Animal', 'z']\n",
      "\n",
      "\n",
      "\n",
      "Бабушка старенькая. Ей совкодрочерство простить можно. А вот Zомбанутых прощать нельзя.\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Каклы радуются что потопили один корабль (хотя они ли это ещё вопрос), а у самих почти вся инфраструктура разъeбана, это даже м учётом если делить то что минобороны говорит надвое, надежда только на то что с запада поставляют xd клoyны, хотя что с них взять с президентом-квнщиком\n",
      "['e', 'xd', 'oy']\n",
      "\n",
      "\n",
      "1\n",
      "[id716153572|Ваня], да захлопнись ты уже нaxyй, сын шaлавы!\n",
      "['axy', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id523056236|Максим], дyp, ты его фанаткa?\n",
      "['yp', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id19343925|Дионис], блокировка устройства возможна, если на то есть веские причины, например, кража. Неважно каким способом айфоны были куплены у производителя, а после - у третьих лиц. То есть ввоз в рашку не является причиной для блокировки. Да и объективно оценить адекватность блокировки тоже невозможно - как они будут определять этот момент? Местоположением в России? Да и Apple по сути поxyй на продажу в РФ. Главное, что они сами не участвуют напрямую в этом процессе.\n",
      "['Apple', 'xy']\n",
      "\n",
      "\n",
      "1\n",
      "Теперь и западным киношникам придется переделывать Zорро? ??\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "По факту на тему изнасиловaний для начала расследования ничего сказано. Журналисткиня надеется, что российская сторона займётся этим вопросом, ору ??\n",
      "['a']\n",
      "\n",
      "\n",
      "\n",
      "[id666017696|Дмитрий], а ты кто такая, мpaзoтa? Если ты считаешь что русские такие же yeбищa как ты с гoвнoм на аватарке - то таких нужно в утиль.\n",
      "['pa', 'o', 'a', 'ye', 'a', 'o', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "[id569409622|Уинстон], сын шлюxи, пошёл нaxyй.)\n",
      "['x', 'axy']\n",
      "\n",
      "\n",
      "1\n",
      "[id675792975|Ii], готов к жизни в полной нищeте?\n",
      "['e']\n",
      "\n",
      "\n",
      "\n",
      "[id488362914|Александра], отлично придуманная xyйня о том, что мне здесь нравиться, друг\n",
      "['xy']\n",
      "\n",
      "\n",
      "1\n",
      "Заeбали эти никчёмные и бесполезные организации типа оон или нато, которые на примере Украины показали нецелесообразность своего существования.\n",
      "['e']\n",
      "\n",
      "\n",
      "1\n",
      "[id278007933|Igor], ты сегодня опять в гoвнинy, или пока только опохмелился?\n",
      "['o', 'y']\n",
      "\n",
      "\n",
      "1\n",
      "руZZкие фашисты\n",
      "['ZZ']\n",
      "\n",
      "\n",
      "\n",
      "\"OНИ OБА МOГУТ\" !\n",
      "['O', 'O', 'O']\n",
      "\n",
      "\n",
      "\n",
      "Дипломатический путь Путин вдруг стал рассматривать, когда жареным запахло и получил по щам. Изначально в 2014 году не надо было в Украину лезть, чтобы теперь не терпеть поzор\n",
      "['z']\n",
      "\n",
      "\n",
      "\n",
      "Да гнездец вашему пианисту??и прочей бандеровской cвoлoчи конец наступает??щаз завизжат.\n",
      "['c', 'o', 'o']\n",
      "\n",
      "\n",
      "1\n",
      "Дуpы, прекратите приводить аргументы для говноботов вроде этой «татьяны», в этом суть их жалкой и примитивной работы - засрaть медиапространство.\n",
      "['p', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "[id45341016|Владислав], есть тут один дypaчок, с уазом патриотом) Забавный клoyн)\n",
      "['ypa', 'oy']\n",
      "\n",
      "\n",
      "1\n",
      "[id282684463|Дмитрий], а еще они систематично дают тебе на клык, говнобoт.\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id691640514|Валентина], брысь, дерьмo.\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id21733685|Рефа], А почему тогда украинцы не свергли режим Порошенко раз ЕС был тем самым камнем преткновения, а клятый Порошенко ничего не делал для этого?  США здесь при том, что США профинансировали и подготовили искусственный переворот для установления своей, угодной им, антироссийской власти, чтобы позже расширить НАТО. Но не получилось, Fartанули штаты.\n",
      "['Fart']\n",
      "\n",
      "\n",
      "\n",
      "АХАХА! Вы, кстати, в курсе, что чечня любит занимать первые места по запросам гей порнo?)\n",
      "['o']\n",
      "\n",
      "\n",
      "1\n",
      "[id161886380|Паша], бред высрaл, Путин делает все для народа, а Кадыров нас защищает\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id99251802|L'osh], дyp, это таки идеология фашизма, которую Оруэлл мог наблюдать в реальности, а роман был опубликован в 1949 году.\n",
      "['yp']\n",
      "\n",
      "\n",
      "1\n",
      "[id255754994|Тимур], скорее предотвратить \"спланированное убийство\" нескольких \"видных деятелей\" СМИ / предотвратить убийства детей. Честно говоря, даже если бы готовилось нападение на этих пропогандонов, на них всех было бы глубоко похyй, а вот на детей - нет.\n",
      "['y']\n",
      "\n",
      "\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1\n",
      "[id248938032|Марина], если их нaxyй не послали, а они добровольно съехали, то смею предположить, что не такие уж были светлые умы.\n",
      "['axy']\n",
      "\n",
      "\n",
      "1\n",
      "Как отреагирует на это вaтники и кремлеботы?\n",
      "['a']\n",
      "\n",
      "\n",
      "1\n",
      "[id4784072|Даур], им не мешает заламывать детей на митингах и насиловaть дубинками - эти преступления не против человечности, а другое?)\n",
      "['a']\n",
      "\n",
      "\n",
      "\n",
      "[id267020174|Viktor], ты либо крестик сними, либо фaшиZтом не будь  UPD: перестал,  по крайней мере, а интернете??\n",
      "['a', 'Z', 'UPD']\n",
      "\n",
      "\n",
      "\n",
      "[id653973289|Алексей], я roвном в отличии от тебя не питаюсь\n",
      "['ro']\n",
      "\n",
      "\n",
      "1\n",
      "[id170542218|Nikolaj], слышь хохол тупой, краснов воевал на стороне Гитлера как и дивизия сс галичина которая вас истребляла. Это факт. И они для вас герои? Вы вообще тут конченые нaxyй?\n",
      "['axy']\n",
      "\n",
      "\n",
      "1\n",
      "[id666676778|Туманный], тыж, пидpилa тут звенел об отсутствии экономики в РФ, падаль ты натужная. Методичку новую повезли, трёколо болотное?\n",
      "['p', 'a']\n",
      "\n",
      "\n",
      "1\n",
      "Пополнение Zомби взращивают\n",
      "['Z']\n",
      "\n",
      "\n",
      "\n",
      "Контора пидapacoв получила по заслугам\n",
      "['apaco']\n",
      "\n",
      "\n",
      "1\n"
     ]
    }
   ],
   "source": [
    "for index, row in negative.iterrows():\n",
    "    comment = row.comment\n",
    "    if find_latin(comment, debug=True):\n",
    "        print('\\n')\n",
    "        if input() == 1:\n",
    "            negative.at[index,'Age'] = 1\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 192,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source</th>\n",
       "      <th>comment</th>\n",
       "      <th>distortion</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Column1</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>14616</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id720973152|Сабир ]масульманин? Если да,то скажи мне где в Коране написано,что божно обращаться к богу с просьбой о смерти другого человека</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2558</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id717780224|Sam], он не может, он на задании.  Ему ещё после смены все свои выcepы в отчёт надо будет собрать и сдать куратору. И пачку доносов приложить к отчёту.  Иначе зарплату зажмут и премии лишат.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36108</th>\n",
       "      <td>дождь</td>\n",
       "      <td>вот о каких он сейчас минусах вещает,всё сейчас реально поняли-руссеие теперь реально не сдаются</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22935</th>\n",
       "      <td>лентач</td>\n",
       "      <td>ХристоZ ВоскреZ!!! Слава руZZкому миру. Победа будет Zа нами. ??????</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8124</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id278007933|Igor], он, вроде, не с чекистами договаривался, а с юристами перед т.н. выборами, чтобы отцепились. От России денег нет, геморроя много, Дуров россиянам помогает, и он же у и россиян всегда виноват и у российского правительства виноват. Он, похоже, просто всех послал, и, как теперь выясняется, правильно сделал.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38584</th>\n",
       "      <td>дождь</td>\n",
       "      <td>Интересно будет послушать рассказ, захваченного участника украинской диверсионно-разведовательной группы. И как от него открестятся украинские власти.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34084</th>\n",
       "      <td>дождь</td>\n",
       "      <td>Вести из Китая ближе Я вижу Начинается история та Сибири Китай раздаёт паспорта Пение Дзин и первый свисток Паспорта Китая держи Дальний Восток Защита подданных - первый этап Суживаются глаза мам, детей, пап Якутия, Эвенкия, Ямал Прирост Шина таки йоу не мал Япония не отстаёт Курилам Камчатке свой Док раздаёт Pашка сжата до внутримкадья Потом вообще до кремля Единой Планеты Сёстры и Братья Летит летит песня моя Единства чудесный пир Всё Великим Путём В Лад и Мир!)))))</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29979</th>\n",
       "      <td>дождь</td>\n",
       "      <td>????</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>396</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id44844688|Владимир], eбанутая, никто не запрещал эвакуацию. Другое дело, что не все хотели покидать дома. Украинцы ведь не думали, что в 21 веке им устроят многомесячную блокаду.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27278</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id671232693|Benedicta], meduza, медиазона</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>317</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id673387693|Максим], а про это предупреждали недавно, прям из Офиса - угроза ТЯО (да и СЯО тоже) безразлична.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35474</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id152925479|Кристина], это надо же как оболванели несколько поколений на этой окраине?  НГУ - Екатеринославский горный институт  Церемония открытия Екатеринославского высшего горного училища состоялась 30 сентября 1899 года в Потёмкинском дворце (ныне — Дворец студентов). В апреле следующего года началось строительство учебных корпусов. Император Николай II 25 мая 1903 года утвердил постановление Государственного Совета, которое перевело училище на уровень высшего образовательного учреждения.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12187</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Сергею Петрову определенно виднее Найдено в базе: #80449.5 (ib380953232402)  Комментарии Карточка</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19358</th>\n",
       "      <td>лентач</td>\n",
       "      <td>Не, мы сами норм ссым на eблеты лахтоблядям )</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26094</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id184877217|Виктор], во-первых, то, что ты начал с оскорблений необоснованных - это ты уже сам себя опустил. Два - я видел их учебники. И тебе, тупоголовому, советую ознакомиться.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35767</th>\n",
       "      <td>дождь</td>\n",
       "      <td>административное деление с линейкой, сделанное Сталиным, никакого отношения к нац.границам никогда не имело.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28850</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id13258250|Андрей], это те, кто в из бункера, что в замке через Пригожина по 15р. получают??? в какой клумбе вас, овальных таких только выращивают?????</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12074</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id260224483|Ник], и что это должно доказать? Из тебя дерьмовaя скептикиня без какой-либо аргументированной позиции.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34455</th>\n",
       "      <td>дождь</td>\n",
       "      <td>22.02 2022(2).День 7-ми ДВОЕК. Начало АРМАГЕДДОНА на Земле!  https://youtu.be/owwdz8whL_Q</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16346</th>\n",
       "      <td>лентач</td>\n",
       "      <td>Работайте братья! Нацисты будут покараны, СБУ ПОЗОР (вариант методички номер 3, в скобках удалить)</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50</th>\n",
       "      <td>медуза</td>\n",
       "      <td>что происходит? Z посеная начинается.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26260</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id613646966|Алексей], Ты хоть понимаешь смысл слова расистское государство? ты точно бестолковка, иди учись в школе и не прогуливай урок истории , а то так и будешь бестолковкой утверждать что РФ расистское государство??????</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23263</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id427513961|Олексій], какая хорошая новость??</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30013</th>\n",
       "      <td>дождь</td>\n",
       "      <td>Дожили,у нас теперь митингуют за еду? Что будет дальше?Бедные студенты...</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>805</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Может это снаряды 3Ш1 ?</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12575</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id137689063|Дмитрий],</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38370</th>\n",
       "      <td>дождь</td>\n",
       "      <td>История пишется на глазах!Путин признал ЛДНР готовьтесь Хохлы,Россия теперь не позволит творить вам привычный беспредел!</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37549</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id291311787|Михаил], я то как раз нет.а вот ты не знаю.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35116</th>\n",
       "      <td>дождь</td>\n",
       "      <td>Ганцы сами себе  только вред сделали!Еще раз показали,что Германия оккупированная страна и будет теперь покупать газ у пиндосов по дорогой цене!Все ляжет на плечи простых людей!А Россия и в Китай может газ продать!Какая разница кто платит!</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29582</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id13329321|Анна],</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3641</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id302388171|Наталья], Так не слушай. С 2019-го говоришь? А сейчас 2022-й. Это если ты запуталась</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1239</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Людям в России по душе военная тематика , риторика , умение поразить своей эрудицией в этой области , не вернуться из боя , ...Это видимо от однообразия по жизни .А врагов оголтелых ,если что можно и выдумать .</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33382</th>\n",
       "      <td>дождь</td>\n",
       "      <td>«Речь Путина дышала лютой ненавистью к самому факту существования независимого украинского государства. Как и многие российские империалисты, он готов терпеть украинство, пускать слезу, слушая украинские песни и с аппетитом закусывать украинской домашней колбасой рюмку горилки, но терпеть украинское государство он не может. Если есть Украина как независимая страна — то нет Российской империи ни в царском, ни в большевицком ее обличье. &lt;…&gt; Боюсь, что признание Л-ДНР только начало. На ставку в битве за Украину Путин поставил всего себя и свою мечту жизни о преодолении „величайшей геополитической катастрофы ХХ века“, как он сказал еще в далеком 2004 году. Призрак рухнувшей империи влечет его на новые преступления»</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14261</th>\n",
       "      <td>лентач</td>\n",
       "      <td>All mankind in the world have been weaken, deceived, corrupted, exploited, oppressived/repressived, slaughtered and destroyed by the powers of all devil governments and devil authorities/dominants such as ????england ????usa and western world and pursuing to do so.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27341</th>\n",
       "      <td>дождь</td>\n",
       "      <td>Реальні втрати РФ у війні з Україною</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25426</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id80687166|Дмитрий], а мы и не хохлы??</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16178</th>\n",
       "      <td>лентач</td>\n",
       "      <td>перед десятилетием науки и технологий было 30 лет упадка и загнивания. Как бывший научный сотрудник одного из НИИ я в теме. И не надо ля-ля.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35053</th>\n",
       "      <td>дождь</td>\n",
       "      <td>Эврика! Наша национальная идея - антиукраинство. Россия как антиукраинский проект, как Анти-Украина.  Это действительно объединяющая идея. Она объединяет и властьимущих медвежат, и оппозиционных в-Думе-сидельцев.   Нет, мы - Единая Россия, КПРФ, СР (\"за правду\"), ЛДПР - не против украинского \"режима\", не против бандеровцев. Мы именно против Украины как государства (и народа), против Украины как таковой.   Ну не могут все эти люди (а там еще и на верхней полке... палате! есть еще и в правительстве!) быть слабоумными, неспособными отделить государя, который \"приходит и уходит\", от государства, которое остаётся (\"при\" Кучме, \"при\" Ющенко, \"при\" Януковиче\"... в будушем возможно \"при\" Рабиновиче - это всё та же, в юридическом отношении, Украина).  Нет, они способные. Они просто НАШЛИ ту самую национальную идею.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24135</th>\n",
       "      <td>лентач</td>\n",
       "      <td>Привезли домой бытовую технику, а теперь прячут свои рожи? Что так? Они же герои-освободители))</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40289</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id37787983|Александр], неправильно начал.Надо\"Я сома дончанка,дочь шахтера.Тут не все так однозначно...\" и далее по тексту,в зависимости от ситуации.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17371</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id715122280|Абрам], ??????</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7039</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id167676219|Олег], а почему с цукеркамі?</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18574</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id488362914|Александра], если мне удобна вкладка \"рекомендации\", это не значит, что вся соц.сеть мне нравится, держу в курсе. Это значит, что я просто захожу в неё когда сижу на белом троне, всё, на большее она не годится.</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16606</th>\n",
       "      <td>лентач</td>\n",
       "      <td>БГагагагага............агагагага, клоунада от бога</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30189</th>\n",
       "      <td>дождь</td>\n",
       "      <td>оао рпц хотели в космос запустить..но пришли боевые попонавты</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22251</th>\n",
       "      <td>лентач</td>\n",
       "      <td>Друзья, вы наверное знаете что путин напал на Украину, в связи с этим обращаюсь к вам с просьбой сделать свой правильный и справедливый выбор - отсоединитесь от России, сейчас это лучший момент! Якуты могут стать отдельной, по-настоящему свободной и богатой страной. В составе России экономика Якутии сейчас в развале, отдельно мы же можем торговать с другими странами и делать новую, красивую и свободную Якутию!</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21020</th>\n",
       "      <td>лентач</td>\n",
       "      <td>У меня на chess.com только к 1400 рейтинг приблизился</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36402</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id257529579|Вишневская], просрали Украину, а там 30 000 000 нашиx родственников</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7084</th>\n",
       "      <td>медуза</td>\n",
       "      <td>[id242223363|Sexy],</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40119</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id703186620|Наталья], мне, что госдепу верить?????????</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         source  \\\n",
       "Column1           \n",
       "14616    лентач   \n",
       "2558     медуза   \n",
       "36108     дождь   \n",
       "22935    лентач   \n",
       "8124     медуза   \n",
       "38584     дождь   \n",
       "34084     дождь   \n",
       "29979     дождь   \n",
       "396      медуза   \n",
       "27278     дождь   \n",
       "317      медуза   \n",
       "35474     дождь   \n",
       "12187    медуза   \n",
       "19358    лентач   \n",
       "26094    лентач   \n",
       "35767     дождь   \n",
       "28850     дождь   \n",
       "12074    медуза   \n",
       "34455     дождь   \n",
       "16346    лентач   \n",
       "50       медуза   \n",
       "26260    лентач   \n",
       "23263    лентач   \n",
       "30013     дождь   \n",
       "805      медуза   \n",
       "12575    лентач   \n",
       "38370     дождь   \n",
       "37549     дождь   \n",
       "35116     дождь   \n",
       "29582     дождь   \n",
       "3641     медуза   \n",
       "1239     медуза   \n",
       "33382     дождь   \n",
       "14261    лентач   \n",
       "27341     дождь   \n",
       "25426    лентач   \n",
       "16178    лентач   \n",
       "35053     дождь   \n",
       "24135    лентач   \n",
       "40289     дождь   \n",
       "17371    лентач   \n",
       "7039     медуза   \n",
       "18574    лентач   \n",
       "16606    лентач   \n",
       "30189     дождь   \n",
       "22251    лентач   \n",
       "21020    лентач   \n",
       "36402     дождь   \n",
       "7084     медуза   \n",
       "40119     дождь   \n",
       "\n",
       "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   comment  \\\n",
       "Column1                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      \n",
       "14616                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         [id720973152|Сабир ]масульманин? Если да,то скажи мне где в Коране написано,что божно обращаться к богу с просьбой о смерти другого человека   \n",
       "2558                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           [id717780224|Sam], он не может, он на задании.  Ему ещё после смены все свои выcepы в отчёт надо будет собрать и сдать куратору. И пачку доносов приложить к отчёту.  Иначе зарплату зажмут и премии лишат.   \n",
       "36108                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     вот о каких он сейчас минусах вещает,всё сейчас реально поняли-руссеие теперь реально не сдаются   \n",
       "22935                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 ХристоZ ВоскреZ!!! Слава руZZкому миру. Победа будет Zа нами. ??????   \n",
       "8124                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 [id278007933|Igor], он, вроде, не с чекистами договаривался, а с юристами перед т.н. выборами, чтобы отцепились. От России денег нет, геморроя много, Дуров россиянам помогает, и он же у и россиян всегда виноват и у российского правительства виноват. Он, похоже, просто всех послал, и, как теперь выясняется, правильно сделал.   \n",
       "38584                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               Интересно будет послушать рассказ, захваченного участника украинской диверсионно-разведовательной группы. И как от него открестятся украинские власти.   \n",
       "34084                                                                                                                                                                                                                                                                                                                                                             Вести из Китая ближе Я вижу Начинается история та Сибири Китай раздаёт паспорта Пение Дзин и первый свисток Паспорта Китая держи Дальний Восток Защита подданных - первый этап Суживаются глаза мам, детей, пап Якутия, Эвенкия, Ямал Прирост Шина таки йоу не мал Япония не отстаёт Курилам Камчатке свой Док раздаёт Pашка сжата до внутримкадья Потом вообще до кремля Единой Планеты Сёстры и Братья Летит летит песня моя Единства чудесный пир Всё Великим Путём В Лад и Мир!)))))   \n",
       "29979                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 ????   \n",
       "396                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   [id44844688|Владимир], eбанутая, никто не запрещал эвакуацию. Другое дело, что не все хотели покидать дома. Украинцы ведь не думали, что в 21 веке им устроят многомесячную блокаду.   \n",
       "27278                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           [id671232693|Benedicta], meduza, медиазона   \n",
       "317                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         [id673387693|Максим], а про это предупреждали недавно, прям из Офиса - угроза ТЯО (да и СЯО тоже) безразлична.   \n",
       "35474                                                                                                                                                                                                                                                                                                                                   [id152925479|Кристина], это надо же как оболванели несколько поколений на этой окраине?  НГУ - Екатеринославский горный институт  Церемония открытия Екатеринославского высшего горного училища состоялась 30 сентября 1899 года в Потёмкинском дворце (ныне — Дворец студентов). В апреле следующего года началось строительство учебных корпусов. Император Николай II 25 мая 1903 года утвердил постановление Государственного Совета, которое перевело училище на уровень высшего образовательного учреждения.   \n",
       "12187                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    Сергею Петрову определенно виднее Найдено в базе: #80449.5 (ib380953232402)  Комментарии Карточка   \n",
       "19358                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        Не, мы сами норм ссым на eблеты лахтоблядям )   \n",
       "26094                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 [id184877217|Виктор], во-первых, то, что ты начал с оскорблений необоснованных - это ты уже сам себя опустил. Два - я видел их учебники. И тебе, тупоголовому, советую ознакомиться.   \n",
       "35767                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         административное деление с линейкой, сделанное Сталиным, никакого отношения к нац.границам никогда не имело.   \n",
       "28850                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             [id13258250|Андрей], это те, кто в из бункера, что в замке через Пригожина по 15р. получают??? в какой клумбе вас, овальных таких только выращивают?????   \n",
       "12074                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 [id260224483|Ник], и что это должно доказать? Из тебя дерьмовaя скептикиня без какой-либо аргументированной позиции.   \n",
       "34455                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            22.02 2022(2).День 7-ми ДВОЕК. Начало АРМАГЕДДОНА на Земле!  https://youtu.be/owwdz8whL_Q   \n",
       "16346                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   Работайте братья! Нацисты будут покараны, СБУ ПОЗОР (вариант методички номер 3, в скобках удалить)   \n",
       "50                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   что происходит? Z посеная начинается.   \n",
       "26260                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    [id613646966|Алексей], Ты хоть понимаешь смысл слова расистское государство? ты точно бестолковка, иди учись в школе и не прогуливай урок истории , а то так и будешь бестолковкой утверждать что РФ расистское государство??????   \n",
       "23263                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       [id427513961|Олексій], какая хорошая новость??   \n",
       "30013                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            Дожили,у нас теперь митингуют за еду? Что будет дальше?Бедные студенты...   \n",
       "805                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                Может это снаряды 3Ш1 ?   \n",
       "12575                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               [id137689063|Дмитрий],   \n",
       "38370                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             История пишется на глазах!Путин признал ЛДНР готовьтесь Хохлы,Россия теперь не позволит творить вам привычный беспредел!   \n",
       "37549                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             [id291311787|Михаил], я то как раз нет.а вот ты не знаю.   \n",
       "35116                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      Ганцы сами себе  только вред сделали!Еще раз показали,что Германия оккупированная страна и будет теперь покупать газ у пиндосов по дорогой цене!Все ляжет на плечи простых людей!А Россия и в Китай может газ продать!Какая разница кто платит!   \n",
       "29582                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   [id13329321|Анна],   \n",
       "3641                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     [id302388171|Наталья], Так не слушай. С 2019-го говоришь? А сейчас 2022-й. Это если ты запуталась   \n",
       "1239                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    Людям в России по душе военная тематика , риторика , умение поразить своей эрудицией в этой области , не вернуться из боя , ...Это видимо от однообразия по жизни .А врагов оголтелых ,если что можно и выдумать .   \n",
       "33382                                                                                                     «Речь Путина дышала лютой ненавистью к самому факту существования независимого украинского государства. Как и многие российские империалисты, он готов терпеть украинство, пускать слезу, слушая украинские песни и с аппетитом закусывать украинской домашней колбасой рюмку горилки, но терпеть украинское государство он не может. Если есть Украина как независимая страна — то нет Российской империи ни в царском, ни в большевицком ее обличье. <…> Боюсь, что признание Л-ДНР только начало. На ставку в битве за Украину Путин поставил всего себя и свою мечту жизни о преодолении „величайшей геополитической катастрофы ХХ века“, как он сказал еще в далеком 2004 году. Призрак рухнувшей империи влечет его на новые преступления»   \n",
       "14261                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            All mankind in the world have been weaken, deceived, corrupted, exploited, oppressived/repressived, slaughtered and destroyed by the powers of all devil governments and devil authorities/dominants such as ????england ????usa and western world and pursuing to do so.   \n",
       "27341                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 Реальні втрати РФ у війні з Україною   \n",
       "25426                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              [id80687166|Дмитрий], а мы и не хохлы??   \n",
       "16178                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         перед десятилетием науки и технологий было 30 лет упадка и загнивания. Как бывший научный сотрудник одного из НИИ я в теме. И не надо ля-ля.   \n",
       "35053    Эврика! Наша национальная идея - антиукраинство. Россия как антиукраинский проект, как Анти-Украина.  Это действительно объединяющая идея. Она объединяет и властьимущих медвежат, и оппозиционных в-Думе-сидельцев.   Нет, мы - Единая Россия, КПРФ, СР (\"за правду\"), ЛДПР - не против украинского \"режима\", не против бандеровцев. Мы именно против Украины как государства (и народа), против Украины как таковой.   Ну не могут все эти люди (а там еще и на верхней полке... палате! есть еще и в правительстве!) быть слабоумными, неспособными отделить государя, который \"приходит и уходит\", от государства, которое остаётся (\"при\" Кучме, \"при\" Ющенко, \"при\" Януковиче\"... в будушем возможно \"при\" Рабиновиче - это всё та же, в юридическом отношении, Украина).  Нет, они способные. Они просто НАШЛИ ту самую национальную идею.   \n",
       "24135                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      Привезли домой бытовую технику, а теперь прячут свои рожи? Что так? Они же герои-освободители))   \n",
       "40289                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               [id37787983|Александр], неправильно начал.Надо\"Я сома дончанка,дочь шахтера.Тут не все так однозначно...\" и далее по тексту,в зависимости от ситуации.   \n",
       "17371                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          [id715122280|Абрам], ??????   \n",
       "7039                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             [id167676219|Олег], а почему с цукеркамі?   \n",
       "18574                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      [id488362914|Александра], если мне удобна вкладка \"рекомендации\", это не значит, что вся соц.сеть мне нравится, держу в курсе. Это значит, что я просто захожу в неё когда сижу на белом троне, всё, на большее она не годится.   \n",
       "16606                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   БГагагагага............агагагага, клоунада от бога   \n",
       "30189                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        оао рпц хотели в космос запустить..но пришли боевые попонавты   \n",
       "22251                                                                                                                                                                                                                                                                                                                                                                                                                        Друзья, вы наверное знаете что путин напал на Украину, в связи с этим обращаюсь к вам с просьбой сделать свой правильный и справедливый выбор - отсоединитесь от России, сейчас это лучший момент! Якуты могут стать отдельной, по-настоящему свободной и богатой страной. В составе России экономика Якутии сейчас в развале, отдельно мы же можем торговать с другими странами и делать новую, красивую и свободную Якутию!   \n",
       "21020                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                У меня на chess.com только к 1400 рейтинг приблизился   \n",
       "36402                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     [id257529579|Вишневская], просрали Украину, а там 30 000 000 нашиx родственников   \n",
       "7084                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   [id242223363|Sexy],   \n",
       "40119                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              [id703186620|Наталья], мне, что госдепу верить?????????   \n",
       "\n",
       "         distortion  \n",
       "Column1              \n",
       "14616             0  \n",
       "2558              0  \n",
       "36108             0  \n",
       "22935             0  \n",
       "8124              0  \n",
       "38584             0  \n",
       "34084             0  \n",
       "29979             0  \n",
       "396               0  \n",
       "27278             0  \n",
       "317               0  \n",
       "35474             0  \n",
       "12187             0  \n",
       "19358             0  \n",
       "26094             0  \n",
       "35767             0  \n",
       "28850             0  \n",
       "12074             0  \n",
       "34455             0  \n",
       "16346             0  \n",
       "50                0  \n",
       "26260             0  \n",
       "23263             0  \n",
       "30013             0  \n",
       "805               0  \n",
       "12575             0  \n",
       "38370             0  \n",
       "37549             0  \n",
       "35116             0  \n",
       "29582             0  \n",
       "3641              0  \n",
       "1239              0  \n",
       "33382             0  \n",
       "14261             0  \n",
       "27341             0  \n",
       "25426             0  \n",
       "16178             0  \n",
       "35053             0  \n",
       "24135             0  \n",
       "40289             0  \n",
       "17371             0  \n",
       "7039              0  \n",
       "18574             0  \n",
       "16606             0  \n",
       "30189             0  \n",
       "22251             0  \n",
       "21020             0  \n",
       "36402             0  \n",
       "7084              0  \n",
       "40119             0  "
      ]
     },
     "execution_count": 192,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "negative.head(50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 194,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('logs.txt', encoding='UTF-8') as f:\n",
    "    lines = f.readlines()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 211,
   "metadata": {},
   "outputs": [],
   "source": [
    "keys = [line.rstrip('\\n') for line in lines[::5]]\n",
    "vals = list(map(lambda x: 1 if x == '1\\n' else 0, lines[4::5]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 227,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0"
      ]
     },
     "execution_count": 227,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vals[-1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 218,
   "metadata": {},
   "outputs": [],
   "source": [
    "for k, v in zip(keys, vals):\n",
    "    labeled.loc[labeled['comment'] == k, 'distortion'] = v"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 233,
   "metadata": {},
   "outputs": [],
   "source": [
    "sent = 'Контора пидapacoв получила по заслугам'\n",
    "labeled.loc[labeled['comment'] == sent, 'distortion'] = 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 235,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    2716\n",
       "1     573\n",
       "Name: distortion, dtype: int64"
      ]
     },
     "execution_count": 235,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "labeled['distortion'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 236,
   "metadata": {},
   "outputs": [],
   "source": [
    "labeled.to_csv('fully_labeled_distortions.tsv', encoding='utf-8', sep='\\t')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Аугментация маскированного класса"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 242,
   "metadata": {},
   "outputs": [],
   "source": [
    "# remove labeled as positive for distortions from total sample\n",
    "labeled_dist = labeled.loc[labeled['distortion'] == 1]\n",
    "source_data = clean_second_sample[~clean_second_sample.comments.isin(labeled_dist.comment)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 273,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>comment_id</th>\n",
       "      <th>source</th>\n",
       "      <th>comments</th>\n",
       "      <th>distortion</th>\n",
       "      <th>toxicity</th>\n",
       "      <th>corrected</th>\n",
       "      <th>Столбец1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>медуза</td>\n",
       "      <td>Григорий Спел)))</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>медуза</td>\n",
       "      <td>Только новую серию Намедни закончил смотреть и тут это. Каеф.</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>медуза</td>\n",
       "      <td>А будет ли фильм Русские русские?</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>медуза</td>\n",
       "      <td>[id415480453|Олег], есть же, \"Цвет нации\".</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>медуза</td>\n",
       "      <td>Что бы ни делал Леонид Геннадьевич - шедеврально.</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   comment_id  source  \\\n",
       "0           0  медуза   \n",
       "1           1  медуза   \n",
       "2           2  медуза   \n",
       "3           3  медуза   \n",
       "4           4  медуза   \n",
       "\n",
       "                                                        comments  distortion  \\\n",
       "0                                               Григорий Спел)))           0   \n",
       "1  Только новую серию Намедни закончил смотреть и тут это. Каеф.           0   \n",
       "2                              А будет ли фильм Русские русские?           0   \n",
       "3                     [id415480453|Олег], есть же, \"Цвет нации\".           0   \n",
       "4              Что бы ни делал Леонид Геннадьевич - шедеврально.           0   \n",
       "\n",
       "   toxicity corrected Столбец1  \n",
       "0         0       NaN      NaN  \n",
       "1         0       NaN      NaN  \n",
       "2         0       NaN      NaN  \n",
       "3         0       NaN      NaN  \n",
       "4         0       NaN      NaN  "
      ]
     },
     "execution_count": 273,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_data = pd.read_csv('корпуса/vk_labeled.tsv', encoding='UTF-8', sep='\\t')\n",
    "test_data.head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 275,
   "metadata": {},
   "outputs": [],
   "source": [
    "test_negative = test_data.loc[test_data['distortion'] == 0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 284,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Кадыров все таки красавчик, вaту нагнул\n",
      "['a']\n",
      "67\n",
      "\n",
      "\n",
      "1\n",
      "[id248753181|Людмила], про бояться смешно, конечно, нacpaльного и весь его штаб уничтожили менее чем за полгода, сам он уже вряд ли когда-нибудь выйдет. От его сторонников никаких протестов, митингов и т.д., слили вы вождя своего, oчкoшники, и как вас после этого серьезно воспринимать?))\n",
      "['acpa', 'o', 'o']\n",
      "153\n",
      "\n",
      "\n",
      "1\n",
      "Мepзкая ситуация, видимо стоит ожидать какой-то провокации на этой или следующей неделе. Думаю любому здравомыслящему человеку понятно, что России эта война вообще не нужна, она ничего не получит от вторжения, только убытки. А вот штатам как раз эта война очень даже на руку - новые зверские санкции, окончательная изоляция России, возможность прибрать к рукам европейский рынок и создать образ нового мирового врага. Такие твapи они, конечно, ну надеюсь хоть мoзгов хватит третью мировую не начинать\n",
      "['ep', 'ap', 'o']\n",
      "212\n",
      "\n",
      "\n",
      "1\n",
      "[id3161208|Андрей], детский попытка перевода стрелок, зоогeй????.\n",
      "['e']\n",
      "331\n",
      "\n",
      "\n",
      "1\n",
      "[id162364532|Моника], пока вaта патриотная в таком ширптребном состоянии лезкт во власть...уж лучше бы гея поставили ухоженного, тем более культурная столица\n",
      "['a']\n",
      "548\n",
      "\n",
      "\n",
      "1\n",
      "[id115521448|Vadym], хуютлeр, почему ты на комментарии не отвечаешь?\n",
      "['e']\n",
      "636\n",
      "\n",
      "\n",
      "1\n",
      "[id18511367|Богдан], ты долбoeб? Его полстраны ненавидит. Он мерзкий лицемерный социалист\n",
      "['oe']\n",
      "706\n",
      "\n",
      "\n",
      "1\n",
      "Как обычно - хyйня\n",
      "['y']\n",
      "761\n",
      "\n",
      "\n",
      "1\n",
      "[id704177422|Алексей], xyйня отупелая, отпердачили твою бухую мамку в борделе, чтобы тебя зачать ?? Есть такая функция – пойти нaxyй – это единственное, что ты можешь сделать в этой жизни, кстати ??\n",
      "['xy', 'axy']\n",
      "971\n",
      "\n",
      "\n",
      "1\n",
      "[id25568723|Антон], он истинный дayн, раз форсит постоянно обoccaнного xaча.\n",
      "['ay', 'occa', 'xa']\n",
      "1016\n",
      "\n",
      "\n",
      "1\n",
      "[id155600|Александр], о, любитель чepныx xyeв подтянулся. Держи в курсе.\n",
      "['ep', 'x', 'xye']\n",
      "1018\n",
      "\n",
      "\n",
      "1\n",
      "[id50531801|Pevuca], такими темпами он скоро нахyй никому не нужен будет\n",
      "['y']\n",
      "1145\n",
      "\n",
      "\n",
      "1\n",
      "[id114773687|Александръ], ты на полном серьезе считаешь нормой то , что в ядерной сверхдержаве минималка меньше чем в обоccaнной Украине и санкции не причем?\n",
      "['cca']\n",
      "1228\n",
      "\n",
      "\n",
      "1\n",
      "[id13834433|Ренат], xoxлобот\n",
      "['xox']\n",
      "1279\n",
      "\n",
      "\n",
      "1\n",
      "Я удивляюсь комментаторам, которые поведение этого долбoeба оправдывают. Чем вы лучше чеченцев, лол? Он точно также по-быдлятски поступил, тем более на какую-то старуху бедную налетел\n",
      "['oe']\n",
      "1367\n",
      "\n",
      "\n",
      "1\n",
      "[id604407503|Илья], пфф. Серьёзно? Ты в это веришь? Святой хороший народ и злой путин?  Это путин оставил в этом треде 90% комментариев - расистских?  Я каждый день тут читаю, десятки коментов, про \"тупых хахлов\", \"тупых пиндосов\", \"тупых либepaх\". Всё это лайкается, выводится в топы. И это не боты. Это обычный, среднестатистический, пустоголовый - обыватель. Так это даже не ватный, не поцреотический и не провластный паблик. Там вообще психушка на выезде.  Путина номер раз тут заменит путин номер два, путин номер три, путин номер четыре. Поплевал в запад, поругал геев, бах, рейтинг 80%.  Я неправду говорю?  В Канаде и Австралии, в Финляндии, Германии и Японии - никаких путиных невозможно впринципе.\n",
      "['epa']\n",
      "1657\n",
      "\n",
      "\n",
      "1\n",
      "[id604957737|Бенедикт], ты чтоль белый, шалупьё снгшное?)  На твой свинячий вой из жoпы мира вообще всем поcpать)  С чего ты взял, что это \"фильм - для белых людей\"? Кто, и когда, и кому это обещал? Голоса в твоей больной голове?\n",
      "['o', 'cp']\n",
      "1677\n",
      "\n",
      "\n",
      "1\n",
      "[id27852722|Дима], в Америке называется.  Остальному миру поxyй на это\n",
      "['xy']\n",
      "1704\n",
      "\n",
      "\n",
      "1\n",
      "[id215862086|Валентин], насчет пункта с: пока не доказано - поeбaть, что сказано. Все честно. А пункты a и b точно на ее возраст ссылаются? Что вообще термин \"protected person\" значит?\n",
      "['e', 'a', 'a', 'b', 'protected', 'person']\n",
      "1848\n",
      "\n",
      "\n",
      "1\n",
      "Сколько yeбaнoв ??в комментах) Конченные люди.\n",
      "['ye', 'a', 'o']\n",
      "1884\n",
      "\n",
      "\n",
      "1\n",
      "Oxyительно устроились,не жизнь а сказка ,когда сказочный дед родственник\n",
      "['Oxy']\n",
      "2024\n",
      "\n",
      "\n",
      "1\n",
      "[id461498232|Андрей], у них там кто просить может? У тамошних террористов мнение меняется от настроения Кремля. Они там дешёвые пpoститyтки захватившие власть\n",
      "['po', 'y']\n",
      "2068\n",
      "\n",
      "\n",
      "1\n",
      "Примерно так Делимxанов заставляет извиняться мундепа.\n",
      "['x']\n",
      "2153\n",
      "\n",
      "\n",
      "\n",
      "Шaлaвa нeдoбитaя.\n",
      "['a', 'a', 'a', 'e', 'o', 'a']\n",
      "2261\n",
      "\n",
      "\n",
      "1\n",
      "А скоро и Aнaльнoмy добавят.\n",
      "['A', 'a', 'o', 'y']\n",
      "2283\n",
      "\n",
      "\n",
      "1\n",
      "[id303201232|Андрей], для такого пидopa как ты это хорошие новости\n",
      "['opa']\n",
      "2366\n",
      "\n",
      "\n",
      "1\n",
      "Как всю эту мpaзь корёжит от побед наших спортсменов! На любую подлость готовы идти??\n",
      "['pa']\n",
      "2373\n",
      "\n",
      "\n",
      "1\n",
      "А Aнaльный по прежнему любит свою паству..Преимущественно их кошельки..\n",
      "['A', 'a']\n",
      "2552\n",
      "\n",
      "\n",
      "1\n",
      "Самая xудшая ценность — война, санкции, коррупция и пенсия 100 $. Это путинские ценности дикарей и варваров.\n",
      "['x']\n",
      "2663\n",
      "\n",
      "\n",
      "\n",
      "Что ещё за традиционные ценности? Бухaть, валяться в подъезде в блeвотине, ходить под себя, поджигать кнопки в лифте, выкручивать лампочки в подъезде, ломать почтовые ящики и тп? Так то этих скрепоносных ценностей полно\n",
      "['a', 'e']\n",
      "2690\n",
      "\n",
      "\n",
      "\n",
      "[id138280294|Антон], естественно, поэтому рф должна вывести свои войска из украины,не надо врать вaта\n",
      "['a']\n",
      "2775\n",
      "\n",
      "\n",
      "1\n",
      "[id138280294|Антон], ну вот опять вaтная ложь,против россиюшки же пакет санкций новый готовят\n",
      "['a']\n",
      "2778\n",
      "\n",
      "\n",
      "1\n",
      "[id138280294|Антон], поэтому бидон усиливает части НАТО в ЕС?поставляет оружие украине?че то твое вaтное вранье и маняфантазии не вяжутся с реальностью Так что не удивлюсь югославскому решению проблем на бомбасе и стремительный забег сепаров до ростова\n",
      "['a']\n",
      "2780\n",
      "\n",
      "\n",
      "1\n",
      "[id138280294|Антон], опять вранье,вaта сама придумала,сама и поверила, хватит врать\n",
      "['a']\n",
      "2781\n",
      "\n",
      "\n",
      "1\n",
      "[id138280294|Антон], почему тебя смущает вaта бесполетная зона?рф же будет с авиаударов атаковать,естественно про сработают,важно что бы рф не прикрылась гражданскими бортами\n",
      "['a']\n",
      "2782\n",
      "\n",
      "\n",
      "1\n",
      "На \"Сильмариллион\" замахнулись? Вот cyки! ??\n",
      "['cy']\n",
      "2816\n",
      "\n",
      "\n",
      "1\n",
      "[id658179580|Сергей], ты-дoлбoёб...\n",
      "['o', 'o']\n",
      "2877\n",
      "\n",
      "\n",
      "1\n"
     ]
    }
   ],
   "source": [
    "for index, row in test_negative.iterrows():\n",
    "    comment = row.comments\n",
    "    if not isinstance(comment, float): # skip empty comments (nan seen as float)\n",
    "        if find_latin(comment, debug=True):\n",
    "            print(index)\n",
    "            print('\\n')\n",
    "            if input() == 1:\n",
    "                test_negative.at[index,'distortion'] = 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 288,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('test_logs.txt', encoding='UTF-8') as f:\n",
    "    lines = f.readlines()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 289,
   "metadata": {},
   "outputs": [],
   "source": [
    "keys = [line.rstrip('\\n') for line in lines[::6]]\n",
    "vals = list(map(lambda x: 1 if x == '1\\n' else 0, lines[5::6]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 292,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[1, 1]"
      ]
     },
     "execution_count": 292,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vals[-1] = 1\n",
    "vals[-2:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 293,
   "metadata": {},
   "outputs": [],
   "source": [
    "for k, v in zip(keys, vals):\n",
    "    test_data.loc[test_data['comments'] == k, 'distortion'] = v"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 294,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    2874\n",
       "1     126\n",
       "Name: distortion, dtype: int64"
      ]
     },
     "execution_count": 294,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_data['distortion'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 295,
   "metadata": {},
   "outputs": [],
   "source": [
    "test_data.to_csv('vk_labeled_addedLatinDist.tsv', encoding='utf-8', sep='\\t')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Функции замены"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 580,
   "metadata": {},
   "outputs": [],
   "source": [
    "cyr_to_lat = {'е': 'e', 'т': 't', 'у': 'y',\n",
    "              'и': 'u', 'о': 'o', 'р': 'p',\n",
    "              'а': 'a', 'н': 'h', 'к': 'k',\n",
    "              'х': 'x', 'с': 'c', 'в': 'b',\n",
    "              'м': 'm', 'п': 'n'}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 595,
   "metadata": {},
   "outputs": [],
   "source": [
    "cyr_to_cyr = {'е': 'и',\n",
    "            # 'еб': 'ип',\n",
    "            # 'бл': 'мл',\n",
    "            # 'ов': 'ау',\n",
    "              'б': 'п',\n",
    "              'д': 'т',\n",
    "              'х': 'к',\n",
    "              'о': 'а',\n",
    "              'з': 'с',\n",
    "              'ж': 'ш',\n",
    "              'в': 'у',\n",
    "              'с': 'ц'}\n",
    "            # 'тс': 'цц',\n",
    "            # 'пи': '3,14'}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 596,
   "metadata": {},
   "outputs": [],
   "source": [
    "class NotApplicable(Exception):\n",
    "    \"\"\"\n",
    "    raised when selected distortion method is not applicable to string\n",
    "    \"\"\"\n",
    "    pass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 597,
   "metadata": {},
   "outputs": [],
   "source": [
    "def latin_letter(word): # P = 52/140\n",
    "    \"\"\"\n",
    "    distortion with a latin letter\n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    if set(letters) & set(cyr_to_lat.keys()):\n",
    "        while True:\n",
    "            to_replace = random.choice(range(len(letters)))\n",
    "            if letters[to_replace] in cyr_to_lat:\n",
    "                break\n",
    "        letters[to_replace] = cyr_to_lat[letters[to_replace]]\n",
    "        return ''.join(letters)\n",
    "    else:\n",
    "        raise NotApplicable\n",
    "\n",
    "def similar_letter(word): # P = 17+3(pi)/140\n",
    "    \"\"\"\n",
    "    distortion with a similat cyrillic letter or 3,14\n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    if set(letters) & set(cyr_to_cyr.keys()):\n",
    "        while True:\n",
    "            to_replace = random.choice(range(len(letters)))\n",
    "            if letters[to_replace] in cyr_to_cyr:\n",
    "                break\n",
    "        letters[to_replace] = cyr_to_cyr[letters[to_replace]]\n",
    "        return ''.join(letters)\n",
    "    else:\n",
    "        raise NotApplicable\n",
    "\n",
    "def fullstop(word): # P = 10/140\n",
    "    \"\"\"\n",
    "    distortion with .\n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    to_replace = random.choice(range(len(letters)))\n",
    "    letters[to_replace] = '.'\n",
    "    return ''.join(letters)\n",
    "\n",
    "def two_dots(word): # P = 8/140\n",
    "    \"\"\"\n",
    "    distortion with ..\n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    to_replace = random.choice(range(len(letters)))\n",
    "    letters[to_replace] = '..'\n",
    "    return ''.join(letters)\n",
    "\n",
    "def precent_asterisc_drop(word): # P = 7*3/140\n",
    "    \"\"\"\n",
    "    distortion with %, * or dropped letter\n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    to_replace = random.choice(range(len(letters)))\n",
    "    replace_with = random.choice(['%', '*', ''])\n",
    "    letters[to_replace] = replace_with\n",
    "    return ''.join(letters)\n",
    "\n",
    "def at(word): # P = 5/140\n",
    "    \"\"\"\n",
    "    distortion with @\n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    to_replace = random.choice(range(len(letters)))\n",
    "    letters[to_replace] = '@'\n",
    "    return ''.join(letters)\n",
    "\n",
    "def threedots_number(word): # P = 4*2/140\n",
    "    \"\"\"\n",
    "    distortion with ... or a digit\n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    to_replace = random.choice(range(len(letters)))\n",
    "    replace_with = random.choice([str(random.choice(range(10))), '...'])\n",
    "    letters[to_replace] = replace_with\n",
    "    return ''.join(letters)\n",
    "\n",
    "def parenthesis(word): # P = 3/140\n",
    "    \"\"\"\n",
    "    distortion with ) or ( \n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    to_replace = random.choice(range(len(letters)))\n",
    "    replace_with = random.choice(['(', ')'])\n",
    "    letters[to_replace] = replace_with\n",
    "    return ''.join(letters)\n",
    "\n",
    "def threeasteriscs_repetition(word): # P = 2*2/140\n",
    "    \"\"\"\n",
    "    distortion with ***\n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    to_replace = random.choice(range(len(letters)))\n",
    "    replace_with = random.choice(['***', letters[to_replace]*2])\n",
    "    letters[to_replace] = replace_with\n",
    "    return ''.join(letters)\n",
    "\n",
    "def other_ways(word): # P = 1*9/140\n",
    "    \"\"\"\n",
    "    distortion with other ways\n",
    "    \"\"\"\n",
    "    letters = list(word)\n",
    "    to_replace = random.choice(range(len(letters)))\n",
    "    replace_with = random.choice(['.....', '\"', '#', ' ', '-', '....', ',', '()', '  '])\n",
    "    if replace_with == '()':\n",
    "        letters[to_replace] = f'({letters[to_replace]})'\n",
    "        return ''.join(letters)\n",
    "    elif replace_with == '  ':\n",
    "        return ' '.join(letters)\n",
    "    elif replace_with == ' ':\n",
    "        letters.insert(to_replace, ' ')\n",
    "        return ''.join(letters)\n",
    "    else:\n",
    "        letters[to_replace] = replace_with\n",
    "        return ''.join(letters)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 627,
   "metadata": {},
   "outputs": [],
   "source": [
    "def distort_word(word):\n",
    "    \"\"\"\n",
    "    takes a word, returns distorted version according to the distribution\n",
    "    of methods of distortion\n",
    "    \"\"\"\n",
    "    possible_functions = [(latin_letter,()), (similar_letter,()), (fullstop,()),\n",
    "                          (two_dots,()), (precent_asterisc_drop,()), (at,()), \n",
    "                          (threedots_number,()), (parenthesis,()),\n",
    "                          (threeasteriscs_repetition,()), (other_ways, ())]\n",
    "    weights = [51, 20, 10, 8, 21, 5, 8, 3, 4, 9]\n",
    "    while True:\n",
    "        try:\n",
    "            (func, args), = random.choices(possible_functions, weights=weights)\n",
    "            distorted = func(word)\n",
    "            break\n",
    "        except NotApplicable:\n",
    "            pass\n",
    "\n",
    "    return distorted"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Замена:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 599,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('bad_wordlist.txt', encoding='UTF-8') as f:\n",
    "    bad_wordlist = [line.rstrip('\\n') for line in f.readlines()]\n",
    "lemmed_wordlist = [morph.parse(token.lower())[0].normal_form  for token in bad_wordlist]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 635,
   "metadata": {},
   "outputs": [],
   "source": [
    "def distort_comment(text):\n",
    "    \"\"\"\n",
    "    takes a comment, returns its version where one of the present 'bad words' is distorted.\n",
    "    if none are present, returns nothing\n",
    "    \"\"\"\n",
    "    tokens = [token.strip(punctuation) for token in text.split()]\n",
    "    lemmas = [morph.parse(token.lower())[0].normal_form  for token in tokens]\n",
    "    if set(lemmas) & set(lemmed_wordlist):\n",
    "        while True:\n",
    "            to_replace = random.choice(range(len(tokens)))\n",
    "            if lemmas[to_replace] in lemmed_wordlist:\n",
    "                break\n",
    "        return text.replace(tokens[to_replace], distort_word(tokens[to_replace]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 639,
   "metadata": {},
   "outputs": [],
   "source": [
    "to_distort = source_data.sample(10000)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 640,
   "metadata": {},
   "outputs": [],
   "source": [
    "to_distort['automatically_distorted'] = to_distort['comments'].apply(distort_comment)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 641,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1317"
      ]
     },
     "execution_count": 641,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(to_distort.loc[to_distort['automatically_distorted'].notnull()])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 644,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source</th>\n",
       "      <th>automatically_distorted</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>36687</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id627634435|Александр],  у вас день открытых дверей в дурке ?    Кто начал обстрел ЛДНР ?  Сколько можно убивать людей. Всё правильно сделал Путиh.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1851</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Отказ стран от российских энергоносителей может сподвигнуть российскую власть на реализацию их внутри самой Россиu?\\n\\nИли это другое?</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18999</th>\n",
       "      <td>лентач</td>\n",
       "      <td>[id160933923|Валентин],да.Потому что,она сука нацисткая с ср.ного Казахстана людоедского,конеедского.</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       source  \\\n",
       "36687   дождь   \n",
       "1851   медуза   \n",
       "18999  лентач   \n",
       "\n",
       "                                                                                                                                    automatically_distorted  \n",
       "36687  [id627634435|Александр],  у вас день открытых дверей в дурке ?    Кто начал обстрел ЛДНР ?  Сколько можно убивать людей. Всё правильно сделал Путиh.  \n",
       "1851                 Отказ стран от российских энергоносителей может сподвигнуть российскую власть на реализацию их внутри самой Россиu?\\n\\nИли это другое?  \n",
       "18999                                                 [id160933923|Валентин],да.Потому что,она сука нацисткая с ср.ного Казахстана людоедского,конеедского.  "
      ]
     },
     "execution_count": 644,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "to_distort.loc[to_distort['automatically_distorted'].notnull()][['source', 'automatically_distorted']].head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 645,
   "metadata": {},
   "outputs": [],
   "source": [
    "augmented_distortions = to_distort.loc[to_distort['automatically_distorted'].notnull()][['source', 'automatically_distorted']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 646,
   "metadata": {},
   "outputs": [],
   "source": [
    "augmented_distortions['distortion'] = 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 647,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source</th>\n",
       "      <th>automatically_distorted</th>\n",
       "      <th>distortion</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>36687</th>\n",
       "      <td>дождь</td>\n",
       "      <td>[id627634435|Александр],  у вас день открытых дверей в дурке ?    Кто начал обстрел ЛДНР ?  Сколько можно убивать людей. Всё правильно сделал Путиh.</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1851</th>\n",
       "      <td>медуза</td>\n",
       "      <td>Отказ стран от российских энергоносителей может сподвигнуть российскую власть на реализацию их внутри самой Россиu?\\n\\nИли это другое?</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       source  \\\n",
       "36687   дождь   \n",
       "1851   медуза   \n",
       "\n",
       "                                                                                                                                    automatically_distorted  \\\n",
       "36687  [id627634435|Александр],  у вас день открытых дверей в дурке ?    Кто начал обстрел ЛДНР ?  Сколько можно убивать людей. Всё правильно сделал Путиh.   \n",
       "1851                 Отказ стран от российских энергоносителей может сподвигнуть российскую власть на реализацию их внутри самой Россиu?\\n\\nИли это другое?   \n",
       "\n",
       "       distortion  \n",
       "36687           1  \n",
       "1851            1  "
      ]
     },
     "execution_count": 647,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "augmented_distortions.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 648,
   "metadata": {},
   "outputs": [],
   "source": [
    "augmented_distortions.to_csv('augmented_distortions.tsv', encoding='utf-8', sep='\\t')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Выделить случайный семпл и разметить как НЕмаскированное\n",
    "Необходимо 900 примеров с `distortion == 0`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 659,
   "metadata": {},
   "outputs": [],
   "source": [
    "# (all parsed minus lebaled as distorted) minus augmented\n",
    "tolabel_notdistorted = source_data[~source_data.comments.isin(to_distort.loc[to_distort['automatically_distorted'].notnull()].comments)]\n",
    "tolabel_notdistorted = tolabel_notdistorted.sample(1500)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 660,
   "metadata": {},
   "outputs": [],
   "source": [
    "tolabel_notdistorted['comments'] = tolabel_notdistorted['comments'].str.replace('\\n', ' ')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 661,
   "metadata": {},
   "outputs": [],
   "source": [
    "tolabel_notdistorted.to_csv('to_label_for_notdistorted.tsv', encoding='utf-8', sep='\\t')\n",
    "# labeled file is 'labeled_notdistortions.tsv''"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Отделить часть маскировок на разметку токсичности для задачи 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 673,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "576"
      ]
     },
     "execution_count": 673,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "labeled_distortions = pd.read_csv('корпуса/fully_labeled_distortions.tsv', encoding='utf-8', sep='\\t')\n",
    "distorted_found = labeled_distortions.loc[labeled_distortions['distortion'] == 1]\n",
    "len(distorted_found)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 674,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(450, 126)"
      ]
     },
     "execution_count": 674,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tolabel_for_tox = distorted_found.sample(126)\n",
    "distorted_found = distorted_found[~distorted_found.comment.isin(tolabel_for_tox.comment)]\n",
    "len(distorted_found), len(tolabel_for_tox)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 676,
   "metadata": {},
   "outputs": [],
   "source": [
    "distorted_found.to_csv('found_distortions.tsv', encoding='utf-8', sep='\\t')\n",
    "tolabel_for_tox.to_csv('distortions_tolabel_for_tox.tsv', encoding='utf-8', sep='\\t')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Создание общих файлов с данными для задач"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 680,
   "metadata": {},
   "outputs": [],
   "source": [
    "tox_pt1 = pd.read_csv('fully_labeled_test_corpus.tsv', encoding='UTF-8', sep='\\t')\n",
    "tox_pt1 = tox_pt1.loc[tox_pt1['distortion'] == 0][['comments', 'toxicity']]\n",
    "tox_pt1.rename(columns = {'comments': 'comment'}, inplace = True)\n",
    "\n",
    "tox_pt2 = pd.read_csv('distortions_labeled_for_tox.tsv', encoding='UTF-8', sep='\\t')\n",
    "tox_pt2 = tox_pt2[['comment', 'toxicity']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 682,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>comment</th>\n",
       "      <th>toxicity</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>993</th>\n",
       "      <td>Штош, пойду праздновать, влюблённых поздравлять</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>161</th>\n",
       "      <td>Честный человек ???????? вот как можно с серьёзным лицом такое говорить и не заржать??</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>668</th>\n",
       "      <td>\"Учения\" значит? Хитро придумано. Теперь уж точно никто не насторожится ))</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                    comment  \\\n",
       "993                                         Штош, пойду праздновать, влюблённых поздравлять   \n",
       "161  Честный человек ???????? вот как можно с серьёзным лицом такое говорить и не заржать??   \n",
       "668              \"Учения\" значит? Хитро придумано. Теперь уж точно никто не насторожится ))   \n",
       "\n",
       "     toxicity  \n",
       "993         0  \n",
       "161         0  \n",
       "668         0  "
      ]
     },
     "execution_count": 682,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "toxicity_data = pd.concat([tox_pt1, tox_pt2], ignore_index=True).sample(3000)\n",
    "toxicity_data.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "tox_pt1 = pd.read_csv('fully_labeled_test_corpus.tsv', encoding='UTF-8', sep='\\t')\n",
    "tox_pt1 = tox_pt1.loc[tox_pt1['distortion'] == 0][['comments', 'toxicity']]\n",
    "tox_pt1.rename(columns = {'comments': 'comment'}, inplace = True)\n",
    "\n",
    "tox_pt2 = pd.read_csv('distortions_labeled_for_tox.tsv', encoding='UTF-8', sep='\\t')\n",
    "tox_pt2 = tox_pt2[['comment', 'toxicity']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 696,
   "metadata": {},
   "outputs": [],
   "source": [
    "dist_pt1 = pd.read_csv('found_distortions.tsv', encoding='UTF-8', sep='\\t')\n",
    "dist_pt1 = dist_pt1[['comment', 'distortion']]\n",
    "\n",
    "dist_pt2 = pd.read_csv('augmented_distortions.tsv', encoding='UTF-8', sep='\\t').sample(len(dist_pt1))\n",
    "dist_pt2 = dist_pt2[['automatically_distorted', 'distortion']]\n",
    "dist_pt2.rename(columns = {'automatically_distorted': 'comment'}, inplace = True)\n",
    "\n",
    "dist_pt3 = pd.read_csv('labeled_notdistortions.tsv', encoding='UTF-8', sep='\\t')\n",
    "dist_pt3['distortion'] = 0\n",
    "dist_pt3 = dist_pt3[['comments', 'distortion']]\n",
    "dist_pt3.rename(columns = {'comments': 'comment'}, inplace = True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 698,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>comment</th>\n",
       "      <th>distortion</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1358</th>\n",
       "      <td>[id450436040|Евгений], ты давно новости открывал? мне ведь не нужно предъявлять тебе доказательства обратного?)</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>552</th>\n",
       "      <td>А до 2027 будут за рубли покупать?)) Да и хорошо 😂😂 Мне кажется Р***ссию это прекрасно устраивает))</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>Да кому он нафиг вcpaлся</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                                              comment  \\\n",
       "1358  [id450436040|Евгений], ты давно новости открывал? мне ведь не нужно предъявлять тебе доказательства обратного?)   \n",
       "552               А до 2027 будут за рубли покупать?)) Да и хорошо 😂😂 Мне кажется Р***ссию это прекрасно устраивает))   \n",
       "44                                                                                           Да кому он нафиг вcpaлся   \n",
       "\n",
       "      distortion  \n",
       "1358           0  \n",
       "552            1  \n",
       "44             1  "
      ]
     },
     "execution_count": 698,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "distortion_data = pd.concat([dist_pt1, dist_pt2, dist_pt3], ignore_index=True)\n",
    "distortion_data = distortion_data.sample(len(distortion_data))\n",
    "distortion_data.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 699,
   "metadata": {},
   "outputs": [],
   "source": [
    "toxicity_data.to_csv('toxicity_data.tsv', encoding='utf-8', sep='\\t')\n",
    "distortion_data.to_csv('distortion_data.tsv', encoding='utf-8', sep='\\t')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 700,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    0.5\n",
       "1    0.5\n",
       "Name: distortion, dtype: float64"
      ]
     },
     "execution_count": 700,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "distortion_data.distortion.value_counts(normalize=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 707,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import train_test_split"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 712,
   "metadata": {},
   "outputs": [],
   "source": [
    "toxicity_data = pd.read_csv('toxicity_data.tsv', sep='\\t', encoding='UTF-8')\n",
    "distortion_data = pd.read_csv('distortion_data.tsv', sep='\\t', encoding='UTF-8')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 713,
   "metadata": {},
   "outputs": [],
   "source": [
    "def remove_link(text):\n",
    "    \"\"\"\n",
    "    removes author link form replies\n",
    "    \"\"\"\n",
    "    return re.sub(vk_link, '', text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 720,
   "metadata": {},
   "outputs": [],
   "source": [
    "toxicity_data.dropna(inplace=True)\n",
    "toxicity_data['text'] = toxicity_data['text'].apply(remove_link)\n",
    "distortion_data['text'] = distortion_data['text'].apply(remove_link)\n",
    "\n",
    "tox_train, tox_val = train_test_split(toxicity_data[['text', 'target']],\n",
    "                                      test_size=0.2, random_state=42)\n",
    "dist_train, dist_val = train_test_split(distortion_data[['text', 'target']],\n",
    "                                        test_size=0.2, random_state=42)\n",
    "\n",
    "tox_train.reset_index(drop=True, inplace = True)\n",
    "tox_train.rename(columns = {'text': 'doc'}, inplace = True)\n",
    "tox_val.reset_index(drop=True, inplace = True)\n",
    "tox_val.rename(columns = {'text': 'doc'}, inplace = True)\n",
    "dist_train.reset_index(drop=True, inplace = True)\n",
    "dist_train.rename(columns = {'text': 'doc'}, inplace = True)\n",
    "dist_val.reset_index(drop=True, inplace=True)\n",
    "dist_val.rename(columns = {'text': 'doc'}, inplace = True)\n",
    "\n",
    "tox_train.to_csv('toxicity_train.tsv', encoding='utf-8', sep='\\t', index_label='id')\n",
    "tox_val.to_csv('toxicity_val.tsv', encoding='utf-8', sep='\\t', index_label='id')\n",
    "dist_train.to_csv('distortion_train.tsv', encoding='utf-8', sep='\\t', index_label='id')\n",
    "dist_val.to_csv('distortion_val.tsv', encoding='utf-8', sep='\\t', index_label='id')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Собрать в общий корпус все данные по токсичности"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 793,
   "metadata": {},
   "outputs": [],
   "source": [
    "del toxicity_data['Unnamed: 0']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 816,
   "metadata": {},
   "outputs": [],
   "source": [
    "toxicity_data.rename(columns = {'text': 'doc'}, inplace = True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 817,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>doc</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Верблюдов-то за что? Дебилы, бл...\\n</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Хохлы, это отдушина затюканого россиянина, мол, вон, а у хохлов еще хуже. Если бы хохлов не было, кисель их бы придумал.\\n</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Собаке - собачья смерть\\n</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                                                          doc  \\\n",
       "0                                                                                        Верблюдов-то за что? Дебилы, бл...\\n   \n",
       "1  Хохлы, это отдушина затюканого россиянина, мол, вон, а у хохлов еще хуже. Если бы хохлов не было, кисель их бы придумал.\\n   \n",
       "2                                                                                                   Собаке - собачья смерть\\n   \n",
       "\n",
       "   target  \n",
       "0       1  \n",
       "1       1  \n",
       "2       1  "
      ]
     },
     "execution_count": 817,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "kaggle = pd.read_csv('другие корпуса токсичности/kaggle_rltc.csv', encoding='UTF-8')\n",
    "kaggle['toxic'] = kaggle['toxic'].astype(int)\n",
    "kaggle.rename(columns={'comment': 'doc', 'toxic': 'target'}, inplace=True)\n",
    "kaggle.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 818,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('другие корпуса токсичности/ok_train.txt', encoding='UTF-8') as f:\n",
    "    raw_ok = f.read()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 819,
   "metadata": {},
   "outputs": [],
   "source": [
    "raw_ok = raw_ok.replace('__label__NORMAL', '0')\n",
    "raw_ok = re.sub('__label__\\w+(\\t__label__\\w+)*', '1', raw_ok)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 820,
   "metadata": {},
   "outputs": [],
   "source": [
    "import io"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 821,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>target</th>\n",
       "      <th>doc</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>дворника надо тоже уничтожить!</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0</td>\n",
       "      <td>моя старшая неделю шипела, не принимала подкидыша, которого я принесла. китя такой славный, потерпите немного, мои теперь душа в душу живут, ваша примет попозже. а котенок необыкновенно красивый.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>полностью с вами согласна!</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   target  \\\n",
       "0       1   \n",
       "1       0   \n",
       "2       0   \n",
       "\n",
       "                                                                                                                                                                                                   doc  \n",
       "0                                                                                                                                                                       дворника надо тоже уничтожить!  \n",
       "1  моя старшая неделю шипела, не принимала подкидыша, которого я принесла. китя такой славный, потерпите немного, мои теперь душа в душу живут, ваша примет попозже. а котенок необыкновенно красивый.  \n",
       "2                                                                                                                                                                           полностью с вами согласна!  "
      ]
     },
     "execution_count": 821,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ok_cup = pd.read_csv(io.StringIO((raw_ok)), sep='\\t', names=['comment_id', 'target', 'doc'])\n",
    "del ok_cup['comment_id']\n",
    "ok_cup.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 822,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>doc</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>пиздеж! температуры горения хватит чтобы её расплавить к херам..</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>а ты чмо там был.ты вообще служил.гандон</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>пиздабол ---- а сам где кормишься ?</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                doc  target\n",
       "0  пиздеж! температуры горения хватит чтобы её расплавить к херам..       1\n",
       "1                          а ты чмо там был.ты вообще служил.гандон       1\n",
       "2                               пиздабол ---- а сам где кормишься ?       1"
      ]
     },
     "execution_count": 822,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "russe_1 = pd.read_csv('другие корпуса токсичности/russe_dev.tsv', encoding='UTF-8', sep='\\t')\n",
    "russe_2 = pd.read_csv('другие корпуса токсичности/russe_train.tsv', encoding='UTF-8', sep='\\t')\n",
    "russe = pd.concat([russe_1, russe_2], ignore_index=True)\n",
    "russe = russe[['toxic_comment']]\n",
    "russe.rename(columns={'toxic_comment': 'doc'}, inplace=True)\n",
    "russe['target'] = 1\n",
    "russe.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 823,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "14412 148775 7748 2897\n"
     ]
    }
   ],
   "source": [
    "print(len(kaggle), len(ok_cup), len(russe), len(toxicity_data))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Sampling"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 824,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0    2336\n",
       "1     561\n",
       "Name: target, dtype: int64"
      ]
     },
     "execution_count": 824,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "toxicity_data['target'].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 825,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0    2336\n",
      "1    2336\n",
      "Name: target, dtype: int64\n",
      "0    3336\n",
      "1    3336\n",
      "Name: target, dtype: int64\n",
      "0    4336\n",
      "1    4336\n",
      "Name: target, dtype: int64\n"
     ]
    }
   ],
   "source": [
    "combined = pd.concat([toxicity_data, russe.sample(1775, random_state=42)], ignore_index=True)\n",
    "print(combined['target'].value_counts())\n",
    "combined = pd.concat([combined, kaggle.groupby('target').sample(n=1000, random_state=42)], ignore_index=True)\n",
    "print(combined['target'].value_counts())\n",
    "combined = pd.concat([combined, ok_cup.groupby('target').sample(n=1000, random_state=42)], ignore_index=True)\n",
    "print(combined['target'].value_counts())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 828,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>doc</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>6744</th>\n",
       "      <td>есть 3 балкона 195 60 15</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3399</th>\n",
       "      <td>Одноклассники суки! Напился,проблевал, проспал!(</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3058</th>\n",
       "      <td>уёбишный артист и как человек уёбок</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   doc  target\n",
       "6744                          есть 3 балкона 195 60 15       0\n",
       "3399  Одноклассники суки! Напился,проблевал, проспал!(       1\n",
       "3058               уёбишный артист и как человек уёбок       1"
      ]
     },
     "execution_count": 828,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "combined = combined.sample(len(combined), random_state=422)\n",
    "combined.head(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 829,
   "metadata": {},
   "outputs": [],
   "source": [
    "combined_train, combined_val = train_test_split(combined, test_size=0.2, random_state=42)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 830,
   "metadata": {},
   "outputs": [],
   "source": [
    "combined_train.to_csv('combined_train.tsv', sep='\\t', encoding='UTF-8')\n",
    "combined_val.to_csv('combined_val.tsv', sep='\\t', encoding='UTF-8')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}