work/dataset/4_process_kaggle.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "a1eb69d9-90f1-400c-8142-9e000cec037f",
   "metadata": {},
   "source": [
    "This notebook is for [Kaggle Russian Normalization challenge](https://www.kaggle.com/competitions/text-normalization-challenge-russian-language).\n",
    "\n",
    "In order to reproduce the results one is necessary to download `ru_train.csv` file trom the challenge website and put it alongside the notebook."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "c2f8da5f-da5f-4e3d-93aa-b101478eb266",
   "metadata": {},
   "outputs": [],
   "source": [
    "PATHES = {\n",
    "    \"load\": \"ru_train.csv\",\n",
    "    \"save\": \"/home/jovyan/data/kaggle.jsonl\"\n",
    "}"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9481d1b5-47c1-4c80-8fd6-8cdceb1c8ad0",
   "metadata": {},
   "source": [
    "I use `Replaces` class as list of changes have been made upon the text."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "747c82a0-96eb-44d7-b1b6-4e5a11573d7f",
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import sys\n",
    "sys.path.append(os.path.join(os.path.dirname(os.getcwd())))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "b43cb93b-762d-4af0-b856-ab9a8e37b92b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "E|мама\n",
       "R|мыла => \n",
       "E|раму\n",
       "R|смылом => уронила"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from replaces import Replace, Replaces\n",
    "\n",
    "\n",
    "Replaces.from_sequences(\n",
    "    \"мама мыла раму с мылом\".split(),\n",
    "    \"мама раму уронила\".split(),\n",
    "    False\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "535f86e4-a87c-457d-8912-738491ad796a",
   "metadata": {},
   "source": [
    "One is possible to construct Replaces object out from list of dicts so some kind of serialization could be done easily here"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "f347a04c-e5e0-4cd0-88c0-eb2ece0397be",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "E|a\n",
       "R|b => c"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Replaces([{\"text_from\": \"a\", \"text_to\": \"a\"}, {\"text_from\": \"b\", \"text_to\": \"c\"}])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6e748a92-c4c2-440b-b5ad-36e60081b8e9",
   "metadata": {},
   "source": [
    "Parse kaggle train file"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "3fad0379-b19c-4073-85f0-5cdca37b7324",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "10574516it [00:08, 1181950.33it/s]\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "(761436,\n",
       " {0: {'class': 'PLAIN', 'before': 'По', 'after': 'По'},\n",
       "  1: {'class': 'PLAIN', 'before': 'состоянию', 'after': 'состоянию'},\n",
       "  2: {'class': 'PLAIN', 'before': 'на', 'after': 'на'},\n",
       "  3: {'class': 'DATE',\n",
       "   'before': '1862 год',\n",
       "   'after': 'тысяча восемьсот шестьдесят второй год'},\n",
       "  4: {'class': 'PUNCT', 'before': '.', 'after': '.'}})"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from collections import defaultdict\n",
    "from tqdm import tqdm\n",
    "import csv\n",
    "\n",
    "\n",
    "data = defaultdict(dict)\n",
    "with open(PATHES[\"load\"]) as f:\n",
    "    reader = csv.reader(f)\n",
    "    next(reader, None)  # ['sentence_id', 'token_id', 'class', 'before', 'after']\n",
    "    for row in tqdm(reader):\n",
    "        data[int(row[0])][int(row[1])] = {\n",
    "            \"class\": row[2],\n",
    "            \"before\": row[3],\n",
    "            \"after\": row[4],\n",
    "        }\n",
    "len(data), data[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2272846b-dfbc-4851-a068-1ba736754848",
   "metadata": {},
   "source": [
    "Quick check on are tokens indices ok"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "176af51a-04c1-489d-a39a-bda19f10ea51",
   "metadata": {},
   "outputs": [],
   "source": [
    "for sent in data.values():\n",
    "    if len(sent) == len(set(sent)) == max(sent) + 1:\n",
    "        continue\n",
    "    print(sent)\n",
    "    break"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "15824559-7c3b-45ae-8c1c-00efc487f4a1",
   "metadata": {},
   "source": [
    "Reformat it"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "32801693-2f6b-44c7-b50a-148cbd4687fa",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 761436/761436 [00:03<00:00, 219834.88it/s]\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "{'sentence_id': 0,\n",
       " 'tokens': [{'class': 'PLAIN', 'before': 'По', 'after': 'По'},\n",
       "  {'class': 'PLAIN', 'before': 'состоянию', 'after': 'состоянию'},\n",
       "  {'class': 'PLAIN', 'before': 'на', 'after': 'на'},\n",
       "  {'class': 'DATE',\n",
       "   'before': '1862 год',\n",
       "   'after': 'тысяча восемьсот шестьдесят второй год'},\n",
       "  {'class': 'PUNCT', 'before': '.', 'after': '.'}]}"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data = [{\n",
    "    \"sentence_id\": sent_id,\n",
    "    \"tokens\": [token for i_token, token in sorted(sent.items(), key=lambda x: x[0])]\n",
    "} for sent_id, sent in tqdm(data.items())]\n",
    "data[0]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "46e5d535-bde8-4de4-9346-0d308935d9d0",
   "metadata": {},
   "source": [
    "Check on what classes are there"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "abb9a1c8-9441-4159-956c-d7033ea07d70",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'CARDINAL',\n",
       " 'DATE',\n",
       " 'DECIMAL',\n",
       " 'DIGIT',\n",
       " 'ELECTRONIC',\n",
       " 'FRACTION',\n",
       " 'LETTERS',\n",
       " 'MEASURE',\n",
       " 'MONEY',\n",
       " 'ORDINAL',\n",
       " 'PLAIN',\n",
       " 'PUNCT',\n",
       " 'TELEPHONE',\n",
       " 'TIME',\n",
       " 'VERBATIM'}"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from itertools import chain\n",
    "set(chain(*[[_[\"class\"] for _ in sent[\"tokens\"]] for sent in data]))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8e410be1-5f68-4878-a911-cddf4ac226a7",
   "metadata": {},
   "source": [
    "One is necessary to polish spaces of tokens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "95a58d8e-297d-4f44-bfb6-3e2d8a0e9bc5",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 761436/761436 [00:06<00:00, 126458.97it/s]\n"
     ]
    }
   ],
   "source": [
    "import re\n",
    "\n",
    "\n",
    "re_trans = re.compile(r\"_(trans|latin) *\")\n",
    "examples = []\n",
    "for elem in tqdm(data):\n",
    "    for key in (\"before\", \"after\"):\n",
    "        for token in elem[\"tokens\"]:\n",
    "            if \"_\" in token[key]:  # quicker check to speedup\n",
    "                token[key] = re.sub(re_trans, \"\", str(token[key]))\n",
    "        for i1, (t1, t2) in enumerate(zip(elem[\"tokens\"], elem[\"tokens\"][1:])):\n",
    "            if t1[key] in (\"(\", \"«\"):\n",
    "                t1[key] = \" \" + t1[key]\n",
    "                t2[key] = t2[key].strip()\n",
    "            elif t2[\"class\"] == \"PUNCT\":\n",
    "                if t2[key] == \"—\":\n",
    "                    t1[key] += \" \"\n",
    "                else:\n",
    "                    pass\n",
    "            elif t1[\"class\"] == t2[\"class\"] == \"ORDINAL\" and t2[key].startswith(\"—\"):\n",
    "                pass\n",
    "            elif t1[\"class\"] == \"VERBATIM\" or t2[\"class\"] == \"VERBATIM\" and t1[\"class\"] != \"PUNCT\":\n",
    "                pass\n",
    "            else:\n",
    "                t1[key] += \" \"\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7d88eaf9-afee-4339-85d8-de33f3822774",
   "metadata": {},
   "source": [
    "Check whether everything went ok"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "4dceb061-709d-4808-9a03-8cb32d3ead11",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'sentence_id': 0,\n",
       " 'tokens': [{'class': 'PLAIN', 'before': 'По ', 'after': 'По '},\n",
       "  {'class': 'PLAIN', 'before': 'состоянию ', 'after': 'состоянию '},\n",
       "  {'class': 'PLAIN', 'before': 'на ', 'after': 'на '},\n",
       "  {'class': 'DATE',\n",
       "   'before': '1862 год',\n",
       "   'after': 'тысяча восемьсот шестьдесят второй год'},\n",
       "  {'class': 'PUNCT', 'before': '.', 'after': '.'}]}"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "9d43ada1-8350-48a8-b674-4b7680d94a5c",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0 По состоянию на 1862 год.\n",
      "0 По состоянию на тысяча восемьсот шестьдесят второй год.\n",
      "1 Оснащались латными рукавицами и сабатонами с не длинными носками.\n",
      "1 Оснащались латными рукавицами и сабатонами с не длинными носками.\n",
      "2 В конце 1811 года, вследствие конфликта с проезжим вельможей (графом Салтыковым) вынужден был оставить службу по личному прошению.\n",
      "2 В конце тысяча восемьсот одиннадцатого года, вследствие конфликта с проезжим вельможей (графом Салтыковым) вынужден был оставить службу по личному прошению.\n",
      "3 Тиберий Юлий Поллиен Ауспекс (лат. Tiberius Julius Pollienus Auspex) — римский политический деятель начала III века.\n",
      "3 Тиберий Юлий Поллиен Ауспекс (лат. тибериус джулиус поллиенус оспекс) — римский политический деятель начала третьего века.\n",
      "4 Севернее Дудинки и северо-восточнее Белочи, в низменной долине Неруссы — урочище Узлив.\n",
      "4 Севернее Дудинки и северо-восточнее Белочи, в низменной долине Неруссы — урочище Узлив.\n",
      "5 Получение информации об адресах, почтовых индексах, странах, городах.\n",
      "5 Получение информации об адресах, почтовых индексах, странах, городах.\n",
      "6 Проверено 12 февраля 2013. Архивировано из первоисточника 15 февраля 2013. TV, ты меня не любишь?\n",
      "6 Проверено двенадцатого февраля две тысячи тринадцатого года. Архивировано из первоисточника пятнадцатого февраля две тысячи тринадцатого года. t v, ты меня не любишь?\n",
      "7 Теперь все уважительно зовут Ямамото Аники (яп. — 兄貴, Старший брат).\n",
      "7 Теперь все уважительно зовут Ямамото Аники (яп. — 兄貴, Старший брат).\n",
      "8 Муниципалитет находится в составе района (комарки) Альто-Дева.\n",
      "8 Муниципалитет находится в составе района (комарки) Альто-Дева.\n",
      "9 Впоследствии многие пилоты, которые были коллегами экипажа рейса 254, были озадачены: как можно было допустить такую ошибку.\n",
      "9 Впоследствии многие пилоты, которые были коллегами экипажа рейса двести пятьдесят четыре, были озадачены: как можно было допустить такую ошибку.\n"
     ]
    }
   ],
   "source": [
    "for i, elem in enumerate(data[:10]):\n",
    "    for key in (\"before\", \"after\"):\n",
    "        print(i, \"\".join([_[key] for _ in elem[\"tokens\"]]))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5778719c-0ee7-4b69-9fdb-a51e5e88b907",
   "metadata": {},
   "source": [
    "Looks well done. Construct Replaces now."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "e223186c-3b6a-4e13-b81a-7e76271dbfc9",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 761436/761436 [00:16<00:00, 45418.81it/s]\n"
     ]
    }
   ],
   "source": [
    "for elem in tqdm(data):\n",
    "    elem[\"replaces\"] = Replaces.from_sequences(\n",
    "        [_[\"before\"] for _ in elem[\"tokens\"]],\n",
    "        [_[\"after\"] for _ in elem[\"tokens\"]],\n",
    "        False\n",
    "    )\n",
    "    for r1, r2 in zip(elem[\"replaces\"], elem[\"replaces\"][1:]):\n",
    "        if r1.type != \"E\" and r1.text_from.endswith(\" \") and r1.text_to.endswith(\" \"):\n",
    "            r1.text_from = r1.text_from[:-1]\n",
    "            r1.text_to = r1.text_to[:-1]\n",
    "            r2.text_from = \" \" + r2.text_from\n",
    "            r2.text_to = \" \" + r2.text_to"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3b0d838d-8a28-44d5-95f1-170eaba16175",
   "metadata": {},
   "source": [
    "Get rid of examples where latin or digits exist in resulting text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "8f685be8-e1b0-46fd-914b-a7d56edfe29d",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 761436/761436 [00:02<00:00, 290752.10it/s]\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "(761436, 378074)"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "re_digits_latin = re.compile(r\"[a-zA-Z\\d]\")\n",
    "good_data = []\n",
    "for elem in tqdm(data):\n",
    "    if all(r.type == \"E\" for r in elem[\"replaces\"]):\n",
    "        continue\n",
    "    is_ok = True\n",
    "    for r in elem[\"replaces\"]:\n",
    "        if r.type == \"E\" and re.search(re_digits_latin, r.text_from):\n",
    "            is_ok = False\n",
    "            break\n",
    "        if re.search(re_digits_latin, r.text_to):\n",
    "            is_ok = False\n",
    "            break\n",
    "    if is_ok:\n",
    "        good_data.append(elem)\n",
    "len(data), len(good_data)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f77d2b4d-718d-4f02-81e6-e151f3d11c6c",
   "metadata": {},
   "source": [
    "Check on how many examples we have so far and how latin and digits are distributed there."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "66a93e72-59db-46c1-ac58-ec7f4dc18d83",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 378074/378074 [00:00<00:00, 597261.03it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "re_digits 293157\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 378074/378074 [00:00<00:00, 621195.20it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "re_digits_latin 344709\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 378074/378074 [00:00<00:00, 434262.38it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "re_latin 100163\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "stat_regs = {\n",
    "    \"re_digits\": re.compile(r\"\\d\"),\n",
    "    \"re_digits_latin\": re.compile(r\"[a-zA-Z\\d]\"),\n",
    "    \"re_latin\": re.compile(r\"[a-zA-Z]\")\n",
    "}\n",
    "for stat_name, stat_re in stat_regs.items():\n",
    "    print(\n",
    "        stat_name,\n",
    "        len([elem for elem in tqdm(good_data) if any(re.search(stat_re, r.text_from) for r in elem[\"replaces\"])])\n",
    "    )"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d3442f2b-6007-4533-9290-52df88b1f976",
   "metadata": {},
   "source": [
    "Look of what they are."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "a07c4ed4-780c-4bfa-8e22-46f98333180c",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0\n",
      "E|По состоянию на \n",
      "R|1862 год => тысяча восемьсот шестьдесят второй год\n",
      "E|.\n",
      "\n",
      "2\n",
      "E|В конце \n",
      "R|1811 года => тысяча восемьсот одиннадцатого года\n",
      "E|, вследствие конфликта с проезжим вельможей (графом Салтыковым) вынужден был оставить службу по личному прошению.\n",
      "\n",
      "3\n",
      "E|Тиберий Юлий Поллиен Ауспекс (лат. \n",
      "R|Tiberius Julius Pollienus Auspex => тибериус джулиус поллиенус оспекс\n",
      "E|) — римский политический деятель начала \n",
      "R|III => третьего\n",
      "E| века.\n",
      "\n",
      "9\n",
      "E|Впоследствии многие пилоты, которые были коллегами экипажа рейса \n",
      "R|254 => двести пятьдесят четыре\n",
      "E|, были озадачены: как можно было допустить такую ошибку.\n",
      "\n",
      "10\n",
      "E|Полудоспех — англ. \n",
      "R|Half Armor => халф армор\n",
      "E| — латная защита рук и корпуса.\n",
      "\n",
      "11\n",
      "E|в \n",
      "R|1895—1896 => тысяча восемьсот девяносто пятом тысяча восемьсот девяносто шестом\n",
      "E| годах служил на Черноморском флоте на канонерской лодке «Терец».\n",
      "\n",
      "12\n",
      "E|Данная поправка была внесена на рассмотрение Съезда народных депутатов \n",
      "R|РСФСР => р с ф с р\n",
      "E|.\n",
      "\n",
      "13\n",
      "E|Революция \n",
      "R|1905 года => тысяча девятьсот пятого года\n",
      "E| потерпела поражение.\n",
      "\n",
      "15\n",
      "E|Производством сыра занимается компания \n",
      "R|Sbrinz Kase GmbH => сбринс кейс гмб\n",
      "E|.\n",
      "\n",
      "21\n",
      "E|Проверено \n",
      "R|17 июля 2014 => семнадцатого июля две тысячи четырнадцатого года\n",
      "E|. \n",
      "R|The next supermoon in 2014 is July 12 => зэ некст супермун ин две тысячи четырнадцать ис джули двенадцать\n",
      "E| (англ.).\n",
      "\n"
     ]
    }
   ],
   "source": [
    "for i, elem in enumerate(good_data[:10]):\n",
    "    print(f'{elem[\"sentence_id\"]}\\n{elem[\"replaces\"]}\\n')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "455ee756-98cc-41ba-b93d-e2c687f427ae",
   "metadata": {},
   "source": [
    "Save it finally"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "175ab729-3fea-42c3-9f96-7f05672e5c63",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 378074/378074 [00:04<00:00, 77999.29it/s]\n"
     ]
    }
   ],
   "source": [
    "import json\n",
    "\n",
    "\n",
    "with open(\"kaggle.jsonl\", \"w\") as f:\n",
    "    for elem in tqdm(good_data):\n",
    "        json.dump(\n",
    "            {\n",
    "                \"sentence_id\": elem[\"sentence_id\"],\n",
    "                \"replaces\": elem[\"replaces\"],\n",
    "            },\n",
    "            f,\n",
    "            ensure_ascii=False\n",
    "        )\n",
    "        f.write(\"\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "38ca137e-892d-4f37-9cc3-9d855394b322",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "378074 /home/jovyan/data/kaggle.jsonl\n"
     ]
    }
   ],
   "source": [
    "!wc -l {PATHES[\"save\"]}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "b691b0d8-e382-42cd-956f-14166deffd37",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-rw-r--r-- 1 jovyan users 187M Jan 17 19:59 /home/jovyan/data/kaggle.jsonl\n"
     ]
    }
   ],
   "source": [
    "!ls -lh {PATHES[\"save\"]}"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}