VnCoreNLP's_sentence_segmenter.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "VnCoreNLP's sentence segmenter",
      "provenance": [],
      "authorship_tag": "ABX9TyMgN342FWPmPKQvGk7eY99f",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/quocthang0507/VietnameseNaturalLanguageProcessing/blob/main/VnCoreNLP's_sentence_segmenter.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "RWW1KZYjiwhy"
      },
      "source": [
        "VnCoreNLP Github repo: https://github.com/vncorenlp/VnCoreNLP\n",
        "\n",
        "VnCoreNLP Citation:\n",
        "```\n",
        "@inproceedings{vu-etal-2018-vncorenlp,\n",
        "    title = \"{V}n{C}ore{NLP}: A {V}ietnamese Natural Language Processing Toolkit\",\n",
        "    author = \"Vu, Thanh  and\n",
        "      Nguyen, Dat Quoc  and\n",
        "      Nguyen, Dai Quoc  and\n",
        "      Dras, Mark  and\n",
        "      Johnson, Mark\",\n",
        "    booktitle = \"Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Demonstrations\",\n",
        "    month = jun,\n",
        "    year = \"2018\",\n",
        "    address = \"New Orleans, Louisiana\",\n",
        "    publisher = \"Association for Computational Linguistics\",\n",
        "    url = \"https://aclanthology.org/N18-5012\",\n",
        "    doi = \"10.18653/v1/N18-5012\",\n",
        "    pages = \"56--60\",\n",
        "    abstract = \"We present an easy-to-use and fast toolkit, namely VnCoreNLP{---}a Java NLP annotation pipeline for Vietnamese. Our VnCoreNLP supports key natural language processing (NLP) tasks including word segmentation, part-of-speech (POS) tagging, named entity recognition (NER) and dependency parsing, and obtains state-of-the-art (SOTA) results for these tasks. We release VnCoreNLP to provide rich linguistic annotations to facilitate research work on Vietnamese NLP. Our VnCoreNLP is open-source and available at: \\url{https://github.com/vncorenlp/VnCoreNLP}\",\n",
        "}\n",
        "```\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "De3mCT_C3zOe",
        "outputId": "529c7c28-9efe-4f09-e0c2-2661879c32bd"
      },
      "source": [
        "!pip3 install vncorenlp"
      ],
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Collecting vncorenlp\n",
            "  Downloading vncorenlp-1.0.3.tar.gz (2.6 MB)\n",
            "\u001b[K     |████████████████████████████████| 2.6 MB 6.7 MB/s \n",
            "\u001b[?25hRequirement already satisfied: requests in /usr/local/lib/python3.7/dist-packages (from vncorenlp) (2.23.0)\n",
            "Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /usr/local/lib/python3.7/dist-packages (from requests->vncorenlp) (1.24.3)\n",
            "Requirement already satisfied: chardet<4,>=3.0.2 in /usr/local/lib/python3.7/dist-packages (from requests->vncorenlp) (3.0.4)\n",
            "Requirement already satisfied: idna<3,>=2.5 in /usr/local/lib/python3.7/dist-packages (from requests->vncorenlp) (2.10)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.7/dist-packages (from requests->vncorenlp) (2021.5.30)\n",
            "Building wheels for collected packages: vncorenlp\n",
            "  Building wheel for vncorenlp (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for vncorenlp: filename=vncorenlp-1.0.3-py3-none-any.whl size=2645951 sha256=5031287f529e664e0184f81b92fdbe88d7589fd07e7af8e8b74eb5680e5f4d85\n",
            "  Stored in directory: /root/.cache/pip/wheels/0c/d8/f2/d28d97379b4f6479bf51247c8dfd57fa00932fa7a74b6aab29\n",
            "Successfully built vncorenlp\n",
            "Installing collected packages: vncorenlp\n",
            "Successfully installed vncorenlp-1.0.3\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "n-_GyyWJ3_yd"
      },
      "source": [
        "mkdir -p vncorenlp/models/wordsegmenter"
      ],
      "execution_count": 2,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "5Z5Zz85E4EdF",
        "outputId": "f938a359-0326-4570-dade-1ab31dc94a3b"
      },
      "source": [
        "!wget https://raw.githubusercontent.com/vncorenlp/VnCoreNLP/master/VnCoreNLP-1.1.1.jar\n",
        "!wget https://raw.githubusercontent.com/vncorenlp/VnCoreNLP/master/models/wordsegmenter/vi-vocab\n",
        "!wget https://raw.githubusercontent.com/vncorenlp/VnCoreNLP/master/models/wordsegmenter/wordsegmenter.rdr"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "--2021-10-10 03:13:40--  https://raw.githubusercontent.com/vncorenlp/VnCoreNLP/master/VnCoreNLP-1.1.1.jar\n",
            "Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 185.199.108.133, 185.199.109.133, 185.199.110.133, ...\n",
            "Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|185.199.108.133|:443... connected.\n",
            "HTTP request sent, awaiting response... 200 OK\n",
            "Length: 27412575 (26M) [application/octet-stream]\n",
            "Saving to: ‘VnCoreNLP-1.1.1.jar’\n",
            "\n",
            "VnCoreNLP-1.1.1.jar 100%[===================>]  26.14M   141MB/s    in 0.2s    \n",
            "\n",
            "2021-10-10 03:13:41 (141 MB/s) - ‘VnCoreNLP-1.1.1.jar’ saved [27412575/27412575]\n",
            "\n",
            "--2021-10-10 03:13:41--  https://raw.githubusercontent.com/vncorenlp/VnCoreNLP/master/models/wordsegmenter/vi-vocab\n",
            "Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 185.199.109.133, 185.199.108.133, 185.199.111.133, ...\n",
            "Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|185.199.109.133|:443... connected.\n",
            "HTTP request sent, awaiting response... 200 OK\n",
            "Length: 526544 (514K) [application/octet-stream]\n",
            "Saving to: ‘vi-vocab’\n",
            "\n",
            "vi-vocab            100%[===================>] 514.20K  --.-KB/s    in 0.03s   \n",
            "\n",
            "2021-10-10 03:13:41 (19.5 MB/s) - ‘vi-vocab’ saved [526544/526544]\n",
            "\n",
            "--2021-10-10 03:13:41--  https://raw.githubusercontent.com/vncorenlp/VnCoreNLP/master/models/wordsegmenter/wordsegmenter.rdr\n",
            "Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 185.199.111.133, 185.199.110.133, 185.199.108.133, ...\n",
            "Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|185.199.111.133|:443... connected.\n",
            "HTTP request sent, awaiting response... 200 OK\n",
            "Length: 128508 (125K) [text/plain]\n",
            "Saving to: ‘wordsegmenter.rdr’\n",
            "\n",
            "wordsegmenter.rdr   100%[===================>] 125.50K  --.-KB/s    in 0.02s   \n",
            "\n",
            "2021-10-10 03:13:42 (7.22 MB/s) - ‘wordsegmenter.rdr’ saved [128508/128508]\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ikMJJdhg4gQN"
      },
      "source": [
        "!mv VnCoreNLP-1.1.1.jar vncorenlp/ \n",
        "!mv vi-vocab vncorenlp/models/wordsegmenter/\n",
        "!mv wordsegmenter.rdr vncorenlp/models/wordsegmenter/"
      ],
      "execution_count": 4,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "pz0RPBhi4ny9"
      },
      "source": [
        "from vncorenlp import VnCoreNLP"
      ],
      "execution_count": 5,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "05hAWL3q4vAW"
      },
      "source": [
        "rdrsegmenter = VnCoreNLP('vncorenlp/VnCoreNLP-1.1.1.jar', annotators=\"wseg\", max_heap_size='-Xmx500m')"
      ],
      "execution_count": 6,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Dh0CqzXx5Lfg"
      },
      "source": [
        "text = \"Cộng hòa Xã hội chủ nghĩa Việt Nam. Độc lập - Tự do - Hạnh phúc\""
      ],
      "execution_count": 7,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ARbDyhMC5RWK"
      },
      "source": [
        "def sentence_tokenizer(text):\n",
        "    tokens = rdrsegmenter.tokenize(text) \n",
        "    for i in range(len(tokens)):\n",
        "        sentence = ' '.join(tokens[i]).replace('_', ' ')\n",
        "        tokens[i] = sentence\n",
        "    return tokens"
      ],
      "execution_count": 12,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nBZhs3yMNyJR"
      },
      "source": [
        "sent_1 = ['Dù đã hơn 80 tuổi nhưng những lúc rảnh rỗi, già làng A Nguyh vẫn thường xuyên đến từng hộ gia đình để tuyên truyền chủ trương của Đảng, chính sách, pháp luật của Nhà nước, vận động đồng bào tích cực ứng dụng khoa học - kỹ thuật vào sản xuất, giữ gìn vệ sinh thôn, bản, loại bỏ dần những hủ tục lạc hậu... Già làng A Nguyh còn là người đầu tiên trong thôn Kép Ram biết trồng lúa 2 vụ, biết trồng các loại cây công nghiệp như cao su, bời lời... Đến nay, gia đình già đã có 1 ha cà phê, 1 ha bời lời, 1 ha mía, 1 ha cao su và 6 sào lúa, mỗi năm thu về hơn 100 triệu đồng. Già A Nguyh cũng thường xuyên hướng dẫn đồng bào trong thôn kinh nghiệm sản xuất, từ đó cải thiện đời sống gia đình.',\n",
        "\"Bŭ lah neh rơlau 80 sơnăm mơya ală tŭ ru lơngà, kra ƀòn A Nguyh gam ờs sùm tus dơ hìu bơnhă làng yal tơng git rơndăp tăp sèng Đảng, tơng gume, gơnoăt Dà lơgar dê, boh lam làng bol lơh ngăn đòm jăt bơta git wă - lơh chài tam tơlik broă lơh, sền gàr goh niam ƀòn, ròt ơm, sang sơbì rơhời ală bơhiàn yau ờ gơ - dờp tai... Kra ƀòn A Nguyh gam lah cau sơnrờp tam ƀòn Kép Ram git tăm kòi 2 kàl, git tăm ală bơta tờm chi jŏ tơngai bè cao su, bời lời... Tus tŭ do, hìu bơnhă kra neh geh 1 lồ kơ phe, 1 lồ bời lời, 1 lồ tào, 1 lồ cao su mơ 6 sào kòi, pah năm lơh gơlik geh rơlau 100 tơlăk priă. Kra A Nguyh krung ờs sùm lam sơnđio làng bol tam ƀòn bơta git lơh chài tơlik broă lơh, bơh n'hơ\\ lơh guh pơniam rài kis hìu bơnhă.\"]\n",
        "sent_2 = ['Ngày nay, sự hòa đồng về lối sống, ảnh hưởng qua lại về phong tục, tập quán... khiến nhiều nét văn hóa cổ truyền đang bị mai một. Chính vì vậy, rất cần gìn giữ, bảo tồn và phát huy các giá trị văn hóa, trong đó có biểu tượng \"Khau cút\" của người Thái đen vùng Tây Bắc.',\n",
        "'Ngai do, bơta lơh ring ròi nùs nhơm jăt wèt sơnah kis, lơh gơtus wil war jăt bơhiàn, broă lơh ờs mờng... lơh gơtus geh niam is adăt chài rơgơi yau lam gam geh lơh roh rui. Bơh tờm bè hơ\\, kờñ ngăn sền prăp, griap gàr mơ lơh pơnjăt guh ală yòm màng adăt chài rơgơi, tam hơ\\ geh rùp lơh gŏ \"Khau cút\" cau Thái jù tiah Tây Bắc dê.']\n",
        "sent_3 = ['Theo Phòng Nông nghiệp và Phát triển nông thôn huyện Lục Ngạn, toàn huyện hiện có trên 15.000 ha vải, hầu hết được chăm sóc theo quy trình VietGAP và GlobalGAP; sản lượng vụ vải năm nay ước đạt 85.000 tấn, trong đó vải chín sớm khoảng 20.000 tấn, vải chính vụ 65.000 - 67.000 tấn. So với quả vải ở những địa phương khác, vải thiều Lục Ngạn khi chín có màu đỏ, vỏ mỏng, hạt nhỏ, cùi dày, vị ngọt đậm, giàu chất dinh dưỡng... khiến người ăn cứ muốn thưởng thức thêm và mua thật nhiều để làm quà cho gia đình và người thân.',\n",
        "'Jăt Sơnah lơh broă Tăm tùc mơ Tơng guh ƀòn ơm kơnhuàl Lục Ngạn, tam kơnhuàl tŭ do geh hơđang 15.000 vải, yơu bè jơh geh sơng ka jăt broă tơlik lơh VietGAP mơ GlobalGAP; kờp trơgòm geh oă kàl plai vải năm do pơgăp 85.000 tấn, tam hơ\\ plai vải dum gờñ dikàr 20.000 tấn, plai vải thiều lơh dikàl 65.000 - 67.000 tấn. Di pơndrờm mơ plai vải thiều hơ anih ơm ndai, plai vải Lục Ngạn tŭ dum geh gur prơhê, kơmhò lơhơ, gar dêt, să lơ - ut (mbơl), sa lơngồt, oă bơta bơkah lơnga... lơh cau sa in sùm kờñ sa tai mơ blơi oă ngăn làng lơh phan pà hìu bơnhă mơ cau kuèng in.']"
      ],
      "execution_count": 10,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RmhSl8uGN1hj"
      },
      "source": [
        "def print_array(arr):\n",
        "    i = 0\n",
        "    for s in arr:\n",
        "        for ss in s:\n",
        "            print(f'{i+1}. {ss}')\n",
        "            i += 1\n",
        "        print()"
      ],
      "execution_count": 11,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "jj_MN7_1N4Um"
      },
      "source": [
        "def arr_tokenizer(text_arr: list):\n",
        "    return [sentence_tokenizer(item) for item in text_arr]"
      ],
      "execution_count": 13,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "p2ZYS9f-Opaa",
        "outputId": "6c660726-e6b2-4da8-9f90-f982b85595d1"
      },
      "source": [
        "print_array(arr_tokenizer(sent_1))\n",
        "print_array(arr_tokenizer(sent_2))\n",
        "print_array(arr_tokenizer(sent_3))"
      ],
      "execution_count": 15,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "1. Dù đã hơn 80 tuổi nhưng những lúc rảnh rỗi , già làng A Nguyh vẫn thường xuyên đến từng hộ gia đình để tuyên truyền chủ trương của Đảng , chính sách , pháp luật của Nhà nước , vận động đồng bào tích cực ứng dụng khoa học - kỹ thuật vào sản xuất , giữ gìn vệ sinh thôn , bản , loại bỏ dần những hủ tục lạc hậu ...\n",
            "2. Già làng A Nguyh còn là người đầu tiên trong thôn Kép Ram biết trồng lúa 2 vụ , biết trồng các loại cây công nghiệp như cao su , bời lời ...\n",
            "3. Đến nay , gia đình già đã có 1 ha cà phê , 1 ha bời lời , 1 ha mía , 1 ha cao su và 6 sào lúa , mỗi năm thu về hơn 100 triệu đồng .\n",
            "4. Già A Nguyh cũng thường xuyên hướng dẫn đồng bào trong thôn kinh nghiệm sản xuất , từ đó cải thiện đời sống gia đình .\n",
            "\n",
            "5. Bŭ lah neh rơlau 80 sơnăm mơya ală tŭ ru lơngà , kra ƀòn A Nguyh gam ờs sùm tus dơ hìu bơnhă làng yal tơng git rơndăp tăp sèng Đảng , tơng gume , gơnoăt Dà lơgar dê , boh lam làng bol lơh ngăn đòm jăt bơta git wă - lơh chài tam tơlik broă lơh , sền gàr goh niam ƀòn , ròt ơm , sang sơbì rơhời ală bơhiàn yau ờ gơ - dờp tai ...\n",
            "6. Kra ƀòn A Nguyh gam lah cau sơnrờp tam ƀòn Kép Ram git tăm kòi 2 kàl , git tăm ală bơta tờm chi jŏ tơngai bè cao su , bời lời ...\n",
            "7. Tus tŭ do , hìu bơnhă kra neh geh 1 lồ kơ phe , 1 lồ bời lời , 1 lồ tào , 1 lồ cao su mơ 6 sào kòi , pah năm lơh gơlik geh rơlau 100 tơlăk priă .\n",
            "8. Kra A Nguyh krung ờs sùm lam sơnđio làng bol tam ƀòn bơta git lơh chài tơlik broă lơh , bơh n ' hơ \\ lơh guh pơniam rài kis hìu bơnhă .\n",
            "\n",
            "1. Ngày nay , sự hoà đồng về lối sống , ảnh hưởng qua lại về phong tục , tập quán ... khiến nhiều nét văn hoá cổ truyền đang bị mai một .\n",
            "2. Chính vì vậy , rất cần gìn giữ , bảo tồn và phát huy các giá trị văn hoá , trong đó có biểu tượng \" Khau cút \" của người Thái đen vùng Tây Bắc .\n",
            "\n",
            "3. Ngai do , bơta lơh ring ròi nùs nhơm jăt wèt sơnah kis , lơh gơtus wil war jăt bơhiàn , broă lơh ờs mờng ... lơh gơtus geh niam is adăt chài rơgơi yau lam gam geh lơh roh rui .\n",
            "4. Bơh tờm bè hơ \\ , kờñ ngăn sền prăp , griap gàr mơ lơh pơnjăt guh ală yòm màng adăt chài rơgơi , tam hơ \\ geh rùp lơh gŏ \" Khau cút \" cau Thái jù tiah Tây Bắc dê .\n",
            "\n",
            "1. Theo Phòng Nông nghiệp và Phát triển nông thôn huyện Lục Ngạn , toàn huyện hiện có trên 15.000 ha vải , hầu hết được chăm sóc theo quy trình VietGAP và GlobalGAP ; sản lượng vụ vải năm nay ước đạt 85.000 tấn , trong đó vải chín sớm khoảng 20.000 tấn , vải chính vụ 65.000 - 67.000 tấn .\n",
            "2. So với quả vải ở những địa phương khác , vải thiều Lục Ngạn khi chín có màu đỏ , vỏ mỏng , hạt nhỏ , cùi dày , vị ngọt đậm , giàu chất dinh dưỡng ... khiến người ăn cứ muốn thưởng thức thêm và mua thật nhiều để làm quà cho gia đình và người thân .\n",
            "\n",
            "3. Jăt Sơnah lơh broă Tăm tùc mơ Tơng guh ƀòn ơm kơnhuàl Lục Ngạn , tam kơnhuàl tŭ do geh hơđang 15.000 vải , yơu bè jơh geh sơng ka jăt broă tơlik lơh VietGAP mơ GlobalGAP ; kờp trơgòm geh oă kàl plai vải năm do pơgăp 85.000 tấn , tam hơ \\ plai vải dum gờñ dikàr 20.000 tấn , plai vải thiều lơh dikàl 65.000 - 67.000 tấn .\n",
            "4. Di pơndrờm mơ plai vải thiều hơ anih ơm ndai , plai vải Lục Ngạn tŭ dum geh gur prơhê , kơmhò lơhơ , gar dêt , să lơ - ut ( mbơl ) , sa lơngồt , oă bơta bơkah lơnga ... lơh cau sa in sùm kờñ sa tai mơ blơi oă ngăn làng lơh phan pà hìu bơnhă mơ cau kuèng in .\n",
            "\n"
          ]
        }
      ]
    }
  ]
}