Create_data_from_chABSA.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 1.1 chABSA-datasetから訓練、テストデータを作成\n",
    "\n",
    "- 本ファイルでは、chABSA-datasetのデータを使用して、感情分析（0：ネガティブ、1：ポジティブ）を2値クラス分類するためのデータファイル（tsv)を作成します。\n",
    "\n",
    "- 下記サイトからchABSA-dataset.zipをダウンロードして解凍します。\n",
    "\n",
    "     https://github.com/chakki-works/chABSA-dataset\n",
    "\n",
    "     データファイルは230個、文章データは2813個あります。\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "#pathの追加（必要に応じて）\n",
    "import sys\n",
    "sys.path.append('/home/siny/miniconda3/envs/pytorch/lib/python36.zip')\n",
    "sys.path.append('/home/siny/miniconda3/envs/pytorch/lib/python3.6')\n",
    "sys.path.append('/home/siny/miniconda3/envs/pytorch/lib/python3.6/lib-dynload')\n",
    "sys.path.append('/home/siny/.local/lib/python3.6/site-packages')\n",
    "sys.path.append('/home/siny/miniconda3/envs/pytorch/lib/python3.6/site-packages')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "from pathlib import Path\n",
    "import json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ファイル数＝ 230\n",
      "ファイルチェック [PosixPath('data/chABSA/e00008_ann.json'), PosixPath('data/chABSA/e00017_ann.json'), PosixPath('data/chABSA/e00024_ann.json'), PosixPath('data/chABSA/e00026_ann.json'), PosixPath('data/chABSA/e00030_ann.json')]\n"
     ]
    }
   ],
   "source": [
    "data_dir = \"data/chABSA/\"\n",
    "data_path = Path(data_dir)\n",
    "path_list = [p for p in data_path.iterdir()]\n",
    "print(\"ファイル数＝\",len(path_list))\n",
    "print(\"ファイルチェック\",path_list[:5])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1つ目のファイル内のデータ数チェック： 36\n"
     ]
    }
   ],
   "source": [
    "with open(path_list[0], \"br\") as f:\n",
    "    j =  json.load(f)\n",
    "sentences = j[\"sentences\"]  # sentencesにはデータ数分のデータが格納されている。\n",
    "print(\"1つ目のファイル内のデータ数チェック：\",len(sentences))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'sentence_id': 0,\n",
       " 'sentence': '当連結会計年度におけるわが国経済は、政府の経済政策や日銀の金融緩和策により、企業業績、雇用・所得環境は改善し、景気も緩やかな回復基調のうちに推移いたしましたが、中国をはじめとするアジア新興国経済の減速懸念や、英国の欧州連合（ＥＵ）離脱決定、米国新政権への移行など、引き続き先行きは不透明な状況となっております',\n",
       " 'opinions': [{'target': 'わが国経済',\n",
       "   'category': 'NULL#general',\n",
       "   'polarity': 'neutral',\n",
       "   'from': 11,\n",
       "   'to': 16},\n",
       "  {'target': '企業業績',\n",
       "   'category': 'NULL#general',\n",
       "   'polarity': 'positive',\n",
       "   'from': 38,\n",
       "   'to': 42},\n",
       "  {'target': '雇用',\n",
       "   'category': 'NULL#general',\n",
       "   'polarity': 'positive',\n",
       "   'from': 43,\n",
       "   'to': 45},\n",
       "  {'target': '所得環境',\n",
       "   'category': 'NULL#general',\n",
       "   'polarity': 'positive',\n",
       "   'from': 46,\n",
       "   'to': 50},\n",
       "  {'target': '景気',\n",
       "   'category': 'NULL#general',\n",
       "   'polarity': 'positive',\n",
       "   'from': 55,\n",
       "   'to': 57}]}"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentences[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'sentence_id': 1,\n",
       " 'sentence': '当社グループを取り巻く環境は、実質賃金が伸び悩むなか、消費者の皆様の生活防衛意識の高まりや節約志向により、個人消費は本格的な改善には至らず、また少子高齢化、人口減少による社会構造の変化、雇用改善に伴う労働コストの上昇、企業間競争の激化など、引き続き厳しい状況となりました',\n",
       " 'opinions': [{'target': '環境',\n",
       "   'category': 'NULL#general',\n",
       "   'polarity': 'negative',\n",
       "   'from': 11,\n",
       "   'to': 13},\n",
       "  {'target': '実質賃金',\n",
       "   'category': 'NULL#general',\n",
       "   'polarity': 'negative',\n",
       "   'from': 15,\n",
       "   'to': 19},\n",
       "  {'target': '個人消費',\n",
       "   'category': 'NULL#general',\n",
       "   'polarity': 'negative',\n",
       "   'from': 53,\n",
       "   'to': 57},\n",
       "  {'target': '労働コスト',\n",
       "   'category': 'NULL#cost',\n",
       "   'polarity': 'negative',\n",
       "   'from': 100,\n",
       "   'to': 105},\n",
       "  {'target': '企業間競争',\n",
       "   'category': 'NULL#general',\n",
       "   'polarity': 'negative',\n",
       "   'from': 109,\n",
       "   'to': 114}]}"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentences[1]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 感情スコアの算出関数\n",
    "- porarityがpositiveの場合スコア(rating)を+1、negativeだったら-1する。\n",
    "- ratingには[スコア,文章]の形で格納される。\n",
    "- 以下のようにsentenceに改行コード「\\n」が含まれるデータがあると文章の抽出がおかしくなるのでsentenceに改行コードが含まれていた場合は除外することとする。\n",
    "\n",
    "\"sentence\": \"〈ホテル関連事業〉\\n　ホテル関連事業部門では、国内外からの観光客の動きも殆ど落ち込むこともなく、宿泊部門は各ホテルとも堅調に推移しました\",\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "def create_rating(sentences):\n",
    "    rating = []\n",
    "    for obj in sentences:\n",
    "        s = obj[\"sentence\"]  #文章の取得\n",
    "        s = s.replace(\"\\n\",\"\")\n",
    "        op = obj[\"opinions\"]  #options部分を取得\n",
    "        porarity = 0\n",
    "        for o in op:\n",
    "            p = o[\"polarity\"]\n",
    "            if p == \"positive\":\n",
    "                porarity += 1\n",
    "            elif p == \"negative\":\n",
    "                porarity -= 1\n",
    "        if porarity !=0 :\n",
    "            rating.append((porarity, s))\n",
    "    return rating"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(4,\n",
       "  '当連結会計年度におけるわが国経済は、政府の経済政策や日銀の金融緩和策により、企業業績、雇用・所得環境は改善し、景気も緩やかな回復基調のうちに推移いたしましたが、中国をはじめとするアジア新興国経済の減速懸念や、英国の欧州連合（ＥＵ）離脱決定、米国新政権への移行など、引き続き先行きは不透明な状況となっております'),\n",
       " (-5,\n",
       "  '当社グループを取り巻く環境は、実質賃金が伸び悩むなか、消費者の皆様の生活防衛意識の高まりや節約志向により、個人消費は本格的な改善には至らず、また少子高齢化、人口減少による社会構造の変化、雇用改善に伴う労働コストの上昇、企業間競争の激化など、引き続き厳しい状況となりました'),\n",
       " (2,\n",
       "  '以上の結果、当連結会計年度の当社グループの業績は、売上高631億19百万円（前期比3.5％増）、営業利益34億30百万円（前期比0.1％増）、経常利益43億79百万円（前期比7.5％増）、親会社株主に帰属する当期純利益は28億28百万円（前期比8.9％増）となりました'),\n",
       " (1,\n",
       "  'なお、当連結会計年度の生産量は、ブナピーを含めブナシメジ42,602ｔ（同5.5％増）、エリンギ19,250ｔ（同0.2％減）、マイタケ14,281ｔ（同4.3％増）となりました'),\n",
       " (1,\n",
       "  '平成27年４月の火災により生産を休止していた苫小牧第一きのこセンターが、工場を再建し、平成28年４月27日よりブナシメジの収穫・出荷を再開したことや、カットブナシメジ専用工場として新設した富山きのこセンターが平成28年９月上旬から収穫・出荷を開始したことにより、ブナシメジの生産量は増加いたしました'),\n",
       " (1,\n",
       "  'また、改修のため一時生産を休止しておりました広川きのこセンターにおきまして、平成28年９月上旬より霜降りひらたけの収穫・出荷を開始したことなどにより、きのこ全体の生産量は増加いたしました'),\n",
       " (-2, '春から夏にかけましては個人消費の低迷などにより、きのこの価格は厳しい状況で推移いたしました'),\n",
       " (2, '反面、秋から冬にかけましては天候不順などによる野菜価格の高騰により、きのこの価格は堅調に推移いたしました'),\n",
       " (1, '以上の結果、国内きのこ事業全体の売上高は422億96百万円（同3.1％増）となりました'),\n",
       " (2, '海外きのこ事業におきましては、各子会社が稼働率を高めたことにより、生産量は増加いたしました'),\n",
       " (-2,\n",
       "  '台湾の現地法人「台灣北斗生技股份有限公司」におきましては、ブランドの構築、企画提案などに力を入れ販売活動を行ってまいりましたが、企業間競争の激化により厳しい状況で推移いたしました'),\n",
       " (1, '以上の結果、海外きのこ事業全体の売上高は45億12百万円（同1.4％増）となりました'),\n",
       " (1, 'また、子会社の株式会社アーデンにおきましては、ＯＥＭ製品が好調に推移いたしました'),\n",
       " (1, '以上の結果、加工品事業の売上高は70億64百万円（同15.5％増）となりました'),\n",
       " (-1,\n",
       "  '化成品事業におきましては、引き続き厳しい販売環境にありましたが、中核である包装資材部門におきましては、効率化・利益率の改善を図るため営業戦略を見直し、販売強化に注力してまいりました'),\n",
       " (-1, '以上の結果、化成品事業の売上高は92億45百万円（同1.7％減）となりました')]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#1つ目のファイルだけチェック\n",
    "create_rating(sentences)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "#全ファイルからratingと文章を抽出\n",
    "rating = []\n",
    "for p in path_list:\n",
    "    with open(p, \"br\") as f:\n",
    "        j =  json.load(f)\n",
    "    s = j[\"sentences\"]\n",
    "    rating += create_rating(s)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2813\n"
     ]
    }
   ],
   "source": [
    "print(len(rating))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "#ネガポジの分類\n",
    "neg =[]\n",
    "pos = []\n",
    "for t in rating:\n",
    "    if t[0] > 0:\n",
    "        pos.append(t[1])\n",
    "    else:\n",
    "        neg.append(t[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ネガティブデータ数= 1143\n",
      "ポジティブデータ数= 1670\n"
     ]
    }
   ],
   "source": [
    "print(\"ネガティブデータ数=\",len(neg))\n",
    "print(\"ポジティブデータ数=\",len(pos))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 訓練データとテストデータを生成\n",
    "- 今回は訓練データを70%、テストデータを30%の割合で分割する。\n",
    "- train.tsv(訓練データ7割）\n",
    "- test.tsv(テストデータ3割）"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "#ネガポジデータの生成(訓練データ)\n",
    "threshold = 0.7\n",
    "neg_num = len(neg)\n",
    "pos_num = len(pos)\n",
    "\n",
    "with open(\"data/chABSA/train.tsv\", \"a\") as f:\n",
    "    index = 0\n",
    "    for text in neg:\n",
    "        if index < neg_num * threshold:\n",
    "            text = text+'\\t'+'0'+'\\t'+'\\n'\n",
    "            f.write(text)\n",
    "            index += 1\n",
    "        else:\n",
    "            break\n",
    "    index = 0\n",
    "    for text in pos:\n",
    "        if index < pos_num * threshold:\n",
    "            text = text+'\\t'+'1'+'\\t'+'\\n'\n",
    "            f.write(text)\n",
    "            index += 1\n",
    "        else:\n",
    "            break\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "#ネガポジデータの生成(テストデータ)\n",
    "threshold = 0.7\n",
    "neg_num = len(neg)\n",
    "pos_num = len(pos)\n",
    "\n",
    "with open(\"data/chABSA/test.tsv\", \"a\") as f:\n",
    "    index = 0\n",
    "    for text in neg:\n",
    "        if index >= neg_num * threshold:\n",
    "            text = text+'\\t'+'0'+'\\t'+'\\n'\n",
    "            f.write(text)\n",
    "            index += 1\n",
    "        else:\n",
    "            index += 1\n",
    "    index = 0\n",
    "    for text in pos:\n",
    "        if index >= pos_num * threshold:\n",
    "            text = text+'\\t'+'1'+'\\t'+'\\n'\n",
    "            f.write(text)\n",
    "            index += 1\n",
    "        else:\n",
    "            index += 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}