notebooks/feature_importance.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 특성 중요도 조사\n",
    "\n",
    "모델 성능을 분석하는 한 가지 좋은 방법은 예측을 만드는데 어떤 특성이 가장 많이 사용되고 어떤 특성이 전혀 도움이 되지 않는지 조사하는 것입니다. 이를 특성 중요도 분석이라고 합니다.\n",
    "\n",
    "먼저 데이터를 로드합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "from pathlib import Path\n",
    "import joblib\n",
    "\n",
    "import sys\n",
    "sys.path.append(\"..\")\n",
    "import warnings\n",
    "warnings.filterwarnings('ignore')\n",
    "\n",
    "from ml_editor.data_processing import (\n",
    "    format_raw_df,\n",
    "    get_split_by_author,  \n",
    "    add_text_features_to_df,\n",
    "    get_vectorized_series, \n",
    "    get_feature_vector_and_label\n",
    ")\n",
    "from ml_editor.model_evaluation import get_feature_importance\n",
    "\n",
    "data_path = Path('../data/writers.csv')\n",
    "df = pd.read_csv(data_path)\n",
    "df = format_raw_df(df.copy())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "그다음 특성을 추가하고 데이터를 나눕니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = add_text_features_to_df(df.loc[df[\"is_question\"]].copy())\n",
    "train_df, test_df = get_split_by_author(df, test_size=0.2, random_state=40)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "사전 훈련된 모델과 벡터화 객체를 로드합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "model_path = Path(\"../models/model_1.pkl\")\n",
    "clf = joblib.load(model_path) \n",
    "vectorizer_path = Path(\"../models/vectorizer_1.pkl\")\n",
    "vectorizer = joblib.load(vectorizer_path) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "텍스트를 벡터로 변환하고 모델을 위해 특성을 준비합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "train_df[\"vectors\"] = get_vectorized_series(train_df[\"full_text\"].copy(), vectorizer)\n",
    "test_df[\"vectors\"] = get_vectorized_series(test_df[\"full_text\"].copy(), vectorizer)\n",
    "\n",
    "features = [\n",
    "                \"action_verb_full\",\n",
    "                \"question_mark_full\",\n",
    "                \"text_len\",\n",
    "                \"language_question\",\n",
    "            ]\n",
    "X_train, y_train = get_feature_vector_and_label(train_df, features)\n",
    "X_test, y_test = get_feature_vector_and_label(test_df, features)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이제 사이킷런 API를 사용해 가장 중요한 특성과 그렇지 않은 특성을 출력합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "w_indices = vectorizer.get_feature_names()\n",
    "w_indices.extend(features)\n",
    "all_feature_names = np.array(w_indices)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "상위 10개 중요도:\n",
      "\n",
      "text_len: 0.01\n",
      "are: 0.0059\n",
      "what: 0.0058\n",
      "writing: 0.0051\n",
      "can: 0.0044\n",
      "ve: 0.0044\n",
      "on: 0.0039\n",
      "do: 0.0038\n",
      "some: 0.0037\n",
      "story: 0.0037\n",
      "\n",
      "하위 10개 중요도:\n",
      "\n",
      "toes: 0\n",
      "anyhow: 0\n",
      "waking: 0\n",
      "winning: 0\n",
      "nerves: 0\n",
      "fifty: 0\n",
      "newcomer: 0\n",
      "nightmares: 0\n",
      "nineteen: 0\n",
      "instrument: 0\n"
     ]
    }
   ],
   "source": [
    "k = 10\n",
    "print(\"상위 %s개 중요도:\\n\" % k)\n",
    "print('\\n'.join([\"%s: %.2g\" % (tup[0], tup[1]) for tup in get_feature_importance(clf, all_feature_names)[:k]]))\n",
    "\n",
    "print(\"\\n하위 %s개 중요도:\\n\" % k)\n",
    "print('\\n'.join([\"%s: %.2g\" % (tup[0], tup[1]) for tup in get_feature_importance(clf, all_feature_names)[-k:]]))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "텍스트 길이가 가장 중요한 특성임을 볼 수 있습니다. 그다음 중요한 특성은 자주 사용되는 영어 단어입니다. 유용한 글쓰기 추천을 제공하기 위해 모델을 사용하려면 행동으로 옮길 수 있는 글쓰기 추천으로 쉽게 변환할 수 있는 특성을 만들어야 합니다."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}