12. KNN.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 필요한 라이브러리 불러오기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import seaborn as sns\n",
    "\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "##그림도 interpreter 형식으로 jupyter에만 적용, pycharm은 cell 단위가 아니므로 매직명령어 사용 x"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## example 데이터 불러오기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "ex = pd.read_csv(\"./input/example.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>번호</th>\n",
       "      <th>나이</th>\n",
       "      <th>키</th>\n",
       "      <th>몸무게</th>\n",
       "      <th>최종학력</th>\n",
       "      <th>연봉</th>\n",
       "      <th>다음기수</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>21</td>\n",
       "      <td>170</td>\n",
       "      <td>70</td>\n",
       "      <td>고등학교</td>\n",
       "      <td>3000</td>\n",
       "      <td>O</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>24</td>\n",
       "      <td>175</td>\n",
       "      <td>75</td>\n",
       "      <td>대학교</td>\n",
       "      <td>3200</td>\n",
       "      <td>X</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>23</td>\n",
       "      <td>180</td>\n",
       "      <td>80</td>\n",
       "      <td>고등학교</td>\n",
       "      <td>3400</td>\n",
       "      <td>X</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>22</td>\n",
       "      <td>185</td>\n",
       "      <td>85</td>\n",
       "      <td>대학교</td>\n",
       "      <td>2800</td>\n",
       "      <td>O</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>25</td>\n",
       "      <td>160</td>\n",
       "      <td>60</td>\n",
       "      <td>대학원</td>\n",
       "      <td>4000</td>\n",
       "      <td>O</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   번호  나이    키  몸무게  최종학력    연봉 다음기수\n",
       "0   1  21  170   70  고등학교  3000    O\n",
       "1   2  24  175   75   대학교  3200    X\n",
       "2   3  23  180   80  고등학교  3400    X\n",
       "3   4  22  185   85   대학교  2800    O\n",
       "4   5  25  160   60   대학원  4000    O"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 데이터 확인\n",
    "ex.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 프레임 정보 확인하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 8 entries, 0 to 7\n",
      "Data columns (total 7 columns):\n",
      "번호      8 non-null int64\n",
      "나이      8 non-null int64\n",
      "키       8 non-null int64\n",
      "몸무게     8 non-null int64\n",
      "최종학력    8 non-null object\n",
      "연봉      8 non-null int64\n",
      "다음기수    8 non-null object\n",
      "dtypes: int64(5), object(2)\n",
      "memory usage: 576.0+ bytes\n"
     ]
    }
   ],
   "source": [
    "ex.info()\n",
    "# 용량이 클 때 type 변경 필요"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# One Hot Encoding"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## (1) pandas 모듈 사용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [],
   "source": [
    "# get_dummies() ... 가능하면 함수 하나로 하지말고 직접 구현할 수 있어야 함\n",
    "# 10010001 이런 식\n",
    "temp = pd.get_dummies(ex['최종학력'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 최종 데이터 프레임 만들기\n",
    "final = pd.concat([ex, temp], axis=1) # 열로 이어붙여야 하므로 1, 행은 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>번호</th>\n",
       "      <th>나이</th>\n",
       "      <th>키</th>\n",
       "      <th>몸무게</th>\n",
       "      <th>최종학력</th>\n",
       "      <th>연봉</th>\n",
       "      <th>다음기수</th>\n",
       "      <th>고등학교</th>\n",
       "      <th>대학교</th>\n",
       "      <th>대학원</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>21</td>\n",
       "      <td>170</td>\n",
       "      <td>70</td>\n",
       "      <td>고등학교</td>\n",
       "      <td>3000</td>\n",
       "      <td>O</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>24</td>\n",
       "      <td>175</td>\n",
       "      <td>75</td>\n",
       "      <td>대학교</td>\n",
       "      <td>3200</td>\n",
       "      <td>X</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>23</td>\n",
       "      <td>180</td>\n",
       "      <td>80</td>\n",
       "      <td>고등학교</td>\n",
       "      <td>3400</td>\n",
       "      <td>X</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>22</td>\n",
       "      <td>185</td>\n",
       "      <td>85</td>\n",
       "      <td>대학교</td>\n",
       "      <td>2800</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>25</td>\n",
       "      <td>160</td>\n",
       "      <td>60</td>\n",
       "      <td>대학원</td>\n",
       "      <td>4000</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   번호  나이    키  몸무게  최종학력    연봉 다음기수  고등학교  대학교  대학원\n",
       "0   1  21  170   70  고등학교  3000    O     1    0    0\n",
       "1   2  24  175   75   대학교  3200    X     0    1    0\n",
       "2   3  23  180   80  고등학교  3400    X     1    0    0\n",
       "3   4  22  185   85   대학교  2800    O     0    1    0\n",
       "4   5  25  160   60   대학원  4000    O     0    0    1"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 필요없는 컬럼 지우기\n",
    "final2 = final.drop(['최종학력'], axis = 1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>번호</th>\n",
       "      <th>나이</th>\n",
       "      <th>키</th>\n",
       "      <th>몸무게</th>\n",
       "      <th>연봉</th>\n",
       "      <th>다음기수</th>\n",
       "      <th>고등학교</th>\n",
       "      <th>대학교</th>\n",
       "      <th>대학원</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>21</td>\n",
       "      <td>170</td>\n",
       "      <td>70</td>\n",
       "      <td>3000</td>\n",
       "      <td>O</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>24</td>\n",
       "      <td>175</td>\n",
       "      <td>75</td>\n",
       "      <td>3200</td>\n",
       "      <td>X</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>23</td>\n",
       "      <td>180</td>\n",
       "      <td>80</td>\n",
       "      <td>3400</td>\n",
       "      <td>X</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>22</td>\n",
       "      <td>185</td>\n",
       "      <td>85</td>\n",
       "      <td>2800</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>25</td>\n",
       "      <td>160</td>\n",
       "      <td>60</td>\n",
       "      <td>4000</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   번호  나이    키  몸무게    연봉 다음기수  고등학교  대학교  대학원\n",
       "0   1  21  170   70  3000    O     1    0    0\n",
       "1   2  24  175   75  3200    X     0    1    0\n",
       "2   3  23  180   80  3400    X     1    0    0\n",
       "3   4  22  185   85  2800    O     0    1    0\n",
       "4   5  25  160   60  4000    O     0    0    1"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 최종 데이터 프레임 확인하기\n",
    "final2.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "final.drop(['최종학력'], axis = 1, inplace = True) # 원본 변경, 신중히 할 것"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>번호</th>\n",
       "      <th>나이</th>\n",
       "      <th>키</th>\n",
       "      <th>몸무게</th>\n",
       "      <th>연봉</th>\n",
       "      <th>다음기수</th>\n",
       "      <th>고등학교</th>\n",
       "      <th>대학교</th>\n",
       "      <th>대학원</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>21</td>\n",
       "      <td>170</td>\n",
       "      <td>70</td>\n",
       "      <td>3000</td>\n",
       "      <td>O</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>24</td>\n",
       "      <td>175</td>\n",
       "      <td>75</td>\n",
       "      <td>3200</td>\n",
       "      <td>X</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>23</td>\n",
       "      <td>180</td>\n",
       "      <td>80</td>\n",
       "      <td>3400</td>\n",
       "      <td>X</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>22</td>\n",
       "      <td>185</td>\n",
       "      <td>85</td>\n",
       "      <td>2800</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>25</td>\n",
       "      <td>160</td>\n",
       "      <td>60</td>\n",
       "      <td>4000</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   번호  나이    키  몸무게    연봉 다음기수  고등학교  대학교  대학원\n",
       "0   1  21  170   70  3000    O     1    0    0\n",
       "1   2  24  175   75  3200    X     0    1    0\n",
       "2   3  23  180   80  3400    X     1    0    0\n",
       "3   4  22  185   85  2800    O     0    1    0\n",
       "4   5  25  160   60  4000    O     0    0    1"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>번호</th>\n",
       "      <th>나이</th>\n",
       "      <th>키</th>\n",
       "      <th>몸무게</th>\n",
       "      <th>연봉</th>\n",
       "      <th>다음기수</th>\n",
       "      <th>최종학력_고등학교</th>\n",
       "      <th>최종학력_대학교</th>\n",
       "      <th>최종학력_대학원</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>21</td>\n",
       "      <td>170</td>\n",
       "      <td>70</td>\n",
       "      <td>3000</td>\n",
       "      <td>O</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>24</td>\n",
       "      <td>175</td>\n",
       "      <td>75</td>\n",
       "      <td>3200</td>\n",
       "      <td>X</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>23</td>\n",
       "      <td>180</td>\n",
       "      <td>80</td>\n",
       "      <td>3400</td>\n",
       "      <td>X</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>22</td>\n",
       "      <td>185</td>\n",
       "      <td>85</td>\n",
       "      <td>2800</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>25</td>\n",
       "      <td>160</td>\n",
       "      <td>60</td>\n",
       "      <td>4000</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>5</td>\n",
       "      <td>6</td>\n",
       "      <td>23</td>\n",
       "      <td>155</td>\n",
       "      <td>55</td>\n",
       "      <td>3600</td>\n",
       "      <td>X</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>6</td>\n",
       "      <td>7</td>\n",
       "      <td>22</td>\n",
       "      <td>158</td>\n",
       "      <td>58</td>\n",
       "      <td>3800</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>7</td>\n",
       "      <td>8</td>\n",
       "      <td>26</td>\n",
       "      <td>166</td>\n",
       "      <td>66</td>\n",
       "      <td>3700</td>\n",
       "      <td>O</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   번호  나이    키  몸무게    연봉 다음기수  최종학력_고등학교  최종학력_대학교  최종학력_대학원\n",
       "0   1  21  170   70  3000    O          1         0         0\n",
       "1   2  24  175   75  3200    X          0         1         0\n",
       "2   3  23  180   80  3400    X          1         0         0\n",
       "3   4  22  185   85  2800    O          0         1         0\n",
       "4   5  25  160   60  4000    O          0         0         1\n",
       "5   6  23  155   55  3600    X          0         1         0\n",
       "6   7  22  158   58  3800    O          0         1         0\n",
       "7   8  26  166   66  3700    O          1         0         0"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 한번에 처리\n",
    "# pd.get_dummies(data, columns, drop_first)\n",
    "# data : 데이터 프레임\n",
    "# columns : one-hot encoding처리하고 싶은 column\n",
    "# drop_first : True of False\n",
    "\n",
    "pd.get_dummies(ex, columns = ['최종학력'], drop_first = False)\n",
    "# default : false"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## (2) sklearn 모듈 사용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[1., 0., 0.],\n",
       "       [0., 1., 0.],\n",
       "       [1., 0., 0.],\n",
       "       [0., 1., 0.],\n",
       "       [0., 0., 1.],\n",
       "       [0., 1., 0.],\n",
       "       [0., 1., 0.],\n",
       "       [1., 0., 0.]])"
      ]
     },
     "execution_count": 58,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 머신러닝의 집합체 - 모델에 넣기전 모든 전처리 과정\n",
    "# 모델에 넣는 것은 parameter만 수정하면 되는 것.. 전처리 매우 중요\n",
    "# 라이브러리 불러오기\n",
    "from sklearn.preprocessing import OneHotEncoder # import 뒤만 불러오겠다\n",
    "# 다불러 오면 안쓸 모듈도 불러오게 됨...\n",
    "\n",
    "# numpy를 사용해 배열로 변경 - 머신러닝에서는 데이터 프레임으로 진행해도 되지만 딥러닝에서는 꼭 array로 바꿨다가 데이터 프레임으로 변경\n",
    "temp = np.array(ex['최종학력'])\n",
    "temp # 1행 8열... one hot encoding 불가 -> 1열로 \n",
    "\n",
    "# OneHotEncoder를 넣기 위해 배열의 shape변경\n",
    "temp2 = temp.reshape(-1,1) # 원하는대로 size 변경 - 후자가 1이면 8행 1열로, 후자가 2면 4행 2열로\n",
    "\n",
    "# OneHotEncoder 생성\n",
    "onehot = OneHotEncoder()\n",
    "\n",
    "# OneHotEncoder '학습'시키기\n",
    "onehot.fit(temp2)\n",
    "\n",
    "# OneHotEncoder '적용'시키기\n",
    "onehot.transform(temp2).toarray()\n",
    "\n",
    "# concat, drop 없이 가능, get_dummies에 매몰되지 말 것"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Label Encoding 사용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 113,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 라이브러리 불러오기\n",
    "# column이 하나, 각각의 column에 이름을 붙여줌\n",
    "from sklearn.preprocessing import LabelEncoder\n",
    "\n",
    "# LabelEncoder 생성\n",
    "label = LabelEncoder()\n",
    "\n",
    "# LabelEncoder 적용\n",
    "ex['최종학력'] # Series 형태 - 인식 불가\n",
    "label_f=ex[['최종학력']].apply(label.fit_transform) # 대괄호 한 번 더 - data frame"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>번호</th>\n",
       "      <th>나이</th>\n",
       "      <th>키</th>\n",
       "      <th>몸무게</th>\n",
       "      <th>최종학력</th>\n",
       "      <th>연봉</th>\n",
       "      <th>다음기수</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>21</td>\n",
       "      <td>170</td>\n",
       "      <td>70</td>\n",
       "      <td>고등학교</td>\n",
       "      <td>3000</td>\n",
       "      <td>O</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>24</td>\n",
       "      <td>175</td>\n",
       "      <td>75</td>\n",
       "      <td>대학교</td>\n",
       "      <td>3200</td>\n",
       "      <td>X</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>23</td>\n",
       "      <td>180</td>\n",
       "      <td>80</td>\n",
       "      <td>고등학교</td>\n",
       "      <td>3400</td>\n",
       "      <td>X</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>22</td>\n",
       "      <td>185</td>\n",
       "      <td>85</td>\n",
       "      <td>대학교</td>\n",
       "      <td>2800</td>\n",
       "      <td>O</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>25</td>\n",
       "      <td>160</td>\n",
       "      <td>60</td>\n",
       "      <td>대학원</td>\n",
       "      <td>4000</td>\n",
       "      <td>O</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   번호  나이    키  몸무게  최종학력    연봉 다음기수\n",
       "0   1  21  170   70  고등학교  3000    O\n",
       "1   2  24  175   75   대학교  3200    X\n",
       "2   3  23  180   80  고등학교  3400    X\n",
       "3   4  22  185   85   대학교  2800    O\n",
       "4   5  25  160   60   대학원  4000    O"
      ]
     },
     "execution_count": 109,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ex.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 114,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 최종 데이터 프레임 만들기\n",
    "final_label = pd.concat([ex, label_f], axis=1)#drop(['최종학력'], axis = 1, inplace = True)\n",
    "# ex.drop(['최종학력'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 115,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>번호</th>\n",
       "      <th>나이</th>\n",
       "      <th>키</th>\n",
       "      <th>몸무게</th>\n",
       "      <th>최종학력</th>\n",
       "      <th>연봉</th>\n",
       "      <th>다음기수</th>\n",
       "      <th>최종학력</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>21</td>\n",
       "      <td>170</td>\n",
       "      <td>70</td>\n",
       "      <td>고등학교</td>\n",
       "      <td>3000</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>24</td>\n",
       "      <td>175</td>\n",
       "      <td>75</td>\n",
       "      <td>대학교</td>\n",
       "      <td>3200</td>\n",
       "      <td>X</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>23</td>\n",
       "      <td>180</td>\n",
       "      <td>80</td>\n",
       "      <td>고등학교</td>\n",
       "      <td>3400</td>\n",
       "      <td>X</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>22</td>\n",
       "      <td>185</td>\n",
       "      <td>85</td>\n",
       "      <td>대학교</td>\n",
       "      <td>2800</td>\n",
       "      <td>O</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>25</td>\n",
       "      <td>160</td>\n",
       "      <td>60</td>\n",
       "      <td>대학원</td>\n",
       "      <td>4000</td>\n",
       "      <td>O</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   번호  나이    키  몸무게  최종학력    연봉 다음기수  최종학력\n",
       "0   1  21  170   70  고등학교  3000    O     0\n",
       "1   2  24  175   75   대학교  3200    X     1\n",
       "2   3  23  180   80  고등학교  3400    X     0\n",
       "3   4  22  185   85   대학교  2800    O     1\n",
       "4   5  25  160   60   대학원  4000    O     2"
      ]
     },
     "execution_count": 115,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final_label.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 118,
   "metadata": {},
   "outputs": [],
   "source": [
    "final_label = pd.concat([ex.drop(['최종학력'], axis=1), label_f], axis=1)#drop(['최종학력'], axis = 1, inplace = True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 119,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>번호</th>\n",
       "      <th>나이</th>\n",
       "      <th>키</th>\n",
       "      <th>몸무게</th>\n",
       "      <th>연봉</th>\n",
       "      <th>다음기수</th>\n",
       "      <th>최종학력</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>21</td>\n",
       "      <td>170</td>\n",
       "      <td>70</td>\n",
       "      <td>3000</td>\n",
       "      <td>O</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "      <td>24</td>\n",
       "      <td>175</td>\n",
       "      <td>75</td>\n",
       "      <td>3200</td>\n",
       "      <td>X</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>23</td>\n",
       "      <td>180</td>\n",
       "      <td>80</td>\n",
       "      <td>3400</td>\n",
       "      <td>X</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>4</td>\n",
       "      <td>22</td>\n",
       "      <td>185</td>\n",
       "      <td>85</td>\n",
       "      <td>2800</td>\n",
       "      <td>O</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>5</td>\n",
       "      <td>25</td>\n",
       "      <td>160</td>\n",
       "      <td>60</td>\n",
       "      <td>4000</td>\n",
       "      <td>O</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   번호  나이    키  몸무게    연봉 다음기수  최종학력\n",
       "0   1  21  170   70  3000    O     0\n",
       "1   2  24  175   75  3200    X     1\n",
       "2   3  23  180   80  3400    X     0\n",
       "3   4  22  185   85  2800    O     1\n",
       "4   5  25  160   60  4000    O     2"
      ]
     },
     "execution_count": 119,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final_label.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>최종학력</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   최종학력\n",
       "0     0\n",
       "1     1\n",
       "2     0\n",
       "3     1\n",
       "4     2"
      ]
     },
     "execution_count": 69,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "label_f.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# K-NN"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 불러오기"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 독립변수 (나이, 키, 연봉) -알고리즘 (function)-> \n",
    "### clustering : 새로운 데이터가 주어졌을 때 기존의 분류에서 가장 가까운 군집에 넣어줌\n",
    "### 가까운 k개를 구분지어줌\n",
    "### model 자체에서 parameter 조정 : tuning, hyper-parameter\n",
    "### 어떤 데이터에서는 어떻게 분류되는 지 각각 구분지어봐야 함 : k 지정에 따라 다름\n",
    "### hyper parameter가 k 하나임"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 거리 측정 방법\n",
    "### Euclidian : 피타고라스 공식, 빗변 길이 - 차원이 많아지면 계속 변수벡터 늘려가면서 빼고 루트\n",
    "### Manhattan : 절댓값"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {},
   "outputs": [],
   "source": [
    "wine = pd.read_csv('./input/wine.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>fixed.acidity</th>\n",
       "      <th>volatile.acidity</th>\n",
       "      <th>citric.acid</th>\n",
       "      <th>residual.sugar</th>\n",
       "      <th>chlorides</th>\n",
       "      <th>free.sulfur.dioxide</th>\n",
       "      <th>total.sulfur.dioxide</th>\n",
       "      <th>density</th>\n",
       "      <th>pH</th>\n",
       "      <th>sulphates</th>\n",
       "      <th>alcohol</th>\n",
       "      <th>quality</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>7.0</td>\n",
       "      <td>0.27</td>\n",
       "      <td>0.36</td>\n",
       "      <td>20.7</td>\n",
       "      <td>0.045</td>\n",
       "      <td>45.0</td>\n",
       "      <td>170.0</td>\n",
       "      <td>1.0010</td>\n",
       "      <td>3.00</td>\n",
       "      <td>0.45</td>\n",
       "      <td>8.8</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>6.3</td>\n",
       "      <td>0.30</td>\n",
       "      <td>0.34</td>\n",
       "      <td>1.6</td>\n",
       "      <td>0.049</td>\n",
       "      <td>14.0</td>\n",
       "      <td>132.0</td>\n",
       "      <td>0.9940</td>\n",
       "      <td>3.30</td>\n",
       "      <td>0.49</td>\n",
       "      <td>9.5</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>8.1</td>\n",
       "      <td>0.28</td>\n",
       "      <td>0.40</td>\n",
       "      <td>6.9</td>\n",
       "      <td>0.050</td>\n",
       "      <td>30.0</td>\n",
       "      <td>97.0</td>\n",
       "      <td>0.9951</td>\n",
       "      <td>3.26</td>\n",
       "      <td>0.44</td>\n",
       "      <td>10.1</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>7.2</td>\n",
       "      <td>0.23</td>\n",
       "      <td>0.32</td>\n",
       "      <td>8.5</td>\n",
       "      <td>0.058</td>\n",
       "      <td>47.0</td>\n",
       "      <td>186.0</td>\n",
       "      <td>0.9956</td>\n",
       "      <td>3.19</td>\n",
       "      <td>0.40</td>\n",
       "      <td>9.9</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>7.2</td>\n",
       "      <td>0.23</td>\n",
       "      <td>0.32</td>\n",
       "      <td>8.5</td>\n",
       "      <td>0.058</td>\n",
       "      <td>47.0</td>\n",
       "      <td>186.0</td>\n",
       "      <td>0.9956</td>\n",
       "      <td>3.19</td>\n",
       "      <td>0.40</td>\n",
       "      <td>9.9</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   fixed.acidity  volatile.acidity  citric.acid  residual.sugar  chlorides  \\\n",
       "0            7.0              0.27         0.36            20.7      0.045   \n",
       "1            6.3              0.30         0.34             1.6      0.049   \n",
       "2            8.1              0.28         0.40             6.9      0.050   \n",
       "3            7.2              0.23         0.32             8.5      0.058   \n",
       "4            7.2              0.23         0.32             8.5      0.058   \n",
       "\n",
       "   free.sulfur.dioxide  total.sulfur.dioxide  density    pH  sulphates  \\\n",
       "0                 45.0                 170.0   1.0010  3.00       0.45   \n",
       "1                 14.0                 132.0   0.9940  3.30       0.49   \n",
       "2                 30.0                  97.0   0.9951  3.26       0.44   \n",
       "3                 47.0                 186.0   0.9956  3.19       0.40   \n",
       "4                 47.0                 186.0   0.9956  3.19       0.40   \n",
       "\n",
       "   alcohol  quality  \n",
       "0      8.8        6  \n",
       "1      9.5        6  \n",
       "2     10.1        6  \n",
       "3      9.9        6  \n",
       "4      9.9        6  "
      ]
     },
     "execution_count": 72,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "wine.head() # 변수 의미 알아야"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## grade라는 column name으로 quality의 값이 3 ~ 6이면 Good / 7 ~ 9이면 Best로 할당"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "6    2198\n",
       "5    1457\n",
       "7     880\n",
       "8     175\n",
       "4     163\n",
       "3      20\n",
       "9       5\n",
       "Name: quality, dtype: int64"
      ]
     },
     "execution_count": 84,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# value_count\n",
    "wine['quality'].value_counts() # .sort(increasing = True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>fixed.acidity</th>\n",
       "      <th>volatile.acidity</th>\n",
       "      <th>citric.acid</th>\n",
       "      <th>residual.sugar</th>\n",
       "      <th>chlorides</th>\n",
       "      <th>free.sulfur.dioxide</th>\n",
       "      <th>total.sulfur.dioxide</th>\n",
       "      <th>density</th>\n",
       "      <th>pH</th>\n",
       "      <th>sulphates</th>\n",
       "      <th>alcohol</th>\n",
       "      <th>quality</th>\n",
       "      <th>grade</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>7.0</td>\n",
       "      <td>0.27</td>\n",
       "      <td>0.36</td>\n",
       "      <td>20.7</td>\n",
       "      <td>0.045</td>\n",
       "      <td>45.0</td>\n",
       "      <td>170.0</td>\n",
       "      <td>1.0010</td>\n",
       "      <td>3.00</td>\n",
       "      <td>0.45</td>\n",
       "      <td>8.8</td>\n",
       "      <td>6</td>\n",
       "      <td>Good</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>6.3</td>\n",
       "      <td>0.30</td>\n",
       "      <td>0.34</td>\n",
       "      <td>1.6</td>\n",
       "      <td>0.049</td>\n",
       "      <td>14.0</td>\n",
       "      <td>132.0</td>\n",
       "      <td>0.9940</td>\n",
       "      <td>3.30</td>\n",
       "      <td>0.49</td>\n",
       "      <td>9.5</td>\n",
       "      <td>6</td>\n",
       "      <td>Good</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>8.1</td>\n",
       "      <td>0.28</td>\n",
       "      <td>0.40</td>\n",
       "      <td>6.9</td>\n",
       "      <td>0.050</td>\n",
       "      <td>30.0</td>\n",
       "      <td>97.0</td>\n",
       "      <td>0.9951</td>\n",
       "      <td>3.26</td>\n",
       "      <td>0.44</td>\n",
       "      <td>10.1</td>\n",
       "      <td>6</td>\n",
       "      <td>Good</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>7.2</td>\n",
       "      <td>0.23</td>\n",
       "      <td>0.32</td>\n",
       "      <td>8.5</td>\n",
       "      <td>0.058</td>\n",
       "      <td>47.0</td>\n",
       "      <td>186.0</td>\n",
       "      <td>0.9956</td>\n",
       "      <td>3.19</td>\n",
       "      <td>0.40</td>\n",
       "      <td>9.9</td>\n",
       "      <td>6</td>\n",
       "      <td>Good</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>7.2</td>\n",
       "      <td>0.23</td>\n",
       "      <td>0.32</td>\n",
       "      <td>8.5</td>\n",
       "      <td>0.058</td>\n",
       "      <td>47.0</td>\n",
       "      <td>186.0</td>\n",
       "      <td>0.9956</td>\n",
       "      <td>3.19</td>\n",
       "      <td>0.40</td>\n",
       "      <td>9.9</td>\n",
       "      <td>6</td>\n",
       "      <td>Good</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   fixed.acidity  volatile.acidity  citric.acid  residual.sugar  chlorides  \\\n",
       "0            7.0              0.27         0.36            20.7      0.045   \n",
       "1            6.3              0.30         0.34             1.6      0.049   \n",
       "2            8.1              0.28         0.40             6.9      0.050   \n",
       "3            7.2              0.23         0.32             8.5      0.058   \n",
       "4            7.2              0.23         0.32             8.5      0.058   \n",
       "\n",
       "   free.sulfur.dioxide  total.sulfur.dioxide  density    pH  sulphates  \\\n",
       "0                 45.0                 170.0   1.0010  3.00       0.45   \n",
       "1                 14.0                 132.0   0.9940  3.30       0.49   \n",
       "2                 30.0                  97.0   0.9951  3.26       0.44   \n",
       "3                 47.0                 186.0   0.9956  3.19       0.40   \n",
       "4                 47.0                 186.0   0.9956  3.19       0.40   \n",
       "\n",
       "   alcohol  quality grade  \n",
       "0      8.8        6  Good  \n",
       "1      9.5        6  Good  \n",
       "2     10.1        6  Good  \n",
       "3      9.9        6  Good  \n",
       "4      9.9        6  Good  "
      ]
     },
     "execution_count": 88,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# for문 연산속도 제일 느림\n",
    "wine['grade']=['Good' if x<=6 else 'Best' for x in wine['quality']] # 6부터 담김, 없던 column name 쓰면 접근 아니고 새로 생성\n",
    "wine.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## wine 요약통계량 확인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>fixed.acidity</th>\n",
       "      <th>volatile.acidity</th>\n",
       "      <th>citric.acid</th>\n",
       "      <th>residual.sugar</th>\n",
       "      <th>chlorides</th>\n",
       "      <th>free.sulfur.dioxide</th>\n",
       "      <th>total.sulfur.dioxide</th>\n",
       "      <th>density</th>\n",
       "      <th>pH</th>\n",
       "      <th>sulphates</th>\n",
       "      <th>alcohol</th>\n",
       "      <th>quality</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>count</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "      <td>4898.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>mean</td>\n",
       "      <td>6.854788</td>\n",
       "      <td>0.278241</td>\n",
       "      <td>0.334192</td>\n",
       "      <td>6.391415</td>\n",
       "      <td>0.045772</td>\n",
       "      <td>35.308085</td>\n",
       "      <td>138.360657</td>\n",
       "      <td>0.994027</td>\n",
       "      <td>3.188267</td>\n",
       "      <td>0.489847</td>\n",
       "      <td>10.514267</td>\n",
       "      <td>5.877909</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>std</td>\n",
       "      <td>0.843868</td>\n",
       "      <td>0.100795</td>\n",
       "      <td>0.121020</td>\n",
       "      <td>5.072058</td>\n",
       "      <td>0.021848</td>\n",
       "      <td>17.007137</td>\n",
       "      <td>42.498065</td>\n",
       "      <td>0.002991</td>\n",
       "      <td>0.151001</td>\n",
       "      <td>0.114126</td>\n",
       "      <td>1.230621</td>\n",
       "      <td>0.885639</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>min</td>\n",
       "      <td>3.800000</td>\n",
       "      <td>0.080000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.600000</td>\n",
       "      <td>0.009000</td>\n",
       "      <td>2.000000</td>\n",
       "      <td>9.000000</td>\n",
       "      <td>0.987110</td>\n",
       "      <td>2.720000</td>\n",
       "      <td>0.220000</td>\n",
       "      <td>8.000000</td>\n",
       "      <td>3.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>25%</td>\n",
       "      <td>6.300000</td>\n",
       "      <td>0.210000</td>\n",
       "      <td>0.270000</td>\n",
       "      <td>1.700000</td>\n",
       "      <td>0.036000</td>\n",
       "      <td>23.000000</td>\n",
       "      <td>108.000000</td>\n",
       "      <td>0.991723</td>\n",
       "      <td>3.090000</td>\n",
       "      <td>0.410000</td>\n",
       "      <td>9.500000</td>\n",
       "      <td>5.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>50%</td>\n",
       "      <td>6.800000</td>\n",
       "      <td>0.260000</td>\n",
       "      <td>0.320000</td>\n",
       "      <td>5.200000</td>\n",
       "      <td>0.043000</td>\n",
       "      <td>34.000000</td>\n",
       "      <td>134.000000</td>\n",
       "      <td>0.993740</td>\n",
       "      <td>3.180000</td>\n",
       "      <td>0.470000</td>\n",
       "      <td>10.400000</td>\n",
       "      <td>6.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>75%</td>\n",
       "      <td>7.300000</td>\n",
       "      <td>0.320000</td>\n",
       "      <td>0.390000</td>\n",
       "      <td>9.900000</td>\n",
       "      <td>0.050000</td>\n",
       "      <td>46.000000</td>\n",
       "      <td>167.000000</td>\n",
       "      <td>0.996100</td>\n",
       "      <td>3.280000</td>\n",
       "      <td>0.550000</td>\n",
       "      <td>11.400000</td>\n",
       "      <td>6.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>max</td>\n",
       "      <td>14.200000</td>\n",
       "      <td>1.100000</td>\n",
       "      <td>1.660000</td>\n",
       "      <td>65.800000</td>\n",
       "      <td>0.346000</td>\n",
       "      <td>289.000000</td>\n",
       "      <td>440.000000</td>\n",
       "      <td>1.038980</td>\n",
       "      <td>3.820000</td>\n",
       "      <td>1.080000</td>\n",
       "      <td>14.200000</td>\n",
       "      <td>9.000000</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       fixed.acidity  volatile.acidity  citric.acid  residual.sugar  \\\n",
       "count    4898.000000       4898.000000  4898.000000     4898.000000   \n",
       "mean        6.854788          0.278241     0.334192        6.391415   \n",
       "std         0.843868          0.100795     0.121020        5.072058   \n",
       "min         3.800000          0.080000     0.000000        0.600000   \n",
       "25%         6.300000          0.210000     0.270000        1.700000   \n",
       "50%         6.800000          0.260000     0.320000        5.200000   \n",
       "75%         7.300000          0.320000     0.390000        9.900000   \n",
       "max        14.200000          1.100000     1.660000       65.800000   \n",
       "\n",
       "         chlorides  free.sulfur.dioxide  total.sulfur.dioxide      density  \\\n",
       "count  4898.000000          4898.000000           4898.000000  4898.000000   \n",
       "mean      0.045772            35.308085            138.360657     0.994027   \n",
       "std       0.021848            17.007137             42.498065     0.002991   \n",
       "min       0.009000             2.000000              9.000000     0.987110   \n",
       "25%       0.036000            23.000000            108.000000     0.991723   \n",
       "50%       0.043000            34.000000            134.000000     0.993740   \n",
       "75%       0.050000            46.000000            167.000000     0.996100   \n",
       "max       0.346000           289.000000            440.000000     1.038980   \n",
       "\n",
       "                pH    sulphates      alcohol      quality  \n",
       "count  4898.000000  4898.000000  4898.000000  4898.000000  \n",
       "mean      3.188267     0.489847    10.514267     5.877909  \n",
       "std       0.151001     0.114126     1.230621     0.885639  \n",
       "min       2.720000     0.220000     8.000000     3.000000  \n",
       "25%       3.090000     0.410000     9.500000     5.000000  \n",
       "50%       3.180000     0.470000    10.400000     6.000000  \n",
       "75%       3.280000     0.550000    11.400000     6.000000  \n",
       "max       3.820000     1.080000    14.200000     9.000000  "
      ]
     },
     "execution_count": 90,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "wine.describe() # 명목형은 적용 불가 - R은 describe 했을 때 개수도 보여줌 ...\n",
    "# residual.sugar ... std가 크므로 분포가 평균에서 스펙트럼이 좀 넓다 \\\n",
    "# std가 작으면 다 고만고만 하니까 구분이 잘 안 됨... 너무 커도 극적으로 가므로 좋지 않다.\n",
    "# 단위 차이 떄문에 별로 크게 나지 않을 수도 ex. ratio... - domain 지식 활용\n",
    "# 연속형일 때는 반드시 단위를 통일, 맞춰줘야 연산할 수 있음\n",
    "# 다 일일히 맞출 수는 없으므로 표준화를 통해 std 연산"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 표준화"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 106,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>fixed.acidity</th>\n",
       "      <th>volatile.acidity</th>\n",
       "      <th>citric.acid</th>\n",
       "      <th>residual.sugar</th>\n",
       "      <th>chlorides</th>\n",
       "      <th>free.sulfur.dioxide</th>\n",
       "      <th>total.sulfur.dioxide</th>\n",
       "      <th>density</th>\n",
       "      <th>pH</th>\n",
       "      <th>sulphates</th>\n",
       "      <th>alcohol</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>0.172097</td>\n",
       "      <td>-0.081770</td>\n",
       "      <td>0.213280</td>\n",
       "      <td>2.821349</td>\n",
       "      <td>-0.035355</td>\n",
       "      <td>0.569932</td>\n",
       "      <td>0.744565</td>\n",
       "      <td>2.331512</td>\n",
       "      <td>-1.246921</td>\n",
       "      <td>-0.349184</td>\n",
       "      <td>-1.393152</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>-0.657501</td>\n",
       "      <td>0.215896</td>\n",
       "      <td>0.048001</td>\n",
       "      <td>-0.944765</td>\n",
       "      <td>0.147747</td>\n",
       "      <td>-1.253019</td>\n",
       "      <td>-0.149685</td>\n",
       "      <td>-0.009154</td>\n",
       "      <td>0.740029</td>\n",
       "      <td>0.001342</td>\n",
       "      <td>-0.824276</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>1.475751</td>\n",
       "      <td>0.017452</td>\n",
       "      <td>0.543838</td>\n",
       "      <td>0.100282</td>\n",
       "      <td>0.193523</td>\n",
       "      <td>-0.312141</td>\n",
       "      <td>-0.973336</td>\n",
       "      <td>0.358665</td>\n",
       "      <td>0.475102</td>\n",
       "      <td>-0.436816</td>\n",
       "      <td>-0.336667</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>0.409125</td>\n",
       "      <td>-0.478657</td>\n",
       "      <td>-0.117278</td>\n",
       "      <td>0.415768</td>\n",
       "      <td>0.559727</td>\n",
       "      <td>0.687541</td>\n",
       "      <td>1.121091</td>\n",
       "      <td>0.525855</td>\n",
       "      <td>0.011480</td>\n",
       "      <td>-0.787342</td>\n",
       "      <td>-0.499203</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>0.409125</td>\n",
       "      <td>-0.478657</td>\n",
       "      <td>-0.117278</td>\n",
       "      <td>0.415768</td>\n",
       "      <td>0.559727</td>\n",
       "      <td>0.687541</td>\n",
       "      <td>1.121091</td>\n",
       "      <td>0.525855</td>\n",
       "      <td>0.011480</td>\n",
       "      <td>-0.787342</td>\n",
       "      <td>-0.499203</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4893</td>\n",
       "      <td>-0.776015</td>\n",
       "      <td>-0.677101</td>\n",
       "      <td>-0.365197</td>\n",
       "      <td>-0.944765</td>\n",
       "      <td>-0.310008</td>\n",
       "      <td>-0.664970</td>\n",
       "      <td>-1.091000</td>\n",
       "      <td>-0.965483</td>\n",
       "      <td>0.541334</td>\n",
       "      <td>0.088973</td>\n",
       "      <td>0.557282</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4894</td>\n",
       "      <td>-0.301959</td>\n",
       "      <td>0.414339</td>\n",
       "      <td>0.213280</td>\n",
       "      <td>0.317179</td>\n",
       "      <td>0.056196</td>\n",
       "      <td>1.275590</td>\n",
       "      <td>0.697499</td>\n",
       "      <td>0.291789</td>\n",
       "      <td>-0.253446</td>\n",
       "      <td>-0.261553</td>\n",
       "      <td>-0.743008</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4895</td>\n",
       "      <td>-0.420473</td>\n",
       "      <td>-0.379435</td>\n",
       "      <td>-1.191592</td>\n",
       "      <td>-1.023637</td>\n",
       "      <td>-0.218457</td>\n",
       "      <td>-0.312141</td>\n",
       "      <td>-0.643875</td>\n",
       "      <td>-0.497350</td>\n",
       "      <td>-1.313153</td>\n",
       "      <td>-0.261553</td>\n",
       "      <td>-0.905544</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4896</td>\n",
       "      <td>-1.605613</td>\n",
       "      <td>0.116674</td>\n",
       "      <td>-0.282557</td>\n",
       "      <td>-1.043355</td>\n",
       "      <td>-1.088192</td>\n",
       "      <td>-0.900190</td>\n",
       "      <td>-0.667408</td>\n",
       "      <td>-1.784717</td>\n",
       "      <td>1.004955</td>\n",
       "      <td>-0.962605</td>\n",
       "      <td>1.857572</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4897</td>\n",
       "      <td>-1.013043</td>\n",
       "      <td>-0.677101</td>\n",
       "      <td>0.378559</td>\n",
       "      <td>-1.102508</td>\n",
       "      <td>-1.179743</td>\n",
       "      <td>-0.782580</td>\n",
       "      <td>-0.949803</td>\n",
       "      <td>-1.543962</td>\n",
       "      <td>0.475102</td>\n",
       "      <td>-1.488394</td>\n",
       "      <td>1.044891</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>4898 rows × 11 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      fixed.acidity  volatile.acidity  citric.acid  residual.sugar  chlorides  \\\n",
       "0          0.172097         -0.081770     0.213280        2.821349  -0.035355   \n",
       "1         -0.657501          0.215896     0.048001       -0.944765   0.147747   \n",
       "2          1.475751          0.017452     0.543838        0.100282   0.193523   \n",
       "3          0.409125         -0.478657    -0.117278        0.415768   0.559727   \n",
       "4          0.409125         -0.478657    -0.117278        0.415768   0.559727   \n",
       "...             ...               ...          ...             ...        ...   \n",
       "4893      -0.776015         -0.677101    -0.365197       -0.944765  -0.310008   \n",
       "4894      -0.301959          0.414339     0.213280        0.317179   0.056196   \n",
       "4895      -0.420473         -0.379435    -1.191592       -1.023637  -0.218457   \n",
       "4896      -1.605613          0.116674    -0.282557       -1.043355  -1.088192   \n",
       "4897      -1.013043         -0.677101     0.378559       -1.102508  -1.179743   \n",
       "\n",
       "      free.sulfur.dioxide  total.sulfur.dioxide   density        pH  \\\n",
       "0                0.569932              0.744565  2.331512 -1.246921   \n",
       "1               -1.253019             -0.149685 -0.009154  0.740029   \n",
       "2               -0.312141             -0.973336  0.358665  0.475102   \n",
       "3                0.687541              1.121091  0.525855  0.011480   \n",
       "4                0.687541              1.121091  0.525855  0.011480   \n",
       "...                   ...                   ...       ...       ...   \n",
       "4893            -0.664970             -1.091000 -0.965483  0.541334   \n",
       "4894             1.275590              0.697499  0.291789 -0.253446   \n",
       "4895            -0.312141             -0.643875 -0.497350 -1.313153   \n",
       "4896            -0.900190             -0.667408 -1.784717  1.004955   \n",
       "4897            -0.782580             -0.949803 -1.543962  0.475102   \n",
       "\n",
       "      sulphates   alcohol  \n",
       "0     -0.349184 -1.393152  \n",
       "1      0.001342 -0.824276  \n",
       "2     -0.436816 -0.336667  \n",
       "3     -0.787342 -0.499203  \n",
       "4     -0.787342 -0.499203  \n",
       "...         ...       ...  \n",
       "4893   0.088973  0.557282  \n",
       "4894  -0.261553 -0.743008  \n",
       "4895  -0.261553 -0.905544  \n",
       "4896  -0.962605  1.857572  \n",
       "4897  -1.488394  1.044891  \n",
       "\n",
       "[4898 rows x 11 columns]"
      ]
     },
     "execution_count": 106,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.preprocessing import StandardScaler\n",
    "\n",
    "# scaler 생성\n",
    "standard_scaler = StandardScaler()\n",
    "\n",
    "# scaler 학습 : 연속형만 들어와야 함\n",
    "# 표준 정규 분포로 표현 가능해야 - 퍙균에서 얼마나 떨어졌는가\n",
    "# 0.27-1.27 / 1\n",
    "standard_scaler.fit(x_data)\n",
    "\n",
    "# scaler 적용\n",
    "temp = standard_scaler.transform(x_data)\n",
    "\n",
    "# 최종 데이터프레임 만들기\n",
    "pd.DataFrame(temp, columns = x_data.columns)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 종속변수, 독립변수 분할\n",
    "### target, 요인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 95,
   "metadata": {},
   "outputs": [],
   "source": [
    "y_data = wine['grade']\n",
    "# quality (답)를 넣어놓고 분석하면 당연 99%...\n",
    "x_data = wine.drop(['quality', 'grade'], axis = 1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## train, test 분할\n",
    "### 지도학습, 주로 7:3/8:2로 분리, 8로 모델을 만들고 2로 test, 모델 성능 검정\n",
    "### cross validation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 122,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import train_test_split # 마구잡이로 뽑음\n",
    "\n",
    "X_train, X_test, Y_train, y_test = train_test_split(x_data, y_data, test_size = 0.2, random_state = 321)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 125,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(3918, 11)\n",
      "(980, 11)\n"
     ]
    }
   ],
   "source": [
    "print(X_train.shape)\n",
    "print(X_test.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 124,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3918.4"
      ]
     },
     "execution_count": 124,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 데이터 크기 확인\n",
    "4898*0.8"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## K-NN 모델 적용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.neighbors import KNeighborsClassifier\n",
    "\n",
    "# knn 모델 생성\n",
    "# n_neighbors : k의 개수\n",
    "# p : 1(맨해튼), 2(유클리디안)\n",
    "# weights : uniform(동일), distance(거리기반 가중치)\n",
    "# n_jobs : -1을 사용하면 현재 컴퓨터내 모든 process 사용\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# knn 모델 학습\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 확률 출력\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 학습한 모델을 바탕으로 class 예측\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정확도 출력\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# k값에 따른 정확도 확인\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# k값에 따른 정확도 시각화\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 지도 학습 : 답이 있어서 채점 가능, 정확도, 민감도, 특이도 측정\n",
    "### 모델을 만들고 test, 타겟이 존재 - 답에서 얼마나 벗어났는지\n",
    "### xg boost\n",
    "### 분류  - KNN (범주형도 가능) Naive Bayes (예측 불가) Decision Tree 예측 가능\n",
    "### 예측 - linear Regression (성능 안좋아서 논문용...)\n",
    "\n",
    "### 비지도 학습 : 비슷한 애들끼리 학습, 그 자체로 결과, 정답 x\n",
    "### clustering - 마케팅 타겟집단 분류 : k-means, DBScan\n",
    "### 데이터 공모전 - 모델 성능 예측 : 지도 학습, 사업 아이디어 : 대부분 군집화\n",
    "### 연봉.. 연속형\n",
    "### AB Test\n",
    "### 컴퓨터는 다 숫자로 detect -문자로 들어가있는 것은 error : \n",
    "### one-hot encoding : 문자를 숫자로 구분해줌 - 해당 되는 곳만 1\n",
    "### multi class classification - 사람, 동물 구분 ...\n",
    "### 차원 축소 - 최대한 column을 줄여줌 ex. 고등학교 대학교 대학원\n",
    "### 고등학교 = 대학교 0 대학원 0\n",
    "### label encoding : 0 1 형태 x, 0 1 2 ... 종속변수는 모델에 넣지 않음, (모델에 넣는 것은 독립변수 - label encoding x)\n",
    "### 학력 구분을 위함이지 학력의 차이를 의미하지 않음 - target 변수 변경"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}