Courses

Visualization

2015-05-28T00:00:00+09:00

What is data visualization?

The visual representation of information
Goals of data visualization
- Effective, clear communication of information
- Stimulate viewer engagement
- Exploratory data analysis

Advantages of visualization

With many numbers and large datasets, need an efficient way to understand a vast amount of data
The human visual system is the highest-bandwidth channel to the human brain

Example: Given the income, college degree percentage of each state, try answering the following questions with either a table and a graphic representation. Which method is better in answering the questions?
- Which state has highest income?
- Relationship between income and education?
- Outliers?

(Example by Marti Hearst)

Graphs reveal data that statistics may not

Example: Anscombe's quartet

I II III IV
x y x y x y x y
10.0 8.04 10.0 9.14 10.0 7.46 8.0 6.58
8.0 6.95 8.0 8.14 8.0 6.77 8.0 5.76
13.0 7.58 13.0 8.74 13.0 12.74 8.0 7.71
9.0 8.81 9.0 8.77 9.0 7.11 8.0 8.84
11.0 8.33 11.0 9.26 11.0 7.81 8.0 8.47
14.0 9.96 14.0 8.10 14.0 8.84 8.0 7.04
6.0 7.24 6.0 6.13 6.0 6.08 8.0 5.25
4.0 4.26 4.0 3.10 4.0 5.39 19.0 12.50
12.0 10.84 12.0 9.13 12.0 8.15 8.0 5.56
7.0 4.82 7.0 7.26 7.0 6.42 8.0 7.91
5.0 5.68 5.0 4.74 5.0 5.73 8.0 6.89

Simple summary statistics are all identical for four datasets However, the four datasets vary considerably when graphed

I		II		III		IV
x	y	x	y	x	y	x	y
10.0	8.04	10.0	9.14	10.0	7.46	8.0	6.58
8.0	6.95	8.0	8.14	8.0	6.77	8.0	5.76
13.0	7.58	13.0	8.74	13.0	12.74	8.0	7.71
9.0	8.81	9.0	8.77	9.0	7.11	8.0	8.84
11.0	8.33	11.0	9.26	11.0	7.81	8.0	8.47
14.0	9.96	14.0	8.10	14.0	8.84	8.0	7.04
6.0	7.24	6.0	6.13	6.0	6.08	8.0	5.25
4.0	4.26	4.0	3.10	4.0	5.39	19.0	12.50
12.0	10.84	12.0	9.13	12.0	8.15	8.0	5.56
7.0	4.82	7.0	7.26	7.0	6.42	8.0	7.91
5.0	5.68	5.0	4.74	5.0	5.73	8.0	6.89

Data visualization process

Classify datatypes
- Nominal (ex: fruits - apples, oranges, ...)
  - Operations: ==, !=
- Ordinal (ex: quality of meat - grade A, AA, AAA, ...)
  - Operations: ==, !=, <=, >=
- Quantitative
  - Interval (ex: dates - May 1st, 2015, location - LAT 38.9 LON 127)
    - Only differences may compared
    - Operations: ==, !=, <=, >=, -
  - Ratio (ex: length - 160cm)
    - Origin is meaningful
    - Operations: ==, !=, <=, >=, -, /
Map datasets to visual attributes that represent data types most effectively (also known as data encoding)
Encode data to visual variables
Comparisons

(Source: Nathan Yau, Data points)

Data visualization types

(Source: Joel Laumans, An introduction to visualizing data)

Visualizing multi-dimensional data

Univariate data (1D)

Line plot
Bar plot
Box-and-whisker plot

Bivariate data (2D)

2D scatter plot

Trivariate data (3D)

Use 3D scatter plot
Map two variables [x, y] in 2D space + Map third variable [z] with another visual attribute (ex: color, shape, size)

Multivariate data (>3D)

How many variables can be depicted in a image?

"With up to three rows, a data table can be constructed directly as a single image. However, an image has only three dimensions. And this barrier is impassible." -- Bertin

Example: The wealth and health of nations by year (4 variables)
See Hans Rosling's "The joy of stats", which visualized the data with animations. (동적 시각화)
Also see Mike Bostock's interactive version (인터랙티브 시각화)

In-class Practice: Worldwide Disasters (1900-2008)

Visualize with the data below
Evaluation
- Expressiveness
  - Do the mappings show the facts and only the facts?
  - Are visual mappings consistent? (e.g., respect color mappings)
- Effectiveness
  - Are perceptually effective encodings used?
  - Are the most important data mapped to the most effective visual variables?
- Cognitive Load (Efficiency)
  - Are there extraneous (unmapped) visual elements?
- Data Transformation
  - Are transformations (filter, sort, derive, aggregate) appropriate?
- Guides (Non-Data Elements)
  - Descriptive, consistent: Title, Label, Caption, Source, Annotations
  - Meaningful references: Gridlines, Legend

References

http://selection.datavisualization.ch/
Chart and image gallery: 30+ free tools for data visualization and analysis
NYT the year in graphics: 2012
NYT the year in graphics: 2014
Many contents in courtesy of Cecilia Aragon and Maneesh Agrawala
빅데이터 분석 시각화 분석 : 1장 시각화정의 2장 프로세스
빅데이터 분석 시각화 분석 : 3장 시각화 방법

Support vector machines

2015-05-22T09:00:00+09:00

Class overview

You learning to teach the computer to learn from data

How?
- Find a general rule (i.e., 일반화 성능 향상, 오버피팅 방지)
- That explains data given only as a sample of limited size
- According to some measurement of accuracy or error
- 한마디로, finding signals among the noise
지금까지 배운 방법론들
- Supervised learning
  - Data are sample of input-output pairs
  - Find input-output mapping
  - Regression, classification, etc
- Unsupervised learning
  - Data are sample of objects
  - Find some common structure
  - Clustering, etc.
- Text mining
오늘 배울 것: 여전히 핫한 알고리즘, SVM, and yet another supervised learning algorithm
앞으로 남은 세 시간:
- classes[-3]: Semisupervised learning + A touch of visualization
- classes[-2]: Big data technologies: Hadoop & spark + Tips for your exam
- classes[-1]: 대망의 기말고사

SVM: Support vector machines

Classification examples

Sheep vector machines
- Using the existing sheep distributions (the training set), determine whether the new sheep belongs with the white sheep or the black sheep.
Spam filtering
- Using word occurrences in existing email documents, determine whether a new email is spam or ham.
- Instance space: $x \in X$ ($|X| = n$ data points)
  - Binary or real-valued feature vector $x$ of word occurrences
  - $d$ features (words + other things, d~100,000+)
- Class: $y \in Y$
  - $y$: Spam (+1), Ham (-1)

viagra	learning	the	nigeria	is_spam
1	0	1	0	1
0	1	1	0	-1
0	0	0	1	1

Linear binary classification

There may exist many solutions that separate the classes exactly
Usually, we find the one that will give the smallest generalization error
This is the problem of choosing the or decision boundary, or hyperplane
Input: Binary/real valued vectors $x$ and labels $y$
Goal: Find real valued vector $w$
Each feature has a weight $w_i$
- Prediction is based on the weighted sum: $f(x) = \sum w_i x_i = w \cdot x$
- If the f(x) is
  - Positive: Predict +1 (i.e., is sheep, is spam)
  - Negative: Predict -1 (i.e., is not sheep, is ham)

SVM, the maximal margin classifier

Idea:
- Distance from the separating hyperplane corresponds to the "confidence" of prediction
- In the image below, we are more sure about the class of A and B than of C
SVM finds the decision boundary with concept of maximizing this distance, or margins
- Margin $\gamma$: The perpendicular distance between the decision boundary and the closest of the data points (left figure below).
- Support vectors: Maximizing the margin leads to a particular subset of existing data points (right figure below).
Why is maximizing $\gamma$ a good idea?
- Remember: Dot product $A \cdot B = |A||B|cos\theta$
- Let:
  - Line $L = w \cdot x + b = 0$
  - Weight $w = [w_1, w_2]$
  - Point $A = [x_1^{(A)}, x_2^{(A)}]$
  - Point $M = [x_1^{{(M)}}, x_2^{{(M)}}]$
- Then the distance between A, L: $$\begin{align} d(A, L) & = |AH|\\ & = |(A-M) \cdot w|\\ & = |(x_1^{(A)} - x_1^{(M)}) w_1 + (x_2^{(A)} - x_2^{(M)}) w_2|\\ & = x_1^{(A)} w_1 + x_2^{(A)} w_2 + b\\ & = w \cdot A + b \end{align}$$
- Prediction = $sign(w \cdot x + b)$
- "Confidence" = $(w \cdot x + b)y$
- For i-th data point: $\gamma_i = (w \cdot x^{(i)} + b)y^{(i)}$
- Therefore, the objective function becomes:
  - max $\gamma$ s.t., $y^{(i)}(w \cdot x^{(i)} + b) \geq \gamma$ ($\forall i$)
- Good according to 1) intuition 2) theory and 3) practice
Normalized weights
- Problem: With this equation, scaling $w$ increases margin! (i.e., $w$ can be arbitrarily large)
  - If $(w \cdot x + b)y = \gamma$, then $(2w \cdot x + 2b)y = 2\gamma$
- Solution: work with normalized $w$, and require support vectors to be on the margin
  - $\gamma = (\frac{w}{|w|} \cdot x + b)y$
  - $w \cdot x^{(i)} + b = \pm 1$
Margin maximization == weight minimization?
- We know three things
  - $x^{(1)} = x^{(2)} + 2 \gamma \frac{w}{|w|}$
  - $w \cdot x^{(1)} + b = +1$
  - $w \cdot x^{(2)} + b = -1$
- Therefore
  - $w \cdot x^{(1)} + b = +1$
  - $w (x^{(2)} + 2 \gamma \frac{w}{|w|}) + b = +1$
  - $(w \cdot x^{(2)} + b) + 2 \gamma \frac{w}{|w|} = +1$
  - $\gamma = \frac{1}{|w|}$
- max $\gamma \thickapprox$ max $\frac{1}{|w|} \thickapprox$ min $|w| \thickapprox$ min $\frac{1}{2} |w|^2$
- Which finally gives
  - min $\frac{1}{2} |w|^2$ s.t., $y^{(i)}(w \cdot x^{(i)} + b) \geq 1$ ($\forall i$)
  - This is called SVM with "hard" constraints

Soft margin SVMs

Relax constraints
- Allowing the margin constraints to be violated
- In other words, allow some of the training data points to be misclassified
min $\frac{1}{2} |w|^2 + C \sum_{i=1}^n \xi_i$ s.t., $y^{(i)}(w \cdot x^{(i)} + b) \geq 1 - \xi_i$ ($\forall i$)

Kernel methods

Warning: NOT related to shell/kernels in the OS

Life is not so easy, not all problems are linearly separable
If so, choose a mapping to some (high dimensional) dot-product space, namely the feature space: $\Phi: X \to H$

Mercer's condition
- If a symmetric function $K(x, y)$ satisfies $\sum_{i,j=1}^{M} a_ia_jK(x_i,x_j) \geq 0$
  for all $M \in \mathbb{N}, x_i, a_i \in \mathbb{R}$
  there exists a mapping function $\Phi$ that maps x into the dot-product feature space and $K(x, y) = <\Phi(x), \Phi(y)>$ and vice versa.
Function $K$ is called the kernel.
Types of kernels
- Linear kernels: $K(x, y) = <x, y>$
- Polynomial kernels: $K(x, y) = (< x, y> + 1)^d$ for $d = 2$
- RBF kernels: $K(x, y) = exp(-\frac{||x-y||^2}{d^2})$
- ...and more!
  - Kernels on various objects, such as graphs, strings, texts, etc.
  - Enable us to use dot-product algorithms
  - Measure of similarity

Programming SVMs

Go to the SVM documents in the Scikit-learn webpage.

SVC: Support vector classification
SVR: Support vector regression
Also see: What is the difference between C-SVM and nu-SVM?

References

Wikipedia, Support Vector Machine
Scikit-learn, Support Vector Machines
Andrew Ng, CS229 Lecture notes: Support vector machines
Petra Kudova, Learning with kernels and SVM
support-vector-machines.org (Sometimes, algorithms have websites of their own! See here for more of them.)

Many contents in courtesy of Jure Leskovec and Petra Kudova

Visualization

2015-05-08T00:00:00+09:00

(source)

[Review] Data visualization

Data types

Nominal, ordinal, quantitative

Visual variables

Comparisons

(Source: Nathan Yau, Data points)

Data visualization patterns

(Source: Joel Laumans, An introduction to visualizing data)

Map visualizations (Geomapping)

Projections

(Source: Jason Davies)

Visual variables for spatial data

Examples

Dot map: A dot for every data point

(source)

How to lie with a dot map

(Source: xkcd)

Choropleth map: Attribute uniformly distributed in region

(source) (source)

How to lie with a choropleth

(Source: Huffington Post)

Cartograms: Size of region scaled to attribute value

(Source: Shawn Allen, Cartograms with d3 & TopoJSON)

(Source: Maneesh Agrawala, D3 Introduction, Mike Bostock, D3 workshop)

Visualization tools

D3

Go to d3js.org

MapBox

Go to MapBox

Visualization

2015-05-01T00:00:00+09:00

What is data visualization?

The visual representation of information
Goals of data visualization
- Effective, clear communication of information
- Stimulate viewer engagement
- Exploratory data analysis

Advantages of visualization

With many numbers and large datasets, need an efficient way to understand a vast amount of data
The human visual system is the highest-bandwidth channel to the human brain

Example: Given the income, college degree percentage of each state, try answering the following questions with either a table and a graphic representation. Which method is better in answering the questions?
- Which state has highest income?
- Relationship between income and education?
- Outliers?

(Example by Marti Hearst)

Graphs reveal data that statistics may not

Example: Anscombe's quartet

I II III IV
x y x y x y x y
10.0 8.04 10.0 9.14 10.0 7.46 8.0 6.58
8.0 6.95 8.0 8.14 8.0 6.77 8.0 5.76
13.0 7.58 13.0 8.74 13.0 12.74 8.0 7.71
9.0 8.81 9.0 8.77 9.0 7.11 8.0 8.84
11.0 8.33 11.0 9.26 11.0 7.81 8.0 8.47
14.0 9.96 14.0 8.10 14.0 8.84 8.0 7.04
6.0 7.24 6.0 6.13 6.0 6.08 8.0 5.25
4.0 4.26 4.0 3.10 4.0 5.39 19.0 12.50
12.0 10.84 12.0 9.13 12.0 8.15 8.0 5.56
7.0 4.82 7.0 7.26 7.0 6.42 8.0 7.91
5.0 5.68 5.0 4.74 5.0 5.73 8.0 6.89

Simple summary statistics are all identical for four datasets However, the four datasets vary considerably when graphed

I		II		III		IV
x	y	x	y	x	y	x	y
10.0	8.04	10.0	9.14	10.0	7.46	8.0	6.58
8.0	6.95	8.0	8.14	8.0	6.77	8.0	5.76
13.0	7.58	13.0	8.74	13.0	12.74	8.0	7.71
9.0	8.81	9.0	8.77	9.0	7.11	8.0	8.84
11.0	8.33	11.0	9.26	11.0	7.81	8.0	8.47
14.0	9.96	14.0	8.10	14.0	8.84	8.0	7.04
6.0	7.24	6.0	6.13	6.0	6.08	8.0	5.25
4.0	4.26	4.0	3.10	4.0	5.39	19.0	12.50
12.0	10.84	12.0	9.13	12.0	8.15	8.0	5.56
7.0	4.82	7.0	7.26	7.0	6.42	8.0	7.91
5.0	5.68	5.0	4.74	5.0	5.73	8.0	6.89

Data visualization process

Classify datatypes
- Nominal (ex: fruits - apples, oranges, ...)
  - Operations: ==, !=
- Ordinal (ex: quality of meat - grade A, AA, AAA, ...)
  - Operations: ==, !=, <=, >=
- Quantitative
  - Interval (ex: dates - May 1st, 2015, location - LAT 38.9 LON 127)
    - Only differences may compared
    - Operations: ==, !=, <=, >=, -
  - Ratio (ex: length - 160cm)
    - Origin is meaningful
    - Operations: ==, !=, <=, >=, -, /
Map datasets to visual attributes that represent data types most effectively (also known as data encoding)
- Bertin's visual variables (Bertin, Semiology of Graphics, 1967|1983)
  - Position
  - Size
  - Value
  - Texture
  - Color
  - Orientation
  - Shape

Data encoding

Objective
- Assume 7 visual encodings and n data attributes
- Pick the best encoding from the exponential number of possibilities
Principle of Consistency
- The properties of the image (visual variables) should match the properties of the data
Principle of Importance Ordering
- Encode the most important information in the most effective way
Mackinlay’s expressiveness criteria
- A set of facts is expressible in a visual language if the sentences (i.e. the visualizations) in the language express all the facts in the set of data, and only the facts in the data.
Mackinlay’s effectiveness criteria
- A visualization is more effective than another visualization if the information conveyed by one visualization is more readily perceived than the information in the other visualization.
Bertin's visual variables and their syntactics. Figure derived from Bertin (1967|1983), MacEachren (1995), and MacEachren et al. (2012)

Data combinations and dimensions

Univariate data (1D)

Line plot
Bar plot
Box-and-whisker plot

Bivariate data (2D)

2D scatter plot

Trivariate data (3D)

Use 3D scatter plot
Map two variables [x, y] in 2D space + Map third variable [z] with another visual attribute (ex: color, shape, size)

Multivariate data (>3D)

How many variables can be depicted in a image?

"With up to three rows, a data table can be constructed directly as a single image. However, an image has only three dimensions. And this barrier is impassible." -- Bertin

Examples

How to lie with visualization

Truncated Y-Axis
Cumulative graphs
Ignoring conventions
For more, see WTF visualizations

Awesome visualization examples

Words
Web pages
- http://internet-map.net/
World refugees
- http://www.therefugeeproject.org/
Movie revenues
- http://www.nytimes.com/interactive/2008/02/23/movies/20080223_REVENUE_GRAPHIC.html
Others

In-class Practice: Worldwide Disasters (1900-2008)

Visualize with the data below
Evaluation
- Expressiveness
  - Do the mappings show the facts and only the facts?
  - Are visual mappings consistent? (e.g., respect color mappings)
- Effectiveness
  - Are perceptually effective encodings used?
  - Are the most important data mapped to the most effective visual variables?
- Cognitive Load (Efficiency)
  - Are there extraneous (unmapped) visual elements?
- Data Transformation
  - Are transformations (filter, sort, derive, aggregate) appropriate?
- Guides (Non-Data Elements)
  - Descriptive, consistent: Title, Label, Caption, Source, Annotations
  - Meaningful references: Gridlines, Legend

References

http://selection.datavisualization.ch/
Chart and image gallery: 30+ free tools for data visualization and analysis
NYT the year in graphics: 2012
NYT the year in graphics: 2014
Many contents in courtesy of Cecilia Aragon and Maneesh Agrawala

파이썬으로 영어와 한국어 텍스트 다루기

2015-04-10T09:00:00+09:00

We use Python 3 in this tutorial, but provide minimal guidelines for Python 2.

지난 시간 복습

Terminologies

English	한국어	Description
Document	문서	-
Corpus	말뭉치	A set of documents
Token	토큰	Meaningful elements in a text such as words or phrases or symbols
Morphemes	형태소	Smallest meaningful unit in a language
POS	품사	Part-of-speech (ex: Nouns)

Text analysis process

전처리는 아래의 세부 과정으로 다시 한 번 나뉜다.

Load text
Tokenize text (ex: stemming, morph analyzing)
Tag tokens (ex: POS, NER)
Token(Feature) selection and/or filter/rank tokens (ex: stopword removal, TF-IDF)
...and so on (ex: calculate word/document similarities, cluster documents)

Useful Python Packages for Text Mining and NLP

NLTK: Provides modules for text analysis (mostly language independent)
- 설치하기
```
pip install nltk
```
- 주요기능
  1. Text corpora: 특히, 이 튜토리얼에서는 아래의 두 가지 데이터가 필요하니 미리 다운 받아두자.
```
nltk.download('gutenberg')
nltk.download('maxent_treebank_pos_tagger')
```
  2. Word POS, NER classification
  3. Document classification
KoNLPy: Provides modules for Korean text analysis
- 설치하기
```
pip install konlpy
```
- 주요기능
  1. Text corpora
  2. Word POS classification
    - Hannanum
    - Kkma
    - Mecab
    - Komoran
    - Twitter
Gensim: Provides modules for topic modeling and calculating similarities among documents
- 설치하기
```
pip install -U gensim
```
- 주요기능
  1. Topic modeling
  2. Word embedding
    - word2vec

Twython: Provides easy access to Twitter API

설치하기
```
pip install twython
```

사용예시: "Samsung (삼성)" 관련 트윗 받기

from twython import Twython
import settings as s    # Create a file named settings.py, and put oauth KEY values inside
twitter = Twython(s.APP_KEY, s.APP_SECRET, s.OAUTH_TOKEN, s.OAUTH_TOKEN_SECRET)
tweets = twitter.search(q='삼성', count=100)
data = [(t['user']['screen_name'], t['text'], t['created_at']) for t in tweets['statuses']]

Text exploration

1. Read document

이 튜토리얼에서는 NLTK, KoNLPy에서 제공하는 문서들을 사용한다.

영어: Jane Austen의 소설 Emma
한국어: 대한민국 국회 제 1809890호 의안

할 수 있는 사람은, 위의 문서 대신 다른 텍스트 데이터를 로딩하여 사용해보자.

English

from nltk.corpus import gutenberg   # Docs from project gutenberg.org
files_en = gutenberg.fileids()      # Get file ids
doc_en = gutenberg.open('austen-emma.txt').read()

Korean

from konlpy.corpus import kobill    # Docs from pokr.kr/bill
files_ko = kobill.fileids()         # Get file ids
doc_ko = kobill.open('1809890.txt').read()

2. Tokenize

문서를 토큰으로 나누는 방법은 다양하다. 여기서는 영어에는 nltk.regexp_tokenize, 한국어에는 konlpy.tag.Twitter.morph를 사용해보자.

English

from nltk import regexp_tokenize
pattern = r'''(?x) ([A-Z]\.)+ | \w+(-\w+)* | \$?\d+(\.\d+)?%? | \.\.\. | [][.,;"'?():-_`]'''
tokens_en = regexp_tokenize(doc_en, pattern)

Korean

from konlpy.tag import Twitter; t = Twitter()
tokens_ko = t.morphs(doc_ko)

3. Load tokens with `nltk.Text()`

nltk.Text()는 문서 하나를 편리하게 탐색할 수 있는 다양한 기능을 제공한다.

English
```
import nltk
en = nltk.Text(tokens_en)
```
Korean (For Python 2, name has to be input as u'유니코드'. If you are using Python 2, use u'유니코드' for input of all following Korean text.)
```
import nltk
ko = nltk.Text(tokens_ko, name='대한민국 국회 의안 제 1809890호')   # For Python 2, input `name` as u'유니코드'
```

지금부터 nltk.Text()가 제공하는 다양한 기능을 하나씩 살펴보자. (참고링크: class nltk.text.Text API 문서)

Tokens

English

print(len(en.tokens))       # returns number of tokens (document length)
print(len(set(en.tokens)))  # returns number of unique tokens
en.vocab()                  # returns frequency distribution

191061
7927
FreqDist({',': 12018, '.': 8853, 'to': 5127, 'the': 4844, 'and': 4653, 'of': 4278, '"': 4187, 'I': 3177, 'a': 3000, 'was': 2385, ...})

Korean

print(len(ko.tokens))       # returns number of tokens (document length)
print(len(set(ko.tokens)))  # returns number of unique tokens
ko.vocab()                  # returns frequency distribution

1707
476
FreqDist({'.': 61, '의': 46, '육아휴직': 38, '을': 34, '(': 27, ',': 26, '이': 26, ')': 26, '에': 24, '자': 24, ...})

Plot frequency distributions

English

en.plot(50)     # Plot sorted frequency of top 50 tokens

Korean

ko.plot(50)     # Plot sorted frequency of top 50 tokens

Tip: To save a plot programmably, and not through the GUI, overwrite pylab.show with pylab.savefig before drawing the plot (reference):
from matplotlib import pylab
pylab.show = lambda: pylab.savefig('some_filename.png')
Troubleshooting: For those who see rectangles instead of letters in the saved plot file, include the following configurations before drawing the plot:
from matplotlib import font_manager, rc
font_fname = 'c:/windows/fonts/gulim.ttc'     # A font of your choice
font_name = font_manager.FontProperties(fname=font_fname).get_name()
rc('font', family=font_name)
Some example fonts:

Mac OS: /Library/Fonts/AppleGothic.ttf

Count

English

en.count('Emma')        # Counts occurrences

Korean

ko.count('초등학교')   # Counts occurrences

Dispersion plot

English

en.dispersion_plot(['Emma', 'Frank', 'Jane'])

Korean

ko.dispersion_plot(['육아휴직', '초등학교', '공무원'])

Concordance

English

en.concordance('Emma', lines=5)

Displaying 5 of 865 matches:
                                     Emma by Jane Austen 1816 ] VOLUME I CHAPT
                                     Emma Woodhouse , handsome , clever , and
both daughters , but particularly of Emma . Between them it was more the int
 friend very mutually attached , and Emma doing just what she liked ; highly e
r own . The real evils , indeed , of Emma ' s situation were the power of havi

Korean (or, use konlpy.utils.concordance)

ko.concordance('초등학교')

Displaying 6 of 6 matches:
 ․ 김정훈 김학송 의원 ( 10 인 ) 제안 이유 및 주요 내용 초등학교 저학년 의 경우 에도 부모 의 따뜻한 사랑 과 보살핌 이 필요 한
 을 할 수 있는 자녀 의 나이 는 만 6 세 이하 로 되어 있어 초등학교 저학년 인 자녀 를 돌보기 위해서 는 해당 부모님 은 일자리 를
 다 . 제 63 조제 2 항제 4 호 중 “ 만 6 세 이하 의 초등학교 취학 전 자녀 를 ” 을 “ 만 8 세 이하 ( 취학 중인 경우
 전 자녀 를 ” 을 “ 만 8 세 이하 ( 취학 중인 경우 에는 초등학교 2 학년 이하 를 말한 다 ) 의 자녀 를 ” 로 한 다 . 부
 . ∼ 3 . ( 현행 과 같 음 ) 4 . 만 6 세 이하 의 초등학교 취 4 . 만 8 세 이하 ( 취학 중인 경우 학 전 자녀 를 양
세 이하 ( 취학 중인 경우 학 전 자녀 를 양육 하기 위하 에는 초등학교 2 학년 이하 를 여 필요하거 나 여자 공무원 이 말한 다 ) 의

Find similar words

English

en.similar('Emma')
en.similar('Frank')

she it he i harriet you her jane him that me and all they them there herself was hartfield be
mr mrs emma harriet you it her she he him hartfield them jane that isabella all herself look i me

Korean

ko.similar('자녀')
ko.similar('육아휴직')

논의
None

Collocations

English

en.collocations()

Frank Churchill; Miss Woodhouse; Miss Bates; Jane Fairfax; Miss
Fairfax; every thing; young man; every body; great deal; dare say;
John Knightley; Maple Grove; Miss Smith; Miss Taylor; Robert Martin;
Colonel Campbell; Box Hill; said Emma; Harriet Smith; William Larkins

Korean

en.collocations()

초등학교 저학년; 육아휴직 대상

For more information on nltk.Text(), see the source code or API.

Tagging and chunking

Until now, we used delimited text, namely tokens, to explore our sample document. Now let's classify words into given classes, namely part-of-speech tags, and chunk text into larger pieces.

1. POS tagging

There are numerous ways of tagging a text. Among them, the most frequently used, and developed way of tagging is arguably POS tagging.

Since one document is too long to observe a parsed structure, lets use one short sentence for each language.

English

tokens = "The little yellow dog barked at the Persian cat".split()
tags_en = nltk.pos_tag(tokens)

[('The', 'DT'),
 ('little', 'JJ'),
 ('yellow', 'NN'),
 ('dog', 'NN'),
 ('barked', 'VBD'),
 ('at', 'IN'),
 ('the', 'DT'),
 ('Persian', 'NNP'),
 ('cat', 'NN')]

It is also possible to use the famous Stanford POS tagger with NLTK, with from nltk.tag.stanford import POSTagger

Korean

from konlpy.tag import Twitter; t = Twitter()
tags_ko = t.pos("작고 노란 강아지가 페르시안 고양이에게 짖었다")

[('작고', 'Noun'),
 ('노란', 'Adjective'),
 ('강아지', 'Noun'),
 ('가', 'Josa'),
 ('페르시안', 'Noun'),
 ('고양이', 'Noun'),
 ('에게', 'Josa'),
 ('짖었', 'Noun'),
 ('다', 'Josa')]

2. Noun phrase chunking

nltk.RegexpParser() is a great way to start chunking.

English

parser_en = nltk.RegexpParser("NP: {<DT>?<JJ>?<NN.*>*}")
chunks_en = parser_en.parse(tags_en)
chunks_en.draw()

Korean

parser_ko = nltk.RegexpParser("NP: {<Adjective>*<Noun>*}")
chunks_ko = parser_ko.parse(tags_ko)
chunks_ko.draw()

For more information on chunking, refer to Extracting Information from Text for English, and Chunking for Korean.

Drawing a word cloud

제 1809890호 의안의 빈도분포(frequency distribution)를 다시 살펴보자.

print(ko.vocab())

FreqDist({'.': 61, '의': 46, '육아휴직': 38, '을': 34, '(': 27, ',': 26, '이': 26, ')': 26, '에': 24, '자': 24, ...})

이 빈도분포의 data type과 attribute 목록을 확인해보자.

type(ko.vocab())

nltk.probability.FreqDist

dir(ko.vocab())

['B',
 'N',
 ...
 'items',
 ...
 'pop',
 'popitem',
 'pprint',
 'r_Nr',
 'setdefault',
 'subtract',
 'tabulate',
 'unicode_repr',
 'update',
 'values']

items()를 사용하면 빈도분포의 item 전체를 set의 형태로 볼 수 있다. 이를 data라는 이름의 변수에 저장한 후, data type을 관찰하자.

data = ko.vocab().items()
print(data)
print(type(data))

dict_items([('명', 5), ('예상된', 3), ('하나', 1), ('11', 2), ('팀', 2), ...])
<class 'dict_items'>

이 set을 이제 words.csv라는 파일에 저장해보자. 데이터 header는 word,freq로 하면 된다.

import csv
with open('words.csv', 'w', encoding='utf-8') as f:
    f.write('word,freq\n')
    writer = csv.writer(f)
    writer.writerows(data)

다음으로 아래의 코드를 복사하여 words.csv가 있는 폴더 내에 index.html라는 이름으로 저장하자.

위와 같은 폴더에서 아래를 실행하자.

python -m http.server 8888      # for Python2, `python -m SimpleHTTPServer`

마지막으로, 모던 브라우저(ex: 크롬)의 주소창에 http://localhost:8888를 입력하면 우리의 워드클라우드가 떠있을 것이다! (이미지를 클릭하면 interative 페이지로 이동합니다.)
더 실험해보고 싶은 경우:
1. 위의 워드클라우드는 각종 특수문자, 조사 등도 포함되어 정보 전달력이 떨어진다. 워드클라우드에 명사만 표현되게 할 수 있을까?
2. 다른 임의의 문서로도 워드클라우드를 그릴 수 있나? (ex: 내 데이터마이닝 프로젝트 제안서) 해당 문서를 파이썬으로 읽고, 문서에서 높은 빈도로 등장한 단어를 추출 후, 워드클라우드로 그려보자.
3. 여러 개의 문서에 대한 워드클라우드를 그릴 수도 있나? 파이썬으로 여러 개의 문서를 한꺼번에 읽어들인 후, 높은 빈도로 등장한 단어를 추출해서 워드클라우드로 그려보자.

파이썬으로 영어와 한국어 텍스트 다루기

2015-04-10T09:00:00+09:00

We use Python 3 in this tutorial, but provide minimal guidelines for Python 2.

지난 시간 복습

Terminologies

English	한국어	Description
Document	문서	-
Corpus	말뭉치	A set of documents
Token	토큰	Meaningful elements in a text such as words or phrases or symbols
Morphemes	형태소	Smallest meaningful unit in a language
POS	품사	Part-of-speech (ex: Nouns)

Text analysis process

전처리는 아래의 세부 과정으로 다시 한 번 나뉜다.

Load text
Tokenize text (ex: stemming, morph analyzing)
Tag tokens (ex: POS, NER)
Token(Feature) selection and/or filter/rank tokens (ex: stopword removal, TF-IDF)
...and so on (ex: calculate word/document similarities, cluster documents)

Useful Python Packages for Text Mining and NLP

NLTK: Provides modules for text analysis (mostly language independent)
- 설치하기
```
pip install nltk
```
- 주요기능
  1. Text corpora: 특히, 이 튜토리얼에서는 아래의 두 가지 데이터가 필요하니 미리 다운 받아두자.
```
nltk.download('gutenberg')
nltk.download('maxent_treebank_pos_tagger')
```
  2. Word POS, NER classification
  3. Document classification
KoNLPy: Provides modules for Korean text analysis
- 설치하기
```
pip install konlpy
```
- 주요기능
  1. Text corpora
  2. Word POS classification
    - Hannanum
    - Kkma
    - Mecab
    - Komoran
    - Twitter
Gensim: Provides modules for topic modeling and calculating similarities among documents
- 설치하기
```
pip install -U gensim
```
- 주요기능
  1. Topic modeling
  2. Word embedding
    - word2vec

Twython: Provides easy access to Twitter API

설치하기
```
pip install twython
```

사용예시: "Samsung (삼성)" 관련 트윗 받기

from twython import Twython
import settings as s    # Create a file named settings.py, and put oauth KEY values inside
twitter = Twython(s.APP_KEY, s.APP_SECRET, s.OAUTH_TOKEN, s.OAUTH_TOKEN_SECRET)
tweets = twitter.search(q='삼성', count=100)
data = [(t['user']['screen_name'], t['text'], t['created_at']) for t in tweets['statuses']]

Text exploration

1. Read document

이 튜토리얼에서는 NLTK, KoNLPy에서 제공하는 문서들을 사용한다.

영어: Jane Austen의 소설 Emma
한국어: 대한민국 국회 제 1809890호 의안

할 수 있는 사람은, 위의 문서 대신 다른 텍스트 데이터를 로딩하여 사용해보자.

English

from nltk.corpus import gutenberg   # Docs from project gutenberg.org
files_en = gutenberg.fileids()      # Get file ids
doc_en = gutenberg.open('austen-emma.txt').read()

Korean

from konlpy.corpus import kobill    # Docs from pokr.kr/bill
files_ko = kobill.fileids()         # Get file ids
doc_ko = kobill.open('1809890.txt').read()

2. Tokenize

문서를 토큰으로 나누는 방법은 다양하다. 여기서는 영어에는 nltk.regexp_tokenize, 한국어에는 konlpy.tag.Twitter.morph를 사용해보자.

English

from nltk import regexp_tokenize
pattern = r'''(?x) ([A-Z]\.)+ | \w+(-\w+)* | \$?\d+(\.\d+)?%? | \.\.\. | [][.,;"'?():-_`]'''
tokens_en = regexp_tokenize(doc_en, pattern)

Korean

from konlpy.tag import Twitter; t = Twitter()
tokens_ko = t.morphs(doc_ko)

3. Load tokens with `nltk.Text()`

nltk.Text()는 문서 하나를 편리하게 탐색할 수 있는 다양한 기능을 제공한다.

English
```
import nltk
en = nltk.Text(tokens_en)
```
Korean (For Python 2, name has to be input as u'유니코드'. If you are using Python 2, use u'유니코드' for input of all following Korean text.)
```
import nltk
ko = nltk.Text(tokens_ko, name='대한민국 국회 의안 제 1809890호')   # For Python 2, input `name` as u'유니코드'
```

지금부터 nltk.Text()가 제공하는 다양한 기능을 하나씩 살펴보자. (참고링크: class nltk.text.Text API 문서)

Tokens

English

print(len(en.tokens))       # returns number of tokens (document length)
print(len(set(en.tokens)))  # returns number of unique tokens
en.vocab()                  # returns frequency distribution

191061
7927
FreqDist({',': 12018, '.': 8853, 'to': 5127, 'the': 4844, 'and': 4653, 'of': 4278, '"': 4187, 'I': 3177, 'a': 3000, 'was': 2385, ...})

Korean

print(len(ko.tokens))       # returns number of tokens (document length)
print(len(set(ko.tokens)))  # returns number of unique tokens
ko.vocab()                  # returns frequency distribution

1707
476
FreqDist({'.': 61, '의': 46, '육아휴직': 38, '을': 34, '(': 27, ',': 26, '이': 26, ')': 26, '에': 24, '자': 24, ...})

Plot frequency distributions

English

en.plot(50)     # Plot sorted frequency of top 50 tokens

Korean

ko.plot(50)     # Plot sorted frequency of top 50 tokens

Tip: To save a plot programmably, and not through the GUI, overwrite pylab.show with pylab.savefig before drawing the plot (reference):
from matplotlib import pylab
pylab.show = lambda: pylab.savefig('some_filename.png')
Troubleshooting: For those who see rectangles instead of letters in the saved plot file, include the following configurations before drawing the plot:
from matplotlib import font_manager, rc
font_fname = 'c:/windows/fonts/gulim.ttc'     # A font of your choice
font_name = font_manager.FontProperties(fname=font_fname).get_name()
rc('font', family=font_name)
Some example fonts:

Mac OS: /Library/Fonts/AppleGothic.ttf

Count

English

en.count('Emma')        # Counts occurrences

Korean

ko.count('초등학교')   # Counts occurrences

Dispersion plot

English

en.dispersion_plot(['Emma', 'Frank', 'Jane'])

Korean

ko.dispersion_plot(['육아휴직', '초등학교', '공무원'])

Concordance

English

en.concordance('Emma', lines=5)

Displaying 5 of 865 matches:
                                     Emma by Jane Austen 1816 ] VOLUME I CHAPT
                                     Emma Woodhouse , handsome , clever , and
both daughters , but particularly of Emma . Between them it was more the int
 friend very mutually attached , and Emma doing just what she liked ; highly e
r own . The real evils , indeed , of Emma ' s situation were the power of havi

Korean (or, use konlpy.utils.concordance)

ko.concordance('초등학교')

Displaying 6 of 6 matches:
 ․ 김정훈 김학송 의원 ( 10 인 ) 제안 이유 및 주요 내용 초등학교 저학년 의 경우 에도 부모 의 따뜻한 사랑 과 보살핌 이 필요 한
 을 할 수 있는 자녀 의 나이 는 만 6 세 이하 로 되어 있어 초등학교 저학년 인 자녀 를 돌보기 위해서 는 해당 부모님 은 일자리 를
 다 . 제 63 조제 2 항제 4 호 중 “ 만 6 세 이하 의 초등학교 취학 전 자녀 를 ” 을 “ 만 8 세 이하 ( 취학 중인 경우
 전 자녀 를 ” 을 “ 만 8 세 이하 ( 취학 중인 경우 에는 초등학교 2 학년 이하 를 말한 다 ) 의 자녀 를 ” 로 한 다 . 부
 . ∼ 3 . ( 현행 과 같 음 ) 4 . 만 6 세 이하 의 초등학교 취 4 . 만 8 세 이하 ( 취학 중인 경우 학 전 자녀 를 양
세 이하 ( 취학 중인 경우 학 전 자녀 를 양육 하기 위하 에는 초등학교 2 학년 이하 를 여 필요하거 나 여자 공무원 이 말한 다 ) 의

Find similar words

English

en.similar('Emma')
en.similar('Frank')

she it he i harriet you her jane him that me and all they them there herself was hartfield be
mr mrs emma harriet you it her she he him hartfield them jane that isabella all herself look i me

Korean

ko.similar('자녀')
ko.similar('육아휴직')

논의
None

Collocations

English

en.collocations()

Frank Churchill; Miss Woodhouse; Miss Bates; Jane Fairfax; Miss
Fairfax; every thing; young man; every body; great deal; dare say;
John Knightley; Maple Grove; Miss Smith; Miss Taylor; Robert Martin;
Colonel Campbell; Box Hill; said Emma; Harriet Smith; William Larkins

Korean

en.collocations()

초등학교 저학년; 육아휴직 대상

For more information on nltk.Text(), see the source code or API.

Tagging and chunking

Until now, we used delimited text, namely tokens, to explore our sample document. Now let's classify words into given classes, namely part-of-speech tags, and chunk text into larger pieces.

1. POS tagging

There are numerous ways of tagging a text. Among them, the most frequently used, and developed way of tagging is arguably POS tagging.

Since one document is too long to observe a parsed structure, lets use one short sentence for each language.

English

tokens = "The little yellow dog barked at the Persian cat".split()
tags_en = nltk.pos_tag(tokens)

[('The', 'DT'),
 ('little', 'JJ'),
 ('yellow', 'NN'),
 ('dog', 'NN'),
 ('barked', 'VBD'),
 ('at', 'IN'),
 ('the', 'DT'),
 ('Persian', 'NNP'),
 ('cat', 'NN')]

It is also possible to use the famous Stanford POS tagger with NLTK, with from nltk.tag.stanford import POSTagger

Korean

from konlpy.tag import Twitter; t = Twitter()
tags_ko = t.pos("작고 노란 강아지가 페르시안 고양이에게 짖었다")

[('작고', 'Noun'),
 ('노란', 'Adjective'),
 ('강아지', 'Noun'),
 ('가', 'Josa'),
 ('페르시안', 'Noun'),
 ('고양이', 'Noun'),
 ('에게', 'Josa'),
 ('짖었', 'Noun'),
 ('다', 'Josa')]

2. Noun phrase chunking

nltk.RegexpParser() is a great way to start chunking.

English

parser_en = nltk.RegexpParser("NP: {<DT>?<JJ>?<NN.*>*}")
chunks_en = parser_en.parse(tags_en)
chunks_en.draw()

Korean

parser_ko = nltk.RegexpParser("NP: {<Adjective>*<Noun>*}")
chunks_ko = parser_ko.parse(tags_ko)
chunks_ko.draw()

For more information on chunking, refer to Extracting Information from Text for English, and Chunking for Korean.

Drawing a word cloud

제 1809890호 의안의 빈도분포(frequency distribution)를 다시 살펴보자.

print(ko.vocab())

FreqDist({'.': 61, '의': 46, '육아휴직': 38, '을': 34, '(': 27, ',': 26, '이': 26, ')': 26, '에': 24, '자': 24, ...})

이 빈도분포의 data type과 attribute 목록을 확인해보자.

type(ko.vocab())

nltk.probability.FreqDist

dir(ko.vocab())

['B',
 'N',
 ...
 'items',
 ...
 'pop',
 'popitem',
 'pprint',
 'r_Nr',
 'setdefault',
 'subtract',
 'tabulate',
 'unicode_repr',
 'update',
 'values']

items()를 사용하면 빈도분포의 item 전체를 set의 형태로 볼 수 있다. 이를 data라는 이름의 변수에 저장한 후, data type을 관찰하자.

data = ko.vocab().items()
print(data)
print(type(data))

dict_items([('명', 5), ('예상된', 3), ('하나', 1), ('11', 2), ('팀', 2), ...])
<class 'dict_items'>

이 set을 이제 words.csv라는 파일에 저장해보자. 데이터 header는 word,freq로 하면 된다.

import csv
with open('words.csv', 'w', encoding='utf-8') as f:
    f.write('word,freq\n')
    writer = csv.writer(f)
    writer.writerows(data)

다음으로 아래의 코드를 복사하여 words.csv가 있는 폴더 내에 index.html라는 이름으로 저장하자.

위와 같은 폴더에서 아래를 실행하자.

python -m http.server 8888      # for Python2, `python -m SimpleHTTPServer`

마지막으로, 모던 브라우저(ex: 크롬)의 주소창에 http://localhost:8888를 입력하면 우리의 워드클라우드가 떠있을 것이다! (이미지를 클릭하면 interative 페이지로 이동합니다.)
더 실험해보고 싶은 경우:
1. 위의 워드클라우드는 각종 특수문자, 조사 등도 포함되어 정보 전달력이 떨어진다. 워드클라우드에 명사만 표현되게 할 수 있을까?
2. 다른 임의의 문서로도 워드클라우드를 그릴 수 있나? (ex: 내 데이터마이닝 프로젝트 제안서) 해당 문서를 파이썬으로 읽고, 문서에서 높은 빈도로 등장한 단어를 추출 후, 워드클라우드로 그려보자.
3. 여러 개의 문서에 대한 워드클라우드를 그릴 수도 있나? 파이썬으로 여러 개의 문서를 한꺼번에 읽어들인 후, 높은 빈도로 등장한 단어를 추출해서 워드클라우드로 그려보자.

Bash

2015-04-02T00:00:00+09:00

What is an OS?

DOS, Windows, Linux, Mac OS, iOS, Android, ...

Linux?

OS
Made by Linus Torvalds
Inspired by Unix
Debian, CentOS, Ubuntu, Fedora, Redhat Linux, Gentoo, Arch, Suse, Slackware, Mandriva, PintOS, ...

Why Linux?

Custom
Free (in some sense)
Open source
Supports multiple users
Has compatibility with Unix-like OSs

Files

Directories

.: current directory
..: parent directory
~/: home directory
/: root directory
/some/absolute/path
some/relative/path

Permissions

Read, Write, eXecute
Owner, Owner group, Others
rwxrwxrwx
- All permissions for everyone

What is Bash?

Bash is a "shell" for the GNU operating system

Then what is a shell?

A shell is a macro processor that executes commands

Is Bash the only shell available?

No.
There are many many alternatives, such as sh, ksh, csh or zsh
However, bash is the default shell in GNU systems

Can I use `bash` in GNU systems only?

No.
You can also use bash in Windows and other platforms, using portable versions

Why should I use Bash?

Package managing

What is a package?
What is it to manage a package?
What kind of package managers are there?
- Windows: ???
- Mac: Homebrew
- Ubuntu: apt-get

Data science

Data sampling
...and more

Mining English and Korean text with Python

2015-03-27T15:00:00+09:00

We use Python 3 in this tutorial, but provide minimal guidelines for Python 2.

Terminologies

English	한국어	Description
Document	문서	-
Corpus	말뭉치	A set of documents
Token	토큰	Meaningful elements in a text such as words or phrases or symbols
Morphemes	형태소	Smallest meaningful unit in a language
POS	품사	Part-of-speech (ex: Nouns)
Classification	분류	A supervised learning task where $X$ and $y$ are given and $y$ is a set of discrete classes
Clustering	군집화	An unsupervised learning task where $X$ is given

Text analysis process

Load text
Tokenize text (ex: stemming, morph analyzing)
Tag tokens (ex: POS, NER)
Token(Feature) selection and/or filter/rank tokens (ex: stopword removal, TF-IDF)
...and so on (ex: calculate word/document similarities, cluster documents)

Python Packages for Text Mining and NLP

...that we use in this tutorial.

NLTK: Provides modules for text analysis (mostly language independent)
```
pip install nltk
```
- Text corpora
```
nltk.download('gutenberg')
nltk.download('maxent_treebank_pos_tagger')
```
- Word POS, NER classification
- Document classification
KoNLPy: Provides modules for Korean text analysis
```
pip install konlpy
```
- Text corpora
- Word POS classification
  - Hannanum
  - Kkma
  - Mecab
  - Komoran
  - Twitter
Gensim: Provides modules for topic modeling and calculating similarities among documents
```
pip install -U gensim
```
- Topic modeling
- Word embedding
  - word2vec

Twython: Provides easy access to Twitter API

pip install twython

Example: Getting "Samsung (삼성)" related tweets

from twython import Twython
import settings as s    # Create a file named settings.py, and put oauth KEY values inside
twitter = Twython(s.APP_KEY, s.APP_SECRET, s.OAUTH_TOKEN, s.OAUTH_TOKEN_SECRET)
tweets = twitter.search(q='삼성', count=100)
data = [(t['user']['screen_name'], t['text'], t['created_at']) for t in tweets['statuses']]

Text exploration

1. Read document

As example documents, we select Jane Austen's Emma for English, and Korea National Assembly's bill number 1809890 for Korean. Otherwise, you can use a document of your own with open('some_file.txt').read().

English

from nltk.corpus import gutenberg   # Docs from project gutenberg.org
files_en = gutenberg.fileids()      # Get file ids
doc_en = gutenberg.open('austen-emma.txt').read()

Korean

from konlpy.corpus import kobill    # Docs from pokr.kr/bill
files_ko = kobill.fileids()         # Get file ids
doc_ko = kobill.open('1809890.txt').read()

2. Tokenize

There are numerous ways to tokenize a document.

Here, we use nltk.regexp_tokenize for English, konlpy.tag.Twitter.morph for Korean text.

English

from nltk import regexp_tokenize
pattern = r'''(?x) ([A-Z]\.)+ | \w+(-\w+)* | \$?\d+(\.\d+)?%? | \.\.\. | [][.,;"'?():-_`]'''
tokens_en = regexp_tokenize(doc_en, pattern)

Korean

from konlpy.tag import Twitter; t = Twitter()
tokens_ko = t.morphs(doc_ko)

3. Load tokens with `nltk.Text()`

English
```
import nltk
en = nltk.Text(tokens_en)
```

Korean

import nltk
ko = nltk.Text(tokens_ko, name='대한민국 국회 의안 제 1809890호')   # For Python 2, input `name` as u'유니코드'

nltk.Text() is a convenient way to explore a current document. For Python 2, name has to be input as u'유니코드'. If you are using Python 2, use u'유니코드' for input of all following Korean text.

Tokens

English

print(len(en.tokens))       # returns number of tokens (document length)
print(len(set(en.tokens)))  # returns number of unique tokens
en.vocab()                  # returns frequency distribution

191061
7927
FreqDist({',': 12018, '.': 8853, 'to': 5127, 'the': 4844, 'and': 4653, 'of': 4278, '"': 4187, 'I': 3177, 'a': 3000, 'was': 2385, ...})

Korean

print(len(ko.tokens))       # returns number of tokens (document length)
print(len(set(ko.tokens)))  # returns number of unique tokens
ko.vocab()                  # returns frequency distribution

1707
476
FreqDist({'.': 61, '의': 46, '육아휴직': 38, '을': 34, '(': 27, ',': 26, '이': 26, ')': 26, '에': 24, '자': 24, ...})

Plot frequency distributions

English

en.plot(50)     # Plot sorted frequency of top 50 tokens

Korean

ko.plot(50)     # Plot sorted frequency of top 50 tokens

Tip: To save a plot programmably, and not through the GUI, overwrite pylab.show with pylab.savefig before drawing the plot (reference):
from matplotlib import pylab
pylab.show = lambda: pylab.savefig('some_filename.png')
Troubleshooting: For those who see rectangles instead of letters in the saved plot file, include the following configurations before drawing the plot:
from matplotlib import font_manager, rc
font_fname = 'c:/windows/fonts/gulim.ttc'     # A font of your choice
font_name = font_manager.FontProperties(fname=font_fname).get_name()
rc('font', family=font_name)
Some example fonts:

Mac OS: /Library/Fonts/AppleGothic.ttf

Count

English

en.count('Emma')        # Counts occurrences

Korean

ko.count('초등학교')   # Counts occurrences

Dispersion plot

English

en.dispersion_plot(['Emma', 'Frank', 'Jane'])

Korean

ko.dispersion_plot(['육아휴직', '초등학교', '공무원'])

Concordance

English

en.concordance('Emma', lines=5)

Displaying 5 of 865 matches:
                                     Emma by Jane Austen 1816 ] VOLUME I CHAPT
                                     Emma Woodhouse , handsome , clever , and 
both daughters , but particularly of Emma . Between them it was more the int
 friend very mutually attached , and Emma doing just what she liked ; highly e
r own . The real evils , indeed , of Emma ' s situation were the power of havi

Korean (or, use konlpy.utils.concordance)

ko.concordance('초등학교')

Displaying 6 of 6 matches:
 ․ 김정훈 김학송 의원 ( 10 인 ) 제안 이유 및 주요 내용 초등학교 저학년 의 경우 에도 부모 의 따뜻한 사랑 과 보살핌 이 필요 한
 을 할 수 있는 자녀 의 나이 는 만 6 세 이하 로 되어 있어 초등학교 저학년 인 자녀 를 돌보기 위해서 는 해당 부모님 은 일자리 를 
 다 . 제 63 조제 2 항제 4 호 중 “ 만 6 세 이하 의 초등학교 취학 전 자녀 를 ” 을 “ 만 8 세 이하 ( 취학 중인 경우 
 전 자녀 를 ” 을 “ 만 8 세 이하 ( 취학 중인 경우 에는 초등학교 2 학년 이하 를 말한 다 ) 의 자녀 를 ” 로 한 다 . 부 
 . ∼ 3 . ( 현행 과 같 음 ) 4 . 만 6 세 이하 의 초등학교 취 4 . 만 8 세 이하 ( 취학 중인 경우 학 전 자녀 를 양
세 이하 ( 취학 중인 경우 학 전 자녀 를 양육 하기 위하 에는 초등학교 2 학년 이하 를 여 필요하거 나 여자 공무원 이 말한 다 ) 의

Find similar words

English

en.similar('Emma')
en.similar('Frank')

she it he i harriet you her jane him that me and all they them there herself was hartfield be
mr mrs emma harriet you it her she he him hartfield them jane that isabella all herself look i me

Korean

ko.similar('자녀')
ko.similar('육아휴직')

논의
None

Collocations

English

en.collocations()

Frank Churchill; Miss Woodhouse; Miss Bates; Jane Fairfax; Miss
Fairfax; every thing; young man; every body; great deal; dare say;
John Knightley; Maple Grove; Miss Smith; Miss Taylor; Robert Martin;
Colonel Campbell; Box Hill; said Emma; Harriet Smith; William Larkins

Korean

en.collocations()

초등학교 저학년; 육아휴직 대상

For more information on nltk.Text(), see the source code or API.

Tagging and chunking

Until now, we used delimited text, namely tokens, to explore our sample document. Now let's classify words into given classes, namely part-of-speech tags, and chunk text into larger pieces.

1. POS tagging

There are numerous ways of tagging a text. Among them, the most frequently used, and developed way of tagging is arguably POS tagging.

Since one document is too long to observe a parsed structure, lets use one short sentence for each language.

English

tokens = "The little yellow dog barked at the Persian cat".split()
tags_en = nltk.pos_tag(tokens)

[('The', 'DT'),
 ('little', 'JJ'),
 ('yellow', 'NN'),
 ('dog', 'NN'),
 ('barked', 'VBD'),
 ('at', 'IN'),
 ('the', 'DT'),
 ('Persian', 'NNP'),
 ('cat', 'NN')]

It is also possible to use the famous Stanford POS tagger with NLTK, with from nltk.tag.stanford import POSTagger

Korean

from konlpy.tag import Twitter; t = Twitter()
tags_ko = t.pos("작고 노란 강아지가 페르시안 고양이에게 짖었다")

[('작고', 'Noun'),
 ('노란', 'Adjective'),
 ('강아지', 'Noun'),
 ('가', 'Josa'),
 ('페르시안', 'Noun'),
 ('고양이', 'Noun'),
 ('에게', 'Josa'),
 ('짖었', 'Noun'),
 ('다', 'Josa')]

2. Noun phrase chunking

nltk.RegexpParser() is a great way to start chunking.

English

parser_en = nltk.RegexpParser("NP: {<DT>?<JJ>?<NN.*>*}")
chunks_en = parser_en.parse(tags_en)
chunks_en.draw()

Korean

parser_ko = nltk.RegexpParser("NP: {<Adjective>*<Noun>*}")
chunks_ko = parser_ko.parse(tags_ko)
chunks_ko.draw()

For more information on chunking, refer to Extracting Information from Text for English, and Chunking for Korean.

Topic modeling

Topic modeling in a nutshell
History
- LSI: Learns latent topics by performing a matrix decomposition (SVD) on the term-document matrix
- LDA: A generative probabilistic model, that assumes a Dirichelt prior over the latent topics
- HDP: A natural nonparametric generalization of LDA, where the number of topics can be unbounded ant learnt from data

1. Preprocessing

Load documents

English

from nltk.corpus import reuters
docs_en = [reuters.words(i) for i in reuters.fileids()]

Korean

from konlpy.corpus import kobill
docs_ko = [kobill.open(i).read() for i in kobill.fileids()]

Tokenize

English

texts_en = docs_en # because we loaded tokenized documents in step 1
print(texts_en[0])

['ASIAN', 'EXPORTERS', 'FEAR', 'DAMAGE', 'FROM', 'U', ...]

Korean

from konlpy.tag import Twitter; t = Twitter()
pos = lambda d: ['/'.join(p) for p in t.pos(d, stem=True, norm=True)]
texts_ko = [pos(doc) for doc in docs_ko]
print(texts_ko[0])

['지방공무원법/Noun', '일부/Noun', '개정/Noun', '법률/Noun', '안/Noun', '(/Punctuation', '정의화/Noun', '의원/Noun', ...]

Encode tokens to integers

English

from gensim import corpora
dictionary_en = corpora.Dictionary(texts_en)
dictionary_en.save('en.dict')  # save dictionary to file for future use

Korean

from gensim import corpora
dictionary_ko = corpora.Dictionary(texts_ko)
dictionary_ko.save('ko.dict')  # save dictionary to file for future use

Calculate TF-IDF

English

from gensim import models
tf_en = [dictionary_en.doc2bow(text) for text in texts_en]
tfidf_model_en = models.TfidfModel(tf_en)
tfidf_en = tfidf_model_en[tf_en]
corpora.MmCorpus.serialize('en.mm', tfidf_en) # save corpus to file for future use

# print first 10 elements of first document's tf-idf vector
print(tfidf_en.corpus[0][:10])
# print top 10 elements of first document's tf-idf vector
print(sorted(tfidf_en.corpus[0], key=lambda x: x[1], reverse=True)[:10])
# print token of most frequent element
print(dictionary_en.get(9))

[(0, 7), (1, 3), (2, 13), (3, 2), (4, 1), (5, 1), (6, 20), (7, 6), (8, 10), (9, 62)]
[(9, 62), (363, 32), (276, 30), (371, 26), (6, 20), (96, 19), (112, 19), (326, 16), (118, 14), (2, 13)]
'.'

Korean

from gensim import models
tf_ko = [dictionary_ko.doc2bow(text) for text in texts_ko]
tfidf_model_ko = models.TfidfModel(tf_ko)
tfidf_ko = tfidf_model_ko[tf_ko]
corpora.MmCorpus.serialize('ko.mm', tfidf_ko) # save corpus to file for future use

# print first 10 elements of first document's tf-idf vector
print(tfidf_ko.corpus[0][:10])
# print top 10 elements of first document's tf-idf vector
print(sorted(tfidf_ko.corpus[0], key=lambda x: x[1], reverse=True)[:10])
# print token of most frequent element
print(dictionary_ko.get(414))

[(0, 10), (1, 27), (2, 1), (3, 26), (4, 3), (5, 26), (6, 4), (7, 2), (8, 1), (9, 1)]
[(414, 71), (14, 61), (309, 38), (314, 38), (313, 28), (1, 27), (3, 26), (5, 26), (353, 22), (13, 21)]
'하다/Verb'

2. Train topic models

LSI

English

ntopics, nwords = 3, 5
lsi_en = models.lsimodel.LsiModel(tfidf_en, id2word=dictionary_en, num_topics=ntopics)
print(lsi_en.print_topics(num_topics=ntopics, num_words=nwords))

['0.509*"vs" + 0.272*"000" + 0.258*"cts" + 0.243*"loss" + 0.238*"mln"',
'-0.294*"the" + 0.237*"vs" + -0.176*"to" + -0.148*"in" + -0.137*"pct"',
'0.331*"Record" + 0.316*"div" + 0.312*"Pay" + 0.303*"Qtly" + 0.268*"prior"']

Korean

ntopics, nwords = 3, 5
lsi_ko = models.lsimodel.LsiModel(tfidf_ko, id2word=dictionary_ko, num_topics=ntopics)
print(lsi_ko.print_topics(num_topics=ntopics, num_words=nwords))

['0.518*"육아휴직/Noun" + 0.257*"만/Noun" + 0.227*"×/Foreign" + 0.214*"대체/Noun" + 0.201*"고용/Noun"',
 '0.449*"파견/Noun" + 0.412*"부대/Noun" + 0.267*"UAE/Alpha" + 0.243*"○/Foreign" + 0.192*"국군/Noun"',
 '0.326*"결혼/Noun" + 0.315*"예고/Noun" + 0.285*"손해/Noun" + 0.205*"ㆍ/Foreign" + 0.197*"원사/Noun"']

LDA

English

import numpy as np; np.random.seed(42)  # optional
lda_en = models.ldamodel.LdaModel(tfidf_en, id2word=dictionary_en, num_topics=ntopics)
print(lda_en.print_topics(num_topics=ntopics, num_words=nwords))

['0.005*the + 0.003*to + 0.003*pct + 0.002*of + 0.002*said',
 '0.005*cts + 0.005*Record + 0.005*div + 0.004*Pay + 0.004*Qtly',
 '0.010*vs + 0.006*mln + 0.006*000 + 0.005*loss + 0.004*cts']

Korean

import numpy as np; np.random.seed(42)  # optional
lda_ko = models.ldamodel.LdaModel(tfidf_ko, id2word=dictionary_ko, num_topics=ntopics)
print(lda_ko.print_topics(num_topics=ntopics, num_words=nwords))

['0.001*학위/Noun + 0.001*파견/Noun + 0.001*손해/Noun + 0.001*간호/Noun + 0.001*소말리아/Noun',
 '0.002*파견/Noun + 0.002*부대/Noun + 0.001*UAE/Alpha + 0.001*손해/Noun + 0.001*○/Foreign',
 '0.003*육아휴직/Noun + 0.002*만/Noun + 0.002*×/Foreign + 0.002*대체/Noun + 0.002*고용/Noun']

HDP

English

import numpy as np; np.random.seed(42)  # optional
hdp_en = models.hdpmodel.HdpModel(tfidf_en, id2word=dictionary_en)
print(hdp_en.print_topics(topics=ntopics, topn=nwords))

['topic 0: 0.005*the + 0.003*to + 0.002*in + 0.002*a + 0.002*of',
 'topic 1: 0.008*vs + 0.005*000 + 0.004*loss + 0.004*mln + 0.004*cts',
 'topic 2: 0.001*the + 0.001*vs + 0.001*in + 0.001*to + 0.001*mln']

Korean

import numpy as np; np.random.seed(42)  # optional
hdp_ko = models.hdpmodel.HdpModel(tfidf_ko, id2word=dictionary_ko)
print(hdp_ko.print_topics(topics=ntopics, topn=nwords))

['topic 0: 0.004*소집/Noun + 0.004*도/Josa + 0.004*’/Foreign + 0.004*｢/Foreign + 0.004*9892/Number',
 'topic 1: 0.004*이애주/Noun + 0.004*年/Foreign + 0.004*意思/Foreign + 0.004*마찰/Noun + 0.004*고 려/Noun',
 'topic 2: 0.005*명시/Noun + 0.004*영업정지/Noun + 0.004*세로/Noun + 0.004*중개업/Noun + 0.004*다양하다/Adjective']

3. Scoring documents

English

bow = tfidf_model_en[dictionary_en.doc2bow(texts_en[0])]
sorted(lsi_en[bow], key=lambda x: x[1], reverse=True)
sorted(lda_en[bow], key=lambda x: x[1], reverse=True)
sorted(hdp_en[bow], key=lambda x: x[1], reverse=True)

[(0, 0.1336800876240628),
 (2, -0.030832981664564624),
 (1, -0.39895210562646022)]
[(2, 0.84087091284115845),
 (0, 0.13882114432084294),
 (1, 0.020307942837998694)]
[(0, 0.95369717052959579)]

bow = tfidf_model_en[dictionary_en.doc2bow(texts_en[1])]
sorted(lsi_en[bow], key=lambda x: x[1], reverse=True)
sorted(lda_en[bow], key=lambda x: x[1], reverse=True)
sorted(hdp_en[bow], key=lambda x: x[1], reverse=True)

[(0, 0.072924758682943097),
 (2, -0.0029545572070390153),
 (1, -0.13195370933374836)]
[(0, 0.62957273636869904),
 (2, 0.3270007771486681),
 (1, 0.043426486482632851)]
[(0, 0.90574410236561731),
 (1, 0.010409702375525492)]

Korean

bow = tfidf_model_ko[dictionary_ko.doc2bow(texts_ko[0])]
sorted(lsi_ko[bow], key=lambda x: x[1], reverse=True)
sorted(lda_ko[bow], key=lambda x: x[1], reverse=True)
sorted(hdp_ko[bow], key=lambda x: x[1], reverse=True)

[(0, 0.97829017893328929),
 (1, -0.016909513239922121),
 (2, -0.020121561014425089)]
[(2, 0.93880436704581616),
 (0, 0.030626827732744354),
 (1, 0.030568805221439507)]
[(0, 0.94848723192042672),
 (1, 0.014364056233061516),
 (2, 0.010285449586192942)]

bow = tfidf_model_ko[dictionary_ko.doc2bow(texts_ko[1])]
sorted(lsi_ko[bow], key=lambda x: x[1], reverse=True)
sorted(lda_ko[bow], key=lambda x: x[1], reverse=True)
sorted(hdp_ko[bow], key=lambda x: x[1], reverse=True)

[(0, 0.97829017893328929),
 (1, -0.016909513239922121),
 (2, -0.020121561014425089)]
[(2, 0.93881674048370278),
 (0, 0.0306176131467021),
 (1, 0.030565646369595065)]
[(0, 0.94848723192042672),
 (1, 0.014364056233061516),
 (2, 0.010285449586192942)]

Confident with topic modeling? Try a bigger dataset: Experiments on the English Wikipedia

Word embedding

Objective: Learn feature vectors from documents
- Text is normally represented with one-hot encoding + hand crafted features
- Ex: [0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 ]
Word embedding: A set of feature unsupervised learning techniques where words are mapped to n-dimensional vectors of real numbers (the continuous space)
- Use local context to get a more syntactic or semantic representation
- Ex: v("cat") = [0.2, -0.4, ..., 0.7], v("mat") = [-0.0, -0.2, ..., -0.1]
Approaches
- Neural networks (Bengio et al., 2001, Mikolov et al., 2013)
- Dimensionality reduction (Lebret et al., 2013)

word2vec (Mikolov et al., 2013)

A neural network based embedding method for learning distributed vector representations of words
- No hidden layers!
"an optimized single-machine can train 100B+ words in one day"
CBOW & Skip-gram: Two ways of creating the "task" for the neural network
Characteristics
- Places similar words next to each other in a vector space
- Places similar relations in parallel (preserve linguistic regularities)
  - ex: France: Paris = Germany: Berlin != Italy: Madrid
- Linguistic regularities
  - v(KING) – v(MAN) + v(WOMAN) = v(QUEEN)
  - v(KINGS) – v(KING) + v(QUEEN) = v(QUEENS)
  - v(MADRID) – v(SPAIN) + v(FRANCE) = v(PARIS)
Applications
- Machine translation (Socher et al., 2013)
- Jointly embedding images and text (Frome et al., 2013, link)
Some good references to begin with in case you are interested:
- http://radimrehurek.com/2014/02/word2vec-tutorial/
- http://www.kaggle.com/c/word2vec-nlp-tutorial/details/part-1-for-beginners-bag-of-words

Let's go for it.

word2vec toy problem

Load documents

English

from nltk.corpus import reuters
docs_en = [reuters.words(i) for i in reuters.fileids()]

Korean

from konlpy.corpus import kobill
docs_ko = [kobill.open(i).read() for i in kobill.fileids()]

Tokenize

English

texts_en = docs_en # because we loaded tokenized documents in step 1

Korean

from konlpy.tag import Twitter; t = Twitter()
pos = lambda d: ['/'.join(p) for p in t.pos(d)]
texts_ko = [pos(doc) for doc in docs_ko]

Train

English

from gensim.models import word2vec
wv_model_en = word2vec.Word2Vec(texts_en)
wv_model_en.init_sims(replace=True)
wv_model_en.save('en_word2vec.model')

Korean

from gensim.models import word2vec
wv_model_ko = word2vec.Word2Vec(texts_ko)
wv_model_ko.init_sims(replace=True)
wv_model_ko.save('ko_word2vec.model')

Test

English

wv_model_en.most_similar('president')
wv_model_en.most_similar('secretary')
wv_model_en.most_similar('country')

[('chairman', 0.8655247688293457),
 ('vice', 0.8160154819488525),
 ('executive', 0.8094440698623657),
 ('officer', 0.7894954085350037),
 ('Kjell', 0.7766541838645935),
 ('former', 0.7680522203445435),
 ('chief', 0.7660256028175354),
 ('Robert', 0.7623487114906311),
 ('director', 0.7434573173522949),
 ('Roger', 0.7231118679046631)]
[('assistant', 0.8573123812675476),
 ('Carlos', 0.796258807182312),
 ('Daniel', 0.7900130748748779),
 ('undersecretary', 0.7888025045394897),
 ('representative', 0.7878221273422241),
 ('Deputy', 0.7847912311553955),
 ('NAWG', 0.7829214930534363),
 ('Republican', 0.7773356437683105),
 ('Greek', 0.7752739191055298),
 ('Papandreou', 0.7684933543205261)]
[('kingdom', 0.8003361225128174),
 ('biggest', 0.765742301940918),
 ('island', 0.7639101147651672),
 ('founding', 0.7143765687942505),
 ('nation', 0.7080289125442505),
 ('fortunes', 0.7054018974304199),
 ('strength', 0.6875098943710327),
 ('challenging', 0.6863174438476562),
 ('actions', 0.6835225820541382),
 ('departure', 0.6834459900856018)]

Korean

wv_model_ko.most_similar(pos('정부'))
wv_model_ko.most_similar(pos('초등학교'))

[('경비/Noun', 0.9357226490974426),
 ('선박/Noun', 0.9204540252685547),
 ('연장/Noun', 0.9183653593063354),
 ('임무/Noun', 0.9179578423500061),
 ('우리/Noun', 0.9015840291976929),
 ('목적/Noun', 0.8871368169784546),
 ('기타/Noun', 0.875058650970459),
 ('화/Suffix', 0.8669425249099731),
 ('해역/Noun', 0.8575668334960938),
 ('한국/Noun', 0.8549510836601257)]
[('취학/Noun', 0.9686248898506165),
 ('중인/Noun', 0.9336546659469604),
 ('하더/Verb', 0.8985729217529297),
 ('정의화/Noun', 0.8843945860862732),
 ('김정훈/Noun', 0.8682949542999268),
 ('지방/Noun', 0.8677719831466675),
 ('조정함/Verb', 0.8617256879806519),
 ('44/Number', 0.8445801734924316),
 ('세/Noun', 0.8318654298782349),
 ('第/Foreign', 0.8222816586494446)]

word2vec in the real world

Not enough? Let's see a real life example.

Data source: Naver News & Naver blog
Questions
Matching pairs: 그/Noun:남자/Noun = 그녀/Noun:?
Visualization

Mining English and Korean text with Python

2015-03-27T15:00:00+09:00

We use Python 3 in this tutorial, but provide minimal guidelines for Python 2.

Terminologies

English	한국어	Description
Document	문서	-
Corpus	말뭉치	A set of documents
Token	토큰	Meaningful elements in a text such as words or phrases or symbols
Morphemes	형태소	Smallest meaningful unit in a language
POS	품사	Part-of-speech (ex: Nouns)
Classification	분류	A supervised learning task where $X$ and $y$ are given and $y$ is a set of discrete classes
Clustering	군집화	An unsupervised learning task where $X$ is given

Text analysis process

Load text
Tokenize text (ex: stemming, morph analyzing)
Tag tokens (ex: POS, NER)
Token(Feature) selection and/or filter/rank tokens (ex: stopword removal, TF-IDF)
...and so on (ex: calculate word/document similarities, cluster documents)

Python Packages for Text Mining and NLP

...that we use in this tutorial.

NLTK: Provides modules for text analysis (mostly language independent)
```
pip install nltk
```
- Text corpora
```
nltk.download('gutenberg')
nltk.download('maxent_treebank_pos_tagger')
```
- Word POS, NER classification
- Document classification
KoNLPy: Provides modules for Korean text analysis
```
pip install konlpy
```
- Text corpora
- Word POS classification
  - Hannanum
  - Kkma
  - Mecab
  - Komoran
  - Twitter
Gensim: Provides modules for topic modeling and calculating similarities among documents
```
pip install -U gensim
```
- Topic modeling
- Word embedding
  - word2vec

Twython: Provides easy access to Twitter API

pip install twython

Example: Getting "Samsung (삼성)" related tweets

from twython import Twython
import settings as s    # Create a file named settings.py, and put oauth KEY values inside
twitter = Twython(s.APP_KEY, s.APP_SECRET, s.OAUTH_TOKEN, s.OAUTH_TOKEN_SECRET)
tweets = twitter.search(q='삼성', count=100)
data = [(t['user']['screen_name'], t['text'], t['created_at']) for t in tweets['statuses']]

Text exploration

1. Read document

English

from nltk.corpus import gutenberg   # Docs from project gutenberg.org
files_en = gutenberg.fileids()      # Get file ids
doc_en = gutenberg.open('austen-emma.txt').read()

Korean

from konlpy.corpus import kobill    # Docs from pokr.kr/bill
files_ko = kobill.fileids()         # Get file ids
doc_ko = kobill.open('1809890.txt').read()

2. Tokenize

There are numerous ways to tokenize a document.

Here, we use nltk.regexp_tokenize for English, konlpy.tag.Twitter.morph for Korean text.

English

from nltk import regexp_tokenize
pattern = r'''(?x) ([A-Z]\.)+ | \w+(-\w+)* | \$?\d+(\.\d+)?%? | \.\.\. | [][.,;"'?():-_`]'''
tokens_en = regexp_tokenize(doc_en, pattern)

Korean

from konlpy.tag import Twitter; t = Twitter()
tokens_ko = t.morphs(doc_ko)

3. Load tokens with `nltk.Text()`

English
```
import nltk
en = nltk.Text(tokens_en)
```

Korean

import nltk
ko = nltk.Text(tokens_ko, name='대한민국 국회 의안 제 1809890호')   # For Python 2, input `name` as u'유니코드'

Tokens

English

print(len(en.tokens))       # returns number of tokens (document length)
print(len(set(en.tokens)))  # returns number of unique tokens
en.vocab()                  # returns frequency distribution

191061
7927
FreqDist({',': 12018, '.': 8853, 'to': 5127, 'the': 4844, 'and': 4653, 'of': 4278, '"': 4187, 'I': 3177, 'a': 3000, 'was': 2385, ...})

Korean

print(len(ko.tokens))       # returns number of tokens (document length)
print(len(set(ko.tokens)))  # returns number of unique tokens
ko.vocab()                  # returns frequency distribution

1707
476
FreqDist({'.': 61, '의': 46, '육아휴직': 38, '을': 34, '(': 27, ',': 26, '이': 26, ')': 26, '에': 24, '자': 24, ...})

Plot frequency distributions

English

en.plot(50)     # Plot sorted frequency of top 50 tokens

Korean

ko.plot(50)     # Plot sorted frequency of top 50 tokens

Tip: To save a plot programmably, and not through the GUI, overwrite pylab.show with pylab.savefig before drawing the plot (reference):
from matplotlib import pylab
pylab.show = lambda: pylab.savefig('some_filename.png')
Troubleshooting: For those who see rectangles instead of letters in the saved plot file, include the following configurations before drawing the plot:
from matplotlib import font_manager, rc
font_fname = 'c:/windows/fonts/gulim.ttc'     # A font of your choice
font_name = font_manager.FontProperties(fname=font_fname).get_name()
rc('font', family=font_name)
Some example fonts:

Mac OS: /Library/Fonts/AppleGothic.ttf

Count

English

en.count('Emma')        # Counts occurrences

Korean

ko.count('초등학교')   # Counts occurrences

Dispersion plot

English

en.dispersion_plot(['Emma', 'Frank', 'Jane'])

Korean

ko.dispersion_plot(['육아휴직', '초등학교', '공무원'])

Concordance

English

en.concordance('Emma', lines=5)

Displaying 5 of 865 matches:
                                     Emma by Jane Austen 1816 ] VOLUME I CHAPT
                                     Emma Woodhouse , handsome , clever , and 
both daughters , but particularly of Emma . Between them it was more the int
 friend very mutually attached , and Emma doing just what she liked ; highly e
r own . The real evils , indeed , of Emma ' s situation were the power of havi

Korean (or, use konlpy.utils.concordance)

ko.concordance('초등학교')

Displaying 6 of 6 matches:
 ․ 김정훈 김학송 의원 ( 10 인 ) 제안 이유 및 주요 내용 초등학교 저학년 의 경우 에도 부모 의 따뜻한 사랑 과 보살핌 이 필요 한
 을 할 수 있는 자녀 의 나이 는 만 6 세 이하 로 되어 있어 초등학교 저학년 인 자녀 를 돌보기 위해서 는 해당 부모님 은 일자리 를 
 다 . 제 63 조제 2 항제 4 호 중 “ 만 6 세 이하 의 초등학교 취학 전 자녀 를 ” 을 “ 만 8 세 이하 ( 취학 중인 경우 
 전 자녀 를 ” 을 “ 만 8 세 이하 ( 취학 중인 경우 에는 초등학교 2 학년 이하 를 말한 다 ) 의 자녀 를 ” 로 한 다 . 부 
 . ∼ 3 . ( 현행 과 같 음 ) 4 . 만 6 세 이하 의 초등학교 취 4 . 만 8 세 이하 ( 취학 중인 경우 학 전 자녀 를 양
세 이하 ( 취학 중인 경우 학 전 자녀 를 양육 하기 위하 에는 초등학교 2 학년 이하 를 여 필요하거 나 여자 공무원 이 말한 다 ) 의

Find similar words

English

en.similar('Emma')
en.similar('Frank')

she it he i harriet you her jane him that me and all they them there herself was hartfield be
mr mrs emma harriet you it her she he him hartfield them jane that isabella all herself look i me

Korean

ko.similar('자녀')
ko.similar('육아휴직')

논의
None

Collocations

English

en.collocations()

Frank Churchill; Miss Woodhouse; Miss Bates; Jane Fairfax; Miss
Fairfax; every thing; young man; every body; great deal; dare say;
John Knightley; Maple Grove; Miss Smith; Miss Taylor; Robert Martin;
Colonel Campbell; Box Hill; said Emma; Harriet Smith; William Larkins

Korean

en.collocations()

초등학교 저학년; 육아휴직 대상

For more information on nltk.Text(), see the source code or API.

Tagging and chunking

Until now, we used delimited text, namely tokens, to explore our sample document. Now let's classify words into given classes, namely part-of-speech tags, and chunk text into larger pieces.

1. POS tagging

There are numerous ways of tagging a text. Among them, the most frequently used, and developed way of tagging is arguably POS tagging.

Since one document is too long to observe a parsed structure, lets use one short sentence for each language.

English

tokens = "The little yellow dog barked at the Persian cat".split()
tags_en = nltk.pos_tag(tokens)

[('The', 'DT'),
 ('little', 'JJ'),
 ('yellow', 'NN'),
 ('dog', 'NN'),
 ('barked', 'VBD'),
 ('at', 'IN'),
 ('the', 'DT'),
 ('Persian', 'NNP'),
 ('cat', 'NN')]

It is also possible to use the famous Stanford POS tagger with NLTK, with from nltk.tag.stanford import POSTagger

Korean

from konlpy.tag import Twitter; t = Twitter()
tags_ko = t.pos("작고 노란 강아지가 페르시안 고양이에게 짖었다")

[('작고', 'Noun'),
 ('노란', 'Adjective'),
 ('강아지', 'Noun'),
 ('가', 'Josa'),
 ('페르시안', 'Noun'),
 ('고양이', 'Noun'),
 ('에게', 'Josa'),
 ('짖었', 'Noun'),
 ('다', 'Josa')]

2. Noun phrase chunking

nltk.RegexpParser() is a great way to start chunking.

English

parser_en = nltk.RegexpParser("NP: {<DT>?<JJ>?<NN.*>*}")
chunks_en = parser_en.parse(tags_en)
chunks_en.draw()

Korean

parser_ko = nltk.RegexpParser("NP: {<Adjective>*<Noun>*}")
chunks_ko = parser_ko.parse(tags_ko)
chunks_ko.draw()

For more information on chunking, refer to Extracting Information from Text for English, and Chunking for Korean.

Topic modeling

Topic modeling in a nutshell
History
- LSI: Learns latent topics by performing a matrix decomposition (SVD) on the term-document matrix
- LDA: A generative probabilistic model, that assumes a Dirichelt prior over the latent topics
- HDP: A natural nonparametric generalization of LDA, where the number of topics can be unbounded ant learnt from data

1. Preprocessing

Load documents

English

from nltk.corpus import reuters
docs_en = [reuters.words(i) for i in reuters.fileids()]

Korean

from konlpy.corpus import kobill
docs_ko = [kobill.open(i).read() for i in kobill.fileids()]

Tokenize

English

texts_en = docs_en # because we loaded tokenized documents in step 1
print(texts_en[0])

['ASIAN', 'EXPORTERS', 'FEAR', 'DAMAGE', 'FROM', 'U', ...]

Korean

from konlpy.tag import Twitter; t = Twitter()
pos = lambda d: ['/'.join(p) for p in t.pos(d, stem=True, norm=True)]
texts_ko = [pos(doc) for doc in docs_ko]
print(texts_ko[0])

['지방공무원법/Noun', '일부/Noun', '개정/Noun', '법률/Noun', '안/Noun', '(/Punctuation', '정의화/Noun', '의원/Noun', ...]

Encode tokens to integers

English

from gensim import corpora
dictionary_en = corpora.Dictionary(texts_en)
dictionary_en.save('en.dict')  # save dictionary to file for future use

Korean

from gensim import corpora
dictionary_ko = corpora.Dictionary(texts_ko)
dictionary_ko.save('ko.dict')  # save dictionary to file for future use

Calculate TF-IDF

English

from gensim import models
tf_en = [dictionary_en.doc2bow(text) for text in texts_en]
tfidf_model_en = models.TfidfModel(tf_en)
tfidf_en = tfidf_model_en[tf_en]
corpora.MmCorpus.serialize('en.mm', tfidf_en) # save corpus to file for future use

# print first 10 elements of first document's tf-idf vector
print(tfidf_en.corpus[0][:10])
# print top 10 elements of first document's tf-idf vector
print(sorted(tfidf_en.corpus[0], key=lambda x: x[1], reverse=True)[:10])
# print token of most frequent element
print(dictionary_en.get(9))

[(0, 7), (1, 3), (2, 13), (3, 2), (4, 1), (5, 1), (6, 20), (7, 6), (8, 10), (9, 62)]
[(9, 62), (363, 32), (276, 30), (371, 26), (6, 20), (96, 19), (112, 19), (326, 16), (118, 14), (2, 13)]
'.'

Korean

from gensim import models
tf_ko = [dictionary_ko.doc2bow(text) for text in texts_ko]
tfidf_model_ko = models.TfidfModel(tf_ko)
tfidf_ko = tfidf_model_ko[tf_ko]
corpora.MmCorpus.serialize('ko.mm', tfidf_ko) # save corpus to file for future use

# print first 10 elements of first document's tf-idf vector
print(tfidf_ko.corpus[0][:10])
# print top 10 elements of first document's tf-idf vector
print(sorted(tfidf_ko.corpus[0], key=lambda x: x[1], reverse=True)[:10])
# print token of most frequent element
print(dictionary_ko.get(414))

[(0, 10), (1, 27), (2, 1), (3, 26), (4, 3), (5, 26), (6, 4), (7, 2), (8, 1), (9, 1)]
[(414, 71), (14, 61), (309, 38), (314, 38), (313, 28), (1, 27), (3, 26), (5, 26), (353, 22), (13, 21)]
'하다/Verb'

2. Train topic models

LSI

English

ntopics, nwords = 3, 5
lsi_en = models.lsimodel.LsiModel(tfidf_en, id2word=dictionary_en, num_topics=ntopics)
print(lsi_en.print_topics(num_topics=ntopics, num_words=nwords))

['0.509*"vs" + 0.272*"000" + 0.258*"cts" + 0.243*"loss" + 0.238*"mln"',
'-0.294*"the" + 0.237*"vs" + -0.176*"to" + -0.148*"in" + -0.137*"pct"',
'0.331*"Record" + 0.316*"div" + 0.312*"Pay" + 0.303*"Qtly" + 0.268*"prior"']

Korean

ntopics, nwords = 3, 5
lsi_ko = models.lsimodel.LsiModel(tfidf_ko, id2word=dictionary_ko, num_topics=ntopics)
print(lsi_ko.print_topics(num_topics=ntopics, num_words=nwords))

['0.518*"육아휴직/Noun" + 0.257*"만/Noun" + 0.227*"×/Foreign" + 0.214*"대체/Noun" + 0.201*"고용/Noun"',
 '0.449*"파견/Noun" + 0.412*"부대/Noun" + 0.267*"UAE/Alpha" + 0.243*"○/Foreign" + 0.192*"국군/Noun"',
 '0.326*"결혼/Noun" + 0.315*"예고/Noun" + 0.285*"손해/Noun" + 0.205*"ㆍ/Foreign" + 0.197*"원사/Noun"']

LDA

English

import numpy as np; np.random.seed(42)  # optional
lda_en = models.ldamodel.LdaModel(tfidf_en, id2word=dictionary_en, num_topics=ntopics)
print(lda_en.print_topics(num_topics=ntopics, num_words=nwords))

['0.005*the + 0.003*to + 0.003*pct + 0.002*of + 0.002*said',
 '0.005*cts + 0.005*Record + 0.005*div + 0.004*Pay + 0.004*Qtly',
 '0.010*vs + 0.006*mln + 0.006*000 + 0.005*loss + 0.004*cts']

Korean

import numpy as np; np.random.seed(42)  # optional
lda_ko = models.ldamodel.LdaModel(tfidf_ko, id2word=dictionary_ko, num_topics=ntopics)
print(lda_ko.print_topics(num_topics=ntopics, num_words=nwords))

['0.001*학위/Noun + 0.001*파견/Noun + 0.001*손해/Noun + 0.001*간호/Noun + 0.001*소말리아/Noun',
 '0.002*파견/Noun + 0.002*부대/Noun + 0.001*UAE/Alpha + 0.001*손해/Noun + 0.001*○/Foreign',
 '0.003*육아휴직/Noun + 0.002*만/Noun + 0.002*×/Foreign + 0.002*대체/Noun + 0.002*고용/Noun']

HDP

English

import numpy as np; np.random.seed(42)  # optional
hdp_en = models.hdpmodel.HdpModel(tfidf_en, id2word=dictionary_en)
print(hdp_en.print_topics(topics=ntopics, topn=nwords))

['topic 0: 0.005*the + 0.003*to + 0.002*in + 0.002*a + 0.002*of',
 'topic 1: 0.008*vs + 0.005*000 + 0.004*loss + 0.004*mln + 0.004*cts',
 'topic 2: 0.001*the + 0.001*vs + 0.001*in + 0.001*to + 0.001*mln']

Korean

import numpy as np; np.random.seed(42)  # optional
hdp_ko = models.hdpmodel.HdpModel(tfidf_ko, id2word=dictionary_ko)
print(hdp_ko.print_topics(topics=ntopics, topn=nwords))

['topic 0: 0.004*소집/Noun + 0.004*도/Josa + 0.004*’/Foreign + 0.004*｢/Foreign + 0.004*9892/Number',
 'topic 1: 0.004*이애주/Noun + 0.004*年/Foreign + 0.004*意思/Foreign + 0.004*마찰/Noun + 0.004*고 려/Noun',
 'topic 2: 0.005*명시/Noun + 0.004*영업정지/Noun + 0.004*세로/Noun + 0.004*중개업/Noun + 0.004*다양하다/Adjective']

3. Scoring documents

English

bow = tfidf_model_en[dictionary_en.doc2bow(texts_en[0])]
sorted(lsi_en[bow], key=lambda x: x[1], reverse=True)
sorted(lda_en[bow], key=lambda x: x[1], reverse=True)
sorted(hdp_en[bow], key=lambda x: x[1], reverse=True)

[(0, 0.1336800876240628),
 (2, -0.030832981664564624),
 (1, -0.39895210562646022)]
[(2, 0.84087091284115845),
 (0, 0.13882114432084294),
 (1, 0.020307942837998694)]
[(0, 0.95369717052959579)]

bow = tfidf_model_en[dictionary_en.doc2bow(texts_en[1])]
sorted(lsi_en[bow], key=lambda x: x[1], reverse=True)
sorted(lda_en[bow], key=lambda x: x[1], reverse=True)
sorted(hdp_en[bow], key=lambda x: x[1], reverse=True)

[(0, 0.072924758682943097),
 (2, -0.0029545572070390153),
 (1, -0.13195370933374836)]
[(0, 0.62957273636869904),
 (2, 0.3270007771486681),
 (1, 0.043426486482632851)]
[(0, 0.90574410236561731),
 (1, 0.010409702375525492)]

Korean

bow = tfidf_model_ko[dictionary_ko.doc2bow(texts_ko[0])]
sorted(lsi_ko[bow], key=lambda x: x[1], reverse=True)
sorted(lda_ko[bow], key=lambda x: x[1], reverse=True)
sorted(hdp_ko[bow], key=lambda x: x[1], reverse=True)

[(0, 0.97829017893328929),
 (1, -0.016909513239922121),
 (2, -0.020121561014425089)]
[(2, 0.93880436704581616),
 (0, 0.030626827732744354),
 (1, 0.030568805221439507)]
[(0, 0.94848723192042672),
 (1, 0.014364056233061516),
 (2, 0.010285449586192942)]

bow = tfidf_model_ko[dictionary_ko.doc2bow(texts_ko[1])]
sorted(lsi_ko[bow], key=lambda x: x[1], reverse=True)
sorted(lda_ko[bow], key=lambda x: x[1], reverse=True)
sorted(hdp_ko[bow], key=lambda x: x[1], reverse=True)

[(0, 0.97829017893328929),
 (1, -0.016909513239922121),
 (2, -0.020121561014425089)]
[(2, 0.93881674048370278),
 (0, 0.0306176131467021),
 (1, 0.030565646369595065)]
[(0, 0.94848723192042672),
 (1, 0.014364056233061516),
 (2, 0.010285449586192942)]

Confident with topic modeling? Try a bigger dataset: Experiments on the English Wikipedia

Word embedding

Objective: Learn feature vectors from documents
- Text is normally represented with one-hot encoding + hand crafted features
- Ex: [0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 ]
Word embedding: A set of feature unsupervised learning techniques where words are mapped to n-dimensional vectors of real numbers (the continuous space)
- Use local context to get a more syntactic or semantic representation
- Ex: v("cat") = [0.2, -0.4, ..., 0.7], v("mat") = [-0.0, -0.2, ..., -0.1]
Approaches
- Neural networks (Bengio et al., 2001, Mikolov et al., 2013)
- Dimensionality reduction (Lebret et al., 2013)

word2vec (Mikolov et al., 2013)

A neural network based embedding method for learning distributed vector representations of words
- No hidden layers!
"an optimized single-machine can train 100B+ words in one day"
CBOW & Skip-gram: Two ways of creating the "task" for the neural network
Characteristics
- Places similar words next to each other in a vector space
- Places similar relations in parallel (preserve linguistic regularities)
  - ex: France: Paris = Germany: Berlin != Italy: Madrid
- Linguistic regularities
  - v(KING) – v(MAN) + v(WOMAN) = v(QUEEN)
  - v(KINGS) – v(KING) + v(QUEEN) = v(QUEENS)
  - v(MADRID) – v(SPAIN) + v(FRANCE) = v(PARIS)
Applications
- Machine translation (Socher et al., 2013)
- Jointly embedding images and text (Frome et al., 2013, link)
Some good references to begin with in case you are interested:
- http://radimrehurek.com/2014/02/word2vec-tutorial/
- http://www.kaggle.com/c/word2vec-nlp-tutorial/details/part-1-for-beginners-bag-of-words

Let's go for it.

word2vec toy problem

Load documents

English

from nltk.corpus import reuters
docs_en = [reuters.words(i) for i in reuters.fileids()]

Korean

from konlpy.corpus import kobill
docs_ko = [kobill.open(i).read() for i in kobill.fileids()]

Tokenize

English

texts_en = docs_en # because we loaded tokenized documents in step 1

Korean

from konlpy.tag import Twitter; t = Twitter()
pos = lambda d: ['/'.join(p) for p in t.pos(d)]
texts_ko = [pos(doc) for doc in docs_ko]

Train

English

from gensim.models import word2vec
wv_model_en = word2vec.Word2Vec(texts_en)
wv_model_en.init_sims(replace=True)
wv_model_en.save('en_word2vec.model')

Korean

from gensim.models import word2vec
wv_model_ko = word2vec.Word2Vec(texts_ko)
wv_model_ko.init_sims(replace=True)
wv_model_ko.save('ko_word2vec.model')

Test

English

wv_model_en.most_similar('president')
wv_model_en.most_similar('secretary')
wv_model_en.most_similar('country')

[('chairman', 0.8655247688293457),
 ('vice', 0.8160154819488525),
 ('executive', 0.8094440698623657),
 ('officer', 0.7894954085350037),
 ('Kjell', 0.7766541838645935),
 ('former', 0.7680522203445435),
 ('chief', 0.7660256028175354),
 ('Robert', 0.7623487114906311),
 ('director', 0.7434573173522949),
 ('Roger', 0.7231118679046631)]
[('assistant', 0.8573123812675476),
 ('Carlos', 0.796258807182312),
 ('Daniel', 0.7900130748748779),
 ('undersecretary', 0.7888025045394897),
 ('representative', 0.7878221273422241),
 ('Deputy', 0.7847912311553955),
 ('NAWG', 0.7829214930534363),
 ('Republican', 0.7773356437683105),
 ('Greek', 0.7752739191055298),
 ('Papandreou', 0.7684933543205261)]
[('kingdom', 0.8003361225128174),
 ('biggest', 0.765742301940918),
 ('island', 0.7639101147651672),
 ('founding', 0.7143765687942505),
 ('nation', 0.7080289125442505),
 ('fortunes', 0.7054018974304199),
 ('strength', 0.6875098943710327),
 ('challenging', 0.6863174438476562),
 ('actions', 0.6835225820541382),
 ('departure', 0.6834459900856018)]

Korean

wv_model_ko.most_similar(pos('정부'))
wv_model_ko.most_similar(pos('초등학교'))

[('경비/Noun', 0.9357226490974426),
 ('선박/Noun', 0.9204540252685547),
 ('연장/Noun', 0.9183653593063354),
 ('임무/Noun', 0.9179578423500061),
 ('우리/Noun', 0.9015840291976929),
 ('목적/Noun', 0.8871368169784546),
 ('기타/Noun', 0.875058650970459),
 ('화/Suffix', 0.8669425249099731),
 ('해역/Noun', 0.8575668334960938),
 ('한국/Noun', 0.8549510836601257)]
[('취학/Noun', 0.9686248898506165),
 ('중인/Noun', 0.9336546659469604),
 ('하더/Verb', 0.8985729217529297),
 ('정의화/Noun', 0.8843945860862732),
 ('김정훈/Noun', 0.8682949542999268),
 ('지방/Noun', 0.8677719831466675),
 ('조정함/Verb', 0.8617256879806519),
 ('44/Number', 0.8445801734924316),
 ('세/Noun', 0.8318654298782349),
 ('第/Foreign', 0.8222816586494446)]

word2vec in the real world

Not enough? Let's see a real life example.

Data source: Naver News & Naver blog
Questions
Matching pairs: 그/Noun:남자/Noun = 그녀/Noun:?
Visualization

Scraping from the Web

2015-03-20T15:00:00+09:00

Choose a target of your choice:

Target 1: Naver 부동산
Target 2: IMDB
Target 3: TED.com

Method 1: ctrl + c / ctrl + v

Method 2: Google spreadsheet

Method 3: import.io (or some other scraping service)

Method 4: Being the programmer

Let's try programming a crawler ourselves.

1. Identify Web page URL

First find a Web page where you can find item lists
Let's understand the URL (cf. Online URL decoder/encoder)
It is best to find a page where the URL is has an iterable parameter (ex: page numbers, item IDs)
- TED.com talks: http://www.ted.com/talks?page=1
  - page is iterable from 1 to 54
- Amazon.com TVs: http://www.amazon.com/s/?rh=n:172282,n:!493964,n:1266092011,n:172659&page=1
  - page is iterable from 1 to 143
Set the variables npages, url_base, and also a file_base to name download files. Normally, you want to set npages to a smaller number (ex: 3), rather than the actuall value (i.e., 54) to test the code before actually executing it.
```
npages = 54
url_base = 'http://www.ted.com/talks?page=%s'
file_base = 'ted_talks_%s.html'
```

2. Download Web pages

First define a function named save_text

def save_text(text, filename):
    with open(filename, 'w') as f:
        f.write(text)

Then using the list URL found on step 1, download list pages. We will use the package requests for this task

import requests
for page_num in range(1, npages+1):
    print(page_num)
    r = requests.get(url_base % page_num)
    save_text(r.text, file_base % page_num)

Check whether the pages have downloaded succesfully

3. Parse downloaded Web pages

Before we go any further, let's recall how an html document looks like. Take a look at one of the downloaded html docs as well.

<!DOCTYPE html>
<html>
<head>
    <meta charset="utf-8">
    <link rel="stylesheet" href="...">
    <script type="text/javascript" src="...">
</head>
<body>
    <!-- This is a comment -->
    ... and this is where the visible contents go ...
</body>
</html>

Now, let's set the page_num to 1 for detailed investigation, rather than creating a for loop for all pages
```
page_num = 1
```
For parsing, we'll be using lxml.html. Many people also use regex. There are various many other options (ex: bs4), so feel free to Google them up.
```
from lxml import html
root = html.parse(file_base % page_num)
```
With root, we can easily parse a given text using xpaths, just by identifying the tag, class, or id of an html element. Why don't we try extracting all the text from the <body> tag? Try this:
```
print(root.xpath('//body//text()'))
```

Cool, huh? Now, let's think of what we want to extract from our downloaded html, and picture what we want as a result. From our html page, we probably want to extract the title, speaker, view count, date, and url of all TED talks, resulting in a spreadsheet format as follows:

title	speaker	views	date	url
The price of shame	Monica Lewinsky	83K	Mar 2015	http://...
What if 3D printing was 100x faster?	Joseph DeSimone	212K	Mar 2015	http://...
Can we create new senses for humans?	David Eagleman	215K	Mar 2015	http://...
The good news about PMS	Robyn Stein DeLuca	248K	Mar 2015	http://...
...	...	...	...	...

So, in order to find what tag, class, or id we need to exact such elements, let's go back to www.ted.com/talks?page=1, right click, and "Inspect Element"s.
By navigating with the DOM, we can see that the div tag with id=browse-results contains all the talk items in div tags with class=col, each containing a talk item. (When identifying and html element, using id is better than using a class, because normally ids are unique within a html page.)

Now, let's use xpath to get the talk items.

items = root.xpath('//div[@id="browse-results"]//div[@class="col"]')
print(len(items))   # returns 36, the number of talk items in the page

Dig into one of the <div class="col">s, to further investigate the identifiers of talk information.

Choose one item and extract relevant data.

item = items[0]
print(item.xpath('.//h4[@class="h12 talk-link__speaker"]/text()'))
print(item.xpath('.//h4[@class="h9 m5"]/a/text()'))
print(item.xpath('.//h4[@class="h9 m5"]/a/@href'))
print(item.xpath('.//span[@class="meta__val"]/text()'))

All the items are contained in a list, and it would be better if we could strip the new lines(\n) from the strings. Additionally, rather than handling each info separately, let's put the extracted info into one dictionary, and make that a function named parse_item().

def parse_item(item):
    return {
        'speaker': item.xpath('.//h4[@class="h12 talk-link__speaker"]/text()')[0],
        'title': item.xpath('.//h4[@class="h9 m5"]/a/text()')[0].strip('\n'),
        'href': item.xpath('.//h4[@class="h9 m5"]/a/@href')[0],
        'views': item.xpath('.//span[@class="meta__val"]/text()')[0].split('\n')[1],
        'date': item.xpath('.//span[@class="meta__val"]/text()')[1].strip('\n')
    }

Perfect. Now let's iterate through the items on page 1.

data = []
for item in items:
    d = parse_item(item)
    data.append(d)
print(len(data))    # returns 36

Great. Now we're ready to iterate through all 54 web pages.

data = []
for page_num in range(1, npages+1):

root = html.parse(file_base % page_num)
items = root.xpath('//div[@id="browse-results"]//div[@class="col"]')
for item in items:
    d = parse_item(item)
    data.append(d)
print(len(data))    # returns 1943 or a similar number

4. Save the parsed data to file

We currently have our data in a dictionary format.
Normally, it's enough to save this data directly into a json file.
```
import json
with open('data.json', 'w') as f:
    json.dump(data, f)
```
- JSONView is a nice way to pretty print your json.

However, sometimes it's better to convert this data into a spreadsheet. If so, try this:

import csv
with open('data.csv', 'w') as f:
    writer = csv.DictWriter(f, fieldnames=data[0].keys())
    writer.writeheader()
    writer.writerows(data)

5. What's next?

You can see a refactored, cleaner code of the crawler above here. Try to understand the syntax yourself.
Furthermore, you can traverse into the individual talk urls you have just acquired from the list pages.
Concurrent crawling may come of use. Consult this presentation material.
Try crawling some other website of interest.
If you already have enough data to crunch, go ahead and crunch 'em!

References

Below are some Web crawler examples. Most are for Python 2, so be careful.

Logistic regression

2015-03-20T09:00:00+09:00

오늘의 목표

MLR의 블랙박스 열어보기
로지스틱 회귀모형 개념 익히고 실제로 구현하기

Multiple linear regression (revisited)

지난 시간에 우리는 MLR(multiple linear regression)에 대해 배우고 파이썬으로 실제 데이터에 대해 모델을 구축해보았다
MLR은 실제로 기술 모델링, 설명 모델링 모두를 위해 인기있는 방법론이니 잘 알아두면 좋다.
그런데 우리 컴퓨터는 MLR을 어떻게 학습했을까? (i.e., 파라미터 $b_j$들을 어떻게 추정했을까?)
이번 시간에는 MLR의 블랙박스(black box) 안에 무엇이 있는지를 보자.
Multiple linear regression? Fit a linear relationship between a quantitative dependent variable $y$ and a set of independent variables $x_1, x_2, ..., x_m$

$$y = b_0 + b_1x_1 + b_2x_2 + ... + b_mx_m + \epsilon$$
- $y$: output variable / dependent variable
- $x_j$: $j$th input variable / independent variable
- $b_j$: parameters / coefficients
- $m$: Number of input variables/features
- $\epsilon$: Observation noise
ex: 33명 성인 여성의 나이와 수축혈압(SBP, systolic blood pressure)

Age SBP
22 131
23 128
24 116
27 106
data link

Age	SBP
22	131
23	128
24	116
27	106
data link

OLS(ordinary least squares) for parameter estimation

MLR의 파라미터 $b_j$들을 추정하기 위해서는 OLS를 사용한다
- 정답과의 오차를 최소화한다는 의미
Formulation (단순화하기 위해 $b_0, b_1$만 고려해보자)
- Hypothesis: $h(x) = b_0 + b_1x_1$
- Parameters: $b_0, b_1$
- Cost function: $J(b_0, b_1) = \frac{1}{2n}\sum_{i=1}^{n}(h(x_1^{(i)}) - y^{(i)})^2$
  - The equation above is called the MSE(mean squared error, 오차의 제곱의 평균)
  - MSE 말고도 평균 오차(mean error), MAE, MAPE, RMSE 등을 사용할 수도 있다
    - Mean error: $\frac{1}{n}\sum_{i=1}^{n} (h(x_1^{(i)}) - y^{(i)})$
    - Mean absolute error (MAE): $\frac{1}{n}\sum_{i=1}^{n} |h(x_1^{(i)}) - y^{(i)}|$
    - Mean absolute percentage error (MAPE): $100 \times \frac{1}{n}\sum_{i=1}^{n} |\frac{h(x_1^{(i)}) - y^{(i)}}{y^{(i)}}|$
    - Root mean squared error (RMSE): $\sqrt{\frac{1}{2n}\sum_{i=1}^{n}(h(x_1^{(i)}) - y^{(i)})^2}$
  - 이 값은 작을수록 좋음. 즉, 좋은 MSE가 되게 하는 모델이 좋은 모델
  - 바꿔말하면 좋은 모델을 만들기 위해서는 작은 MSE가 되게 하면 됨
- Goal: $arg \min J(b_0, b_1, ..., b_m)$
  - 즉, 비용 $J$를 최소화하는 $b_j (j=0, 1, ..., m)$를 찾자
Solution
- Numerical solution: Gradient descent
  - Local minimum을 찾기 위한 방법론
- Analytical solution: Normal equation
  - Let $y = X\beta$, then $$\beta = (X^TX)^{-1}X^Ty$$

Logistic regression

ex: 33명 성인 여성의 나이와 심장동맥병(CD, coronary heart disease) 발병 여부
- CD==1: positive class (normally the minority class, 예측 대상, ex: 불량, 발병, 스팸 등)
- CD==0: negative class (normally the majority class)
  
  Age CD
  22 0
  23 0
  24 0
  27 0
  data link
- 위와 같이 일반적인 linear regression 알고리즘을 fitting한 후 $h(x) = ax+b$에 대해 다음과 같은 모델을 추가할 수 있다
  - if $h(x) \geq 0.5$, then $\hat{y}=1$
  - if $h(x) \lt 0.5$, then $\hat{y}=0$
- 하지만 이 방법은 두 가지 측면에서 적절하지 않다.
  1. Outlier에 robust하지 못하다. 가령 나이가 1세이고 CD==0인 단 한 개의 점이 training set에 추가된다면 모델은 어떻게 바뀔까?
  2. 실제로 $y$값은 0, 1의 두 가지 값밖에 가지지 못함에도 불구하고, $-\infty < h(x) < \infty$ 여서 $h(x)$가 0과 1 사이의 값 뿐 아니라 1보다 크거나 0보다 작은 값도 가질 수 있게 된다. (이 때, 분류 오차도 엄청 커질 수 있다)
Logistic Regression? Fit a linear relationship between a categorical dependent variable $y$ and a set of independent variables $x_1,x_2,...,x_m$
- 주의: 이름에 등장하는 "regression"이라는 표현과는 달리 logisitic regression은 분류 문제를 풀기 위한 알고리즘!
- logistic regression = logit regression == maximum-entropy classification (MaxEnt) == log-linear classifier
목표: $0 \leq h(x) \leq 1$가 되는 $h(x)$를 만들어보자.
- $h(x) = g(b_0 + b_1x_1 + ... + b_mx_m)$: Multiple linear regression에 함수 $g(x)$를 씌운 꼴
- where $g(z) = \frac{1}{1+e^{-z}}$ ("logistic function" or "sigmoid function")

Age	CD
22	0
23	0
24	0
27	0
data link

MLE(maximum likelihood estimation) for parameter estimation

MLE를 알기 위해서는 먼저 likelihood의 개념을 아는 것이 중요하다.
likelihood의 개념을 알기 위해서는 Bayesian 통계를 아는 것이 중요하다.
- $p(x \vert y)$: 사후확률(posterior)
- $p(y \vert x)$: 우도(likelihood)
- $p(x)$: 사전확률(prior)
- $p(y)$: 증거(evidence)

$$p(x|y) = \frac{p(y|x)p(x)}{p(y)}$$

이 likelihood $p(y|x)$에 log를 씌우면 log likelihood가 되고 logistic regression에서는 log likelihood를 $w$에 대해 편미분하여 최대화하는 방식으로 파라미터를 구한다.

$$L(w) = \sum_{i=1}^{n} \log{p(y|x)} = \sum \log{g(x, w)^{y}} + (1-g(x, w))^{1-y}$$

where $g(x, w) = \frac{1}{1+\exp{-wx}}$

마지막으로 gradient decent를 사용하며 update rule은 $w \leftarrow w + \nu \sum(y-g(x,w))x$이다.
식 유도 과정은 이 문서 참고

[Programming] Logistic regression with scikit-learn

먼저 시작하기 전에 터미널 프로그래밍을 위한 몇 가지 tip

1. Data acquisition

오늘도 지난 시간처럼 데이터 파일을 직접 구해서 로딩하기보다는 편의를 위해 scikit-learn 패키지를 이용해보자.
- 단, 이번에는 원래 scikit-learn 패키지에 포함되어 있는 데이터가 아니라 scikit-learn의 datasets.fetch_mldata() 메소드를 이용해서 mldata.org에 있는 데이터셋을 받아올 것이다.
- 그 밖에도 scikit-learn을 통해 접근하거나 다운로드 받을 수 있는 데이터셋에 관해서는 이 링크를 참고하자.
이번에 우리가 사용할 데이터셋은 머신러닝계에서 아주 유명한 MNIST 데이터이다.
- 이 데이터셋은 너비 28픽셀, 높이 28픽셀로 된 숫자 필기 이미지 70,000장에 대한 데이터이다.
- 오늘 풀어볼 문제는, "임의의 숫자 필기 이미지를 입력받았을 때 컴퓨터가 어떤 숫자에 대한 이미지인지 알게 할 수 있는가?" 즉, 필기 인식이다.
- 사실은 사람들도 꾸준한 "학습(learning)"을 통해 생성된 "분류기"를 이용해 숫자를 분류한다.
이제 데이터를 다운로드 받아보자. datasets.fetch_mldata() 메소드에 우리가 받고 싶은 데이터의 이름 'MNIST original'를 명시한 후, 데이터를 저장할 곳 data_home을 현재 디렉토리(.)로 정해주면 데이터가 다운로드 된 후 바로 변수 d로 로드(load)된다.
```
from sklearn import datasets
d = datasets.fetch_mldata('MNIST original', data_home='.')
```
- data_home은 얼마든지 다른 디렉토리로 지정해줘도 된다.
- 한번 데이터를 다운받고 나서 같은 명령어를 재실행하면 다운로드 없이 바로 데이터가 로드된다.
- 이번에도 변수 d는 dictionary 형태로 되어 있으며, 지난 시간에 살펴보았던 당뇨병(diabetes) 데이터셋과 마찬가지로 dictionary를 구성하는 key, value 중 'data', 'target'라는 key를 비롯하여 'COL_NAMES', 'DESCR' 등의 key도 있다. (이 key들이 어떤 value를 담고 있는지 궁금하다면 출력해보자.)
여기서는 곧바로 당뇨병 데이터와 마찬가지로 'data' key의 value를 X에, 'target' key의 value를 y라는 변수에 저장하고,
```
print(d.keys())     # python shell에서 실행하는 경우 `print()`는 필요없음
X = d['data']
y = d['target']
```
X, y의 차원(dimension)을 확인해보자.
```
print(type(X), type(y)) # check data type of variable X, y
print(X.shape, y.shape) # returns (70000, 784) (70000,)
```
- 출력된 결과를 보니 X에는 70,000개의 record(row)와 784개의 attribute(column, variable)가 있고, y는 70,000개의 record로 구성된 1차원 데이터라고 한다.
- 또, 넘어가기 전에 X의 record수와 y의 record 수가 일치하고 y는 1차원임을 반드시 확인하고 넘어가자. 위의 두 가지 사항이 맞지 않는다면 꽤 골치 아파질 것이다. (왜 그럴까? 각자 생각해보자.)
- 한편, 여기서 사용하는 shape는 numpy의 ndarray나 pandas의 DataFrame 등 특정 데이터 타입을 사용할 때만 적용할 수 있다는 점을 알아두면 좋다. (즉, 파이썬의 list 데이터 타입을 사용할 때는 shape를 사용할 수 없는데, 무슨 말인지 모르겠으면 일단 넘어가자. 다음에 이런 일이 발생하게 된다면 어차피 에러가 뜰테니까.)

2. Data exploration

처음 데이터를 받고 나면 무엇부터 할 수 있을까? 바로 데이터 학습? 아니다. 다음은 실제 데이터를 다룰 떄 살펴보는 사항들이다.

데이터가 크기가 얼마나 되는가? (용량, 행/열 차원 수)
$y$ 값으로 설정할만한 실수형 혹은 범주형 변수가 있는가?
Missing data가 있는가?
변수의 종류는 무엇인가? 실수형? 범주형?
- 실수형은 정규화(normalization)해주는 것이 일반적
- 범주형은 1-of-c 코딩 등의 방식으로 변환해주는 것이 일반적
데이터는 어떻게 분할할까?
- Training:Test=60:40이 일반적이기는 하지만 다른 방법은 없을까?
- 10-fold cross validation

우리도 본격적으로 logistic regression 알고리즘으로 분류 모델을 만들기 전에 우리가 가진 데이터를 이리저리 살펴보자. Data exploration은 현재 가지고 있는 데이터를 이리저리 굴려가며 모양새를 확인하는 것이다.

X, y는 각각 어떤 값들로 이루어졌는지 확인해보기 위해 X, y 각각의 첫번째 값을 출력해보자. (배열의 첫번째 index는 1이 아니라 0이라는 사실이 기억나는가?)
```
print(X[0])
print(y[0])
```
X는 특히 0과 256 미만의 숫자들로 구성이 되어 있는데 이것은 어떤 의미를 가질까? (256이라는 숫자가 힌트!)
```
print(min(X[0]), max(X[0]))
```
쉽게 이해하기 위해 matplotlib 패키지를 이용해 첫 번째 record를 한 번 그려보자. (원래 matplotlib은 3rd party 패키지여서 따로 설치해야하지만, 다행히도 anaconda가 matplotlib을 미리 설치해줬다.)
```
from matplotlib import pyplot as plt
X0 = X[0].reshape(28, 28)           # reshape 1*784 array to 28*28 array
plt.rc('image', cmap='binary')      # set runtime configurations (rc) for color maps
plt.matshow(X0)                     # plot matrix
plt.savefig('X0.png')               # save plot to image file
plt.show()                          # show plot on screen
```
- 무슨 모양 같은가? 그렇다. 숫자 '0'이다.
- 그럼 y[0]의 값을 출력해보면? 마찬가지로 '0'이다. y[0]는 X[0]의 "정답"이다.
- 여유가 된다면 X, y의 첫번째 record가 아니라 42번째, 10000번째, 마지막 record 등도 그려보자.
이번에는 y가 어떤 값들을 가질 수 있는지 확인해보기 위해 다음을 입력해보자.
```
print(set(y))   # returns {0.0, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0, 9.0}
```
- set()은 파이썬에서 제공하는 기본 함수로, 배열을 입력받으면 unique한 값들을 반환한다.
  - 예를들어, [1,2,3,2,2,1,1,1,3,1,1]이라는 배열을 입력받았을 때 [1,2,3]을 반환한다.
우리가 하려는 것이 뭔지 대충 감이 잡히는가?
- 우리는 X에 손글씨로 숫자를 쓴 필기 이미지와, y에 그 이미지의 label(정답)을 가지고 있으며 정답셋은 0-9까지의 숫자로 구성되어 있다.
- 지난 시간에 다룬 당뇨병 데이터는 $y$가 실수형 벡터였던 것과 달리 이번 시간에 다루는 MNIST 데이터는 $y$가 범주형(categorical) 벡터이다. $y$가 실수형일 때는 regression problem이지만, $y$가 범주형일 때는 classification problem이다.
- 보다시피 필기체 인식은, 가장 대표적인 분류 문제 중 하나이다.

3. Data partitioning

이번에는 데이터를 partitioning 해보자.
- 다시 한 번 얘기하지만, data partitioning은 overfitting 방지, 일반화 성능 향상을 위해 하는 것이다.
- Data partitioning의 의미를 잊었다면 이 곳에 가서 복습하고 오자. 데이터로 컴퓨터를 학습시킬 때 가장 중요한 개념 중 하나이니 반드시 익혀둬야 한다.
당뇨병 데이터셋에서는 X, y를 단순한 list split을 통해 440개 record 중에서 400개를 training set, 40개를 test set으로 설정했다. 이번에는 record가 70,000개인데, 어떻게 나누는 것이 좋을까?
```
from sklearn import cross_validation
X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, y, test_size=0.4, random_state=1234)
```
- 다시 list split을 사용해도 되지만, 이번에는 scikit-learn에서 제공하는 train_test_split()을 써보자.
- 이 메소드는 데이터를 비율에 맞게 랜덤 샘플링(random sampling)해준다는 점에서 단순히 list split을 하는 것보다 바람직하다. 왜일까? y의 값들이 오름차순으로 정렬되어 있기 때문이다.
- test_size 파라미터는 test set의 비율이다. 0.4로 했으니 training set은 0.6이 될 것이고, 따라서 test set에는 70,000의 40%인 28,000개의 record가 random으로 selection돼서 들어간다. 이 값을 명시해주지 않으면 scikit-learn v0.15.2를 기준으로 test set이 0.25, training set이 0.75가 된다.
- random_state는 랜덤 샘플링할 때 사용하는 seed이다. 이 seed를 같은 숫자로 설정해주면 같은 결과를 얻게 되고, 설정해주지 않으면 실행할 때마다 다른 결과를 얻게 된다. 실험 재현(reproduction)의 측면에서 random number를 generation하는 seed를 지정해주는 것은 아주 중요하다. 여기서 사용한 1234가 아니라 51321, 0 등 어떤 숫자를 사용해도 되는데, 중요한 것은 실험 조작 등을 방지하고, 누구라도 같은 코드를 돌렸을 때 동일한 실험 결과를 낳을 수 있게 하기 위해 가급적이면 명시하는 것이 좋다.
- 또, 여기서 사용한 서브패키지 cross_validation은 사실 단순히 데이터를 두 개의 파티션으로 나누는 일 외에도 중요한 일을 하는데, 아직은 몰라도 되지만 곧 학기 중에 반드시 다루게 될 중요한 개념이니 이름을 익혀두도록 하자.

4. Training

자, 이제 드디어 로지스틱 회귀분석 모델을 학습해보자! 고맙고 신기하게도 scikit-learn 패키지를 이용하면 모델 학습은 단 세 줄만에 끝난다. (물론 내부에는 누군가가 이미 고생해서 짜놓은 어마어마한 "black box"가 존재한다는 것을 잊지 말자.) MLR을 학습할 때와 마찬가지로 LogisticRegression 클래스를 import한 후, instance를 생성하고, training set으로 모델을 학습하면 된다

from sklearn.linear_model import LogisticRegression
lr = LogisticRegression(random_state=1234)      # LR instance 생성
lr.fit(X_train, y_train)                        # LR 학습

그런데... 결과가 뜨지 않는다. 컴퓨터가 먹통됐나? 아니다. 실제로 컴퓨터는 엄청 열심히 돌고 있다.
당뇨병 데이터로 MLR을 돌릴 때는 뭔가 돌긴 돌았나 싶을 정도로 빨리 끝났지만, 이번에는 경우가 다르다.
데이터 개수도 440개에서 70,000개로 늘어난데다가 무엇보다 차원의 수가 10개에서 784개로 늘어났다.
- 데이터 크기가 10배가 증가했다고 해서 학습/처리 시간이 10배만큼 늘어나는 것이 아니라, 때로는 100배, 1000배씩 증가할 때도 있다.
- 특히 차원의 개수가 늘어날 때 우리는 차원의 저주(curse of dimensionality)를 겪는다고 말한다.
- 학습은 아니지만 계산 속도가 기하급수적으로 증가하는 간단한 실험: sum(range(10**7)), sum(range(10**8)), sum(range(10**9)의 계산 속도를 비교해보자.
쿼드 코어 노트북 기준으로 이 로지스틱 회귀분석 모델을 학습하는데는 약 45분이 걸렸다. (..)
따라서 이 데이터 전체를 돌리는 것은 숙제다.

실제로 데이터로 좋은 모델은 학습 시간이 짧고 성능(performance)이 좋다.

어떻게 하면 빠르게 학습시킬 수 있는가? 어떻게 하면 더 좋은 성능을 낼 수 있는가? 이런 질문들은 데이터마이너들에게 아주 익숙한 질문이다.

그런데 여기서 끝내기엔 좀 아쉽지 않은가? 시간을 단축하기 위해 문제를 단순화 시키고, 하는 김에 csv에서 데이터 로딩하는 법을 익혀보자.

5. 2범주 MNIST: 0과 1 구분하기

0, 1은 프로그래밍할 때 굉장히 중요한 숫자들이다. 이들만 골라서 2범주 분류 문제를 한 번 풀어보자. 편의를 위해 이 변환 파일을 이용해 10 class, 70000 row의 MNIST dataset을 2 class, 14780 row의 데이터셋으로 변환했다.

먼저 데이터셋을 다운로드 받은 후, csv 파일을 열어 데이터 모양을 확인해보자. (csv 파일은 엑셀로 열 수 있는 spreadsheet 형태의 데이터이며 comma-separated-values의 약자이다.)

다음으로 아래 코드를 이용해 csv 데이터를 로딩해보자.

여기서는 numpy의 genfromtxt()를 써서 csv 파일을 로딩해보자. 파일에서 데이터 로딩하는 것도 그리 어렵지 않다!

from numpy import genfromtxt
X_bin = genfromtxt('mnist-x-bin.csv', delimiter=',')
y_bin = genfromtxt('mnist-y-bin.csv', delimiter=',')

참고: pandas 패키지의 read_csv()를 이용하면 더 간판하고 빠르게 csv 데이터를 읽을 수 있다. pandas는 파이썬에서 DataFrame 등을 이용하여 구조적 데이터를 편리하게 분석할 수 있게 해주는 인기있는 도구이다. 관심있다면 검색해보자.

자, 이제 여러번 반복했듯 data partitioning, 그리고 model fitting(==training)을 해서 lr2이라는 이름으로 저장하자.
(이 부분은 설명을 생략)

모델을 학습한 다음에는 무엇을 해야할까? 성능을 측정하기 위해 시험을 봐야지! (Testing phase) Training 데이터와 test 데이터 모두의 정확도를 도출해보자.

print(lr2.score(X_bin_train, y_bin_train))
print(lr2.score(X_bin_test, y_bin_test))

사실 분류 문제는 정확도 말고도 precision, recall, f-measure 등의 지표가 있다. 아래는 이들 지표에 대한 목록이다. (참고: Precision and recall)

이 값들은 precision_recall_fscore_support()을 이용해서 구할 수 있다.

from sklearn.metrics import precision_recall_fscore_support
y_bin_pred = lr2.predict(X_bin_test)
precision_recall_fscore_support(y_bin_test, y_bin_pred, average='macro')

성능 지표의 값들은 얼마가 나오는가? 괜찮은가?

6. 1범주 MNIST: 1-against-all

사실 우리가 애초에 풀려던 문제는 좀 어려운 문제였을 수 있다. 무려 10가지 숫자(digit) 중에서 맞는 숫자를 골라보라니! (실제로 2013년 기준 현대 AI의 수준은 4살짜리 꼬마의 지능과 유사하다고 한다)

이번에는 처음의 70000행의 MNIST 데이터셋을 그대로 사용하되 문제를 좀 단순화시켜서, 이미지에 등장한 숫자가 1인지 아닌지만 판단하는 모델 lr1을 만들어보자. 즉, 이 모델은 0, 2, 3, 4, ..., 9는 0(또는 False)을 반환하고, 1만 1(또는 True)을 반환하면 된다. 이렇게.

from sklearn.linear_model import LogisticRegression
lr1 = LogisticRegression(random_state=1234)
lr1.fit(X_train, y_train==1)

이제 accuracy, precision, recall, f-measure을 재보자. 성능이 어떤가? 학습 시간은?

참고:
1. Visualizing MNIST: An Exploration of Dimensionality Reduction
2. Classifying MNIST digits using Logistic Regression
3. Kaggle Digit Recognizer contest

터미널에서 프로그래밍하기

2015-03-18T15:55:00+09:00

이제 프로그래밍에 조금은 익숙해졌죠? 익숙해지지 않았다면? 지금이라도 열심히 복습하세요. 연습만이 살 길입니다.

다음은 터미널에서 프로그래밍할 때, 조금 더 생산성을 높이기 위한 몇 가지 꿀팁입니다.

탭(tab) 키를 잘 활용하자!
- 쉘에서 명령어의 일부만 입력한 후 탭 키를 누르면 명령어 자동완성
- Python 쉘 또는 IPython 쉘에서 특정 모듈 뒤에 쩜(.)을 입력한 후 탭 키를 누르면 관련 메소드(method)들이 화면에 출력
화살표키도 자주 사용됨
- 쉘에서 화살표 키를 위 아래 위위 아래로 누르면 예전에 입력했던 명령어들을 볼 수 있다
해커의 생명은 단축키
- 줄의 맨 앞으로 가는 단축키? ctrl+a
- 맨 뒤로 가는 단축키? ctrl+e
- 쉘에서 나가는 단축키? 보통 ctrl+d 또는 ctrl+c

Multiple linear regression

2015-03-16T18:37:00+09:00

오늘의 목표

데이터마이닝 알고리즘의 분류
Data partitioning 개념 익히기
그 외 데이터마이닝에서 빈번히 다루는 용어들 익히기
단변수, 다변수 선형회귀분석(linear regression)의 개념 익히고 파이썬으로 돌려보기

Data mining process

Problem definition
Data acquisition and selection
Data exploration
Data preprocessing
Train and evaluate data mining model
Interpret results

목적에 따른 분류: Predictive methods vs Descriptive methods

Predictive modeling
- Predict the future
- Identify strong links between variables of data
- To predict the unknown consequence (dependent variable) based on the information provided (independent variable)
  - 과거를 통해 현재를 알고 미래를 내다보자
Descriptive modeling
- Look back to the past
- To extract compact and easily understood information from large, sometimes gigantic databases

학습데이터에 따른 분류: Supervised learning vs Unsupervised learning

교사학습(Supervised learning)
- Goal: predict a single "target" or "outcome" variable $y$
  - 입출력(input $X$-output$y$)의 쌍으로 구성된 training data로부터 입력을 출력을 사상하는 함수를 학습하는 과정
- Method: Learn on training data, score on test data
  - 즉, 입력벡터를 $X$, 그에 대응하는 출력벡터(i.e., label)를 $y$라고 할 때, training data는 $D={(x, y)}$로 주어지게 되며, 모델은 이 training data에 기반하여 관측하지 않은 새로운 데이터 $x'$가 들어왔을 때 그에 해당되는 label, $y'$을 추론하는 방법을 배우게 된다
- ex: 분류(classification)와 회귀분석(regression)
비교사학습(Unsupervised learning)
- Goal: Explore intrinsic characteristics of data $X$
- Method: Estimate underlying distributions and/or segment data into meaningful groups or detect patterns
  - There is no target (outcome) variable to predict or classify
  - 출력값 없이 오직 입력값만 주어지며, 이러한 입력값들의 공통적인 특성을 파악하여 학습하는 과정
  - Training data는 $D={(x)}$로 주어지게 된다.
- ex: 군집화(clustering), 밀도추정(density estimation), 차원축소(dimension reduction)
cf. semi-supervised learning

Data partitioning

데이터를 training data와 test data로 나누는 것
- Training data: 모델 학습용
- Test data: 모델 성능 측정용
왜? Overfitting 방지, 일반화 성능 향상
보통은 60:40 정도로 데이터를 분할하지만, 보유하고 있는 데이터 규모에 따라 이 비율은 달라지기도 함
컴퓨터가 모델을 학습하고 평가 받는 것은, 교실에서 학생과 선생님 사이에서 발생하는 일과 매우 유사하다!
- Training phase: 교사는 문제($X_{train}$)와 정답($y_{train}$)이 모두 포함된 training data를 이용해 컴퓨터를 훈련(training)시키고, 컴퓨터는 모델을 학습한다(learning).
- Testing phase: 컴퓨터가 training data로 모델을 학습한 후에는 교사가 컴퓨터에게 정답($y_{test}$) 없이 문제($X_{test}$)만 포함된 시험(test data)을 전달한다. 이 때, 컴퓨터가 제출한 답안지($\hat{y}$)와 실제 정답($y_{test}$)간의 차이를 비교해서 오답/오류(error)가 얼마나 발생했는지 확인함으로써 모델의 성능/성적을 평가한다.
때로는 training data, validation data, test data 등 세 개의 그룹으로 데이터를 나누기도 함 (참고: What is the difference between test set and validation set?)

Simple linear regression (SLR)

Regression
- 대표적인 교사학습(supervised learning) 방법론
  - "right answers" given
- Predict continuous valued output
Formulation
- $x$: 독립변수(independent variable)
- $y$: 종속변수(dependent variable)
- $a, b$: 파라미터(parameters) or 계수(coefficients)
- $\epsilon$: Observation noise
$$y = ax + b + \epsilon$$
ex: Housing price prediction

Multiple linear regression (MLR)

Formulation
- $x_j$: 독립변수들(independent variables)
- $y$: 종속변수(dependent variable)
- $b_j$: 파라미터(parameters) or 계수(coefficients)
- $\epsilon$: Observation noise
$$y = b_0 + b_1x_1 + b_2x_2 + ... + b_mx_m + \epsilon$$

[Programming] SLR, MLR with scikit-learn

데이터 import 하기
- 먼저 파이썬에서 MLR을 시행하기 위해서 scikit-learn 패키지를 사용해보자.
- 보통은 데이터를 어디선가 다운로드 받고, 정제한 후 읽어들어야겠지만, scikit-learn 패키지에 이미 몇 가지 데이터셋이 준비되어 있으니 그 중 한 가지인 diabetes(당뇨병) 데이터셋을 써보자.
- 파이썬에서 패키지를 사용하기 위해서는 import some_package을 입력하면 되고, 하나의 큰 패키지에서 일부만을 사용할 때는 from some_package import a_subpackage를 입력하면 된다. 우리는 먼저 scikit-learn의 일부인 dataset subpackage 사용할 것이니 from sklearn import datasets를 하고, 데이터를 로딩해보자.
- 어렵지 않다. 말 그대로 다른 패키지에서 특정 기능, 혹은 모든 기능을 수입(import)해오겠다는 것이다.
  (참고: import에 대해 더 자세히 알기 위해서는 모듈에 대한 파이썬 공식 문서를 보자.)
```
from sklearn import datasets
d = datasets.load_diabetes()
```
- 우리가 다른 곳에서 (ex: UCI Datasets) 데이터를 다운로드 받았다면 별도의 전처리 과정을 거쳐야했겠지만 친절하게도 scikit-learn은 데이터를 이미 전처리해서 data (X), target (y)로 나누어 놓았다. 이를 각각 X, y에 넣어보자.
```
print(d.keys())  # returns ['target', 'data']
X = d['data']
y = d['target']
```
- 다른 작업을 진행하기 이전에 X, y 데이터에 대한 탐색을 해보자.
```
print(X.shape)      # returns (442, 10)
```

Simple linear regression

먼저 하나의 변수를 정해 simple linear regression부터 해보자.
```
import numpy as np
X2 = X[:, np.newaxis][:, :, 2]
```
변수를 선택하고 나면 X2, y를 각각 training set, test set으로 나눈다. 현재 데이터의 개수가 442개이므로 test set을 약 10%인 40개로 해보자.
```
X2_train, X2_test = X2[:-40], X2[-40:]
y_train, y_test = y[:-40], y[-40:]
```

Train

from sklearn.linear_model import LinearRegression
slr = LinearRegression()
slr.fit(X2_train, y_train)

# The coefficients
print('Coefficients: \n', slr.coef_)

# mean square error
print("RSS: %.2f" % np.mean((slr.predict(X2_test) - y_test) ** 2))

# Explained variance score: 1 is perfect prediction
print('Variance score: %.2f' % slr.score(X2_test, y_test))

Plot

import matplotlib.pyplot as plt
plt.scatter(X2_test, y_test,  color='black')
plt.plot(X2_test, slr.predict(X2_test), color='blue', linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()

Multiple linear regression

Data partitioning

X_train, X_test = X[:-40], X[-40:]
y_train, y_test = y[:-40], y[-40:]

Train

from sklearn.linear_model import LinearRegression
mlr = LinearRegression()
mlr.fit(X_train, y_train)

# The coefficients
print('Coefficients: \n', mlr.coef_)

# mean square error
print("RSS: %.2f" % np.mean((mlr.predict(X_test) - y_test) ** 2))

# Explained variance score: 1 is perfect prediction
print('Variance score: %.2f' % mlr.score(X_test, y_test))

Example source: Linear regression example

[Tip] How to write a data mining proposal

Choosing a good project topic
1. 이 문제를 푸는 것이 의미가 있는가 (있다면 어떤 의미가 있는가?)
2. 데이터를 구할 수 있는가 (어디서 구할 수 있는가? 정제는 되어 있는가?)
3. 어떤 접근법/방법론을 사용할 것인가? (내가 주어진 시간 안에 할 수 있는가? 원하는 것을 전부 할 수 없다면, 내가 할 수 있는 범위는 어디까지인가?)

파이썬 프로그래밍을 위한 Sublime Text

2015-03-09T13:26:00+09:00

Installation

Sublime Text 설치
Sublime Text 패키지 매니저 설치

내가 설치한 Sublime Text의 버젼을 잘 확인하자! 2인가 3인가?

Suggested packages

IMESupport: 한글 입력이 한 박자 늦게 되는 문제 해결

IMESupport 패키지 설치

Origami: Divide window to several panes

방법 1.
방법 2. Install the Origami package (훨씬 다양하게 pane을 나눠 쓸 수 있음)

SublimeREPL: Python REPL in Sublime

Introduction to Python (on Windows)

2015-03-08T18:00:00+09:00

오늘의 목표

나도 할 수 있다, 프로그래밍!
- 왜?
- 뭐든지 잘할 수 있어야 재밌고 재밌어야 잘할 수 있고 잘 해야 재밌음.
- 일단 나도 할 수 있다는 자신감을 느껴보고 더불어 신기함과 재미도 느껴보자!
- ~~간지도 좀 남~~

이 튜토리얼은 프로그래밍 초보자를 대상으로 하는 것이기는 하지만, for문, if문, 변수 등 프로그래밍의 기본적인 개념은 숙지하고 있다고 가정하고 진행됩니다. 만일 이게 무슨 말인지 모르겠다면 이 링크에서 간단히 공부해보세요 :)

들어가기 전에

운영체제(OS)란?
- "시스템 하드웨어와 소프트웨어를 실행하기 위한 시스템 소프트웨어"
  - ex: 윈도우 7, Mac OS 10.10, Ubuntu 14.04, iOS 6, Android 5.0, ...
- 프로그래밍을 하기 전에는 내가 어떤 OS의 어떤 버젼을 사용하고 있는지 꼭 알아두자!
- 여기서는 윈도우 7을 사용하고 있다는 가정 하에 튜토리얼을 진행합니다.
쉘(shell)이란?
- "운영체제 상에서 다양한 운영체제 기능과 서비스를 구현하는 인터페이스를 제공하는 프로그램"
- 운영체제의 핵심 부분을 구성하는 "커널(kernel)"을 감싸고 있다는 뜻에서 "쉘"이라는 이름이 붙었죠
GUI? CLI?
- GUI는 graphic user interface의 약자로, 그래픽으로 컴퓨터를 조작할 수 있게 해준다. 윈도우 쉘이 대표적인 graphic shell이다.
- CLI는 command line interface의 약자로, 텍스트로 컴퓨터를 조작할 수 있게 해준다. 윈도우에서는 명령 프롬프트가 대표적인 text shell이다.

왜 파이썬인가?

파이썬은, 처음 배우는 프로그래밍 언어로써 좋다
- Python is now the most popular introductory language at Top US Universities (July, 2014)
파이썬은, 연구용 언어로써 좋다
- Python is a major programming language for data mining (Aug, 2014)

What's so great about Python?

이번 시간에 계속 살펴보겠지만, 파이썬의 문법은 아주 간결하고 읽기 편합니다. 게다가 문서화가 아주 상세하게 잘 되어 있어서 배우기도 쉽고요.

하지만 파이썬이 모든 경우에 가장 좋은 언어라고 할 수는 없습니다. 특히, 파이썬이 현존하는 모든 태스크를 위해 가장 적합하게 설계된 언어는 아닙니다.

비유를 한 번 들어볼까요? 나무를 베고, 못을 박고, 나사를 돌릴 때 여러분은 아래에 있는 도구 중 어떤 것을 선택하겠습니까?

보통은 나무를 벨 때 톱을, 못을 박을 때는 망치를, 나사를 돌릴 때는 드라이버를 사용하겠죠. 프로그래밍 언어도 도구여서, 목적에 따라 다른 도구를 사용하는 것이 좋을 때가 있습니다. 가령, 웹에 시각화를 올리기 위해서는 자바스크립트가, 구조적 데이터를 다룰 때는 R이 더 편할 수도 있는거죠.

한편 파이썬은 특정 목적에 적합한 언어라기보다는 범용으로 사용할 수 있는 언어(general purpose language)입니다.
일종의 Swiss army knife와 같은거죠.

실제로 파이썬의 다양한 3rd-party 패키지들을 사용하면 웹에 시각화를 올린다든지 구조적인 데이터를 다루는 일 등을 할 수 있습니다.

시각화: matplotlib, mpld3
웹프로그래밍: requests, django, flask
구조적 데이터 분석: numpy, scipy, scikit-learn
비구조적 데이터 분석 (또는 자연어 처리): nltk, konlpy

하지만 Swiss army knife가 때로는 망치만큼의 강건함이나 만족스러움을 주지 못하듯, 파이썬도 마찬가지 일 수 있습니다.
그럴 때는 망치를 구하시면 됩니다! (i.e., JavaScript, R 등 새로운 스킬/도구/언어를 또 습득하시면 됩니다! 하지만 그건 이 수업 말고 다른 기회에...)

게다가 파이썬에는 활발한 개발 커뮤니티가 있습니다. PEP, 즉 Python enhancement proposal이라고 누구나 파이썬 언어 자체에 대한 제안을 할 수도 있고 아래와 같이 유저(user) 커뮤니티들도 활발하게 돌아가고 있습니다. 개발을 하다가 질문이 있을 때는 아래 커뮤니티들을 적극 활용해보세요!

파이썬 코리아 페이스북 그룹
생활코딩 페이스북 그룹
파이조그(PyJog): 이 커뮤니티는 오프라인 커뮤니티입니다. 고수님들을 직접 만날 기회이니 프로그래밍을 더 잘해보고 싶은 분은 한 번쯤 참석해보시기 바랍니다.

요약하자면, 파이썬은 아래와 같은 장점들이 있습니다:

쉽다
간결하고 읽기 쉽다 (readability)
문서화가 잘 되어 있다 (documentation)
라이브러리/패키지가 풍부하다
개발 커뮤니티가 활발하다

Then is Python the best programming language for data mining?

데이터마이너는 가장 핵심이 되는 데이터 분석 뿐 아니라, 앞 단의 데이터 수집이나 데이터 정제부터, 데이터 시각화까지 넓은 영역의 태스크들을 수행하게 됩니다.

데이터마이닝을 배우는 이 강좌에서 파이썬을 주 언어로 택한 이유는 파이썬이 데이터마이닝을 위해 가장 좋은 언어이거나, 데이터마이닝의 특정 태스크를 수행하는데 가장 좋기 때문은 아닙니다. 다만, 좋은 Swiss army knife를 마련해서 도구는 빨리 습득하고, 여러분이 데이터마이닝 알고리즘들 자체에 조금 더 focus할 수 있게 하기 위함입니다.

게다가 덤으로, 좋은 프로그래밍 언어를 습득함으로써 프로그래밍 자체에 대한 이해를 높이고 흥미를 느낄 수 있으면 좋겠죠!

자, 그럼 시작해볼까요 :)

Installing Python

윈도우에서 자바 프로그래밍 환경을 마련하는 일반적인 절차는?
- 1단계: 자바 개발 키트 (JDK) 설치 (2015년 3월 현재, JDK 8u40 배포중)
- 2단계: 환경변수 설정 (ex: JAVA_HOME)
- 3단계: 자바 IDE 설치 (ex: 이클립스, IntelliJ IDEA)
윈도우에서 R 프로그래밍 환경을 마련하는 일반적인 절차는?
- 1단계: R 배포판 설치 (2015년 3월 현재, R 3.1.2 배포중)
- 2단계: R IDE 설치 (ex: RStudio)
윈도우에서 파이썬 프로그래밍 환경을 마련하는 일반적인 절차는?
- 1단계: 파이썬 배포판 설치
- 2단계: 파이썬 IDE 설치

자, 그럼 시작해봅시다!

1단계: 파이썬 배포판 설치

Download Continuum's Anaconda
- 잠깐, python.com이 아니라 딴데서 설치파일을 다운받으라고?
  - python.com/download: 파이썬 정식 배포판
  - continuum.io/downloads#34: 파이썬 사제 배포판
- 파이썬 정식 배포판이 아니라 일반 회사의 사제 배포판을 사용하는 이유는?
  - Windows에서는 파이썬의 몇몇 패키지 설치가 어렵다는 풍문이 있다
  - 이를 극복하기 위해 윈도우만을 위해 사전에 컴파일 된 패키지를 따로 제공하는 사람도 있다
  - 우리는 패키지 설치의 번거로움에서 벗어나기 위해 사전에 195개의 패키지가 한꺼번에 깔리는 배포판을 선택
- 윈도우 32비트? 64비트?
  - 아나콘다가 알아서 인식해서 잡아주지 않을 수도 있으니, 확실하지 않다면 내 컴퓨터의 속성 메뉴에서 나의 시스템 종류를 확인하자.
- Python 2.x? 3.x?
  - 아직까지 학계에서는 Python 2도 많이 사용
  - 하지만 우리는 더 최신 버젼인 Python 3 선택
    1. 파이썬 3가 유니코드 서포트를 해서 한국어를 사용하는 사람들에게 편리
    2. 이제 많은 패키지들이 파이썬 3도 지원
    3. 파이썬 3 is the way to go
Install Anaconda
- 고맙게도 파이썬 경로에 대한 환경변수 설정은 따로 할 필요없이 아나콘다가 알아서 해줌
Run Python!
- 다음과 같이 터미널을 열자:
  1. window + r 단축키를 이용해 실행창(Run)을 열고
  2. cmd라고 입력한다.
- 터미널에 ipython을 입력해서 "파이썬 쉘"을 열어보자.
  터미널로 작업할 때는 열심히 "독서"하는 습관을 들이는 것이 좋다. 우리가 ipython을 입력하니 무엇이 출력되었는가? 파이썬 버젼 3.4.1, 64비트 아나콘다 2.1.0이 구동되었다는 것을 알 수 있고, 그 밖의 소소한 명령어에 대한 소개도 있다.
- 파이썬 쉘이 열리면:
```
In [1]: print("Hello world!")
Hello world!

In [2]: 1+3
Out[2]: 4

In [3]: 1/3
Out[3]: 0.3333333333333333

In [4]: 2**10
Out[4]: 1024

In [5]: exit    # exit을 입력하는 대신 단축키 ctrl+d를 사용할 수도 있다
```
- Now you're a Python programmer! (적어도 계산기로는 쓸 수 있다)

1.5단계: 파이썬 스크립트 실행

위와 같이 파이썬을 쉘(shell)에서 실행하는 것은 순간적인 실행을 위해서는 아주 편리하지만, 긴 프로그램을 짜고자 할 때, 또는 프로그램을 저장하고자 할 때는 적합하지 않다. 이럴 때는 스크립트(script) 파일을 이용해서 파이썬을 실행할 수도 있다.

스크립트 파일 실행을 위해 PyCharm, Eclipse 등의 IDE를 활용할 수도 있지만, 일단은 IDE없이 한 번 가보자.

먼저 프로그래밍의 기본! 파이썬 스크립트를 만들어 Hello world를 출력해볼까? 이미 우리는 ipython을 통해 파이썬 쉘에서 Hello world를 출력해봤지만 다음의 몇 가지 절차를 거치면 파일을 이용해 파이썬 스크립트를 실행할 수 있다.

아래와 같이 윈도우에서 메모장을 열자.
1. window + r 단축키를 이용해 실행창(Run)을 열고
2. notepad라고 입력한다.
다음의 헬로월드 출력문을 파일에 입력한 후
```
print("Hello world!")
```
파일을 바탕화면에 test.py라는 이름으로 저장하자. 다만 한 가지 유의할 점은, 다음 그림과 같이 Encoding을 UTF-8로 변경해서 저장해줘야 한다. (그렇지 않으면 스크립트를 실행할 때 인코딩 에러가 발생할 것이다.)
그 다음에, 다시 터미널을 띄워서 (앞에서 어떻게 했는지 기억하는가?)
아래와 같이 입력하면 파이썬 파일이 실행된다.
첫번째 줄은 윈도우 탐색기에서 "바탕화면"으로 이동하라는 버튼을 누른 것과 같고, 두번째 줄은 윈도우 탐색기에서 test.py 파일을 클릭하여 실행한 것과 같다. 멋지지 않은가? 이제 우리도 마우스를 클릭하는 GUI(graphic user interface)가 아니라 키보드로 명령어를 입력하는 CLI(command line interface)에서 프로그래밍을 할 수 있게 된 것이다!
```
> cd Desktop        # Desktop이라는 디렉토리로 변경하라(change directory)
> python test.py    # python이라는 프로그램으로 test.py라는 파일을 실행하라
```
이제부터 파이썬에서 빈번하게 사용할 기능을 7가지 예시를 통해 배워볼 것이다.
방금 생성한 test.py에서 Hello world! 출력문 대신 아래의 다양한 예시를 입력해보자. 이미 Desktop 폴더로 이동한 상태이니 앞으로는 터미널에 python test.py만 입력해서 코드를 실행하면 된다. 각 예시는 이해를 돕기 위해 자바 1.7의 코드와 병렬적으로 배치해두었다.

예시 1: "Hello world"

앞에서 우리는 파이썬 쉘과 스크립트로 Hello world!를 출력하는데 성공했다. 우리의 파이썬 코드와 자바 코드에는 어떤 차이점이 있을까? 다음은 자바와 파이썬으로 각각 Hello world!를 출력하는 코드이다.

Java 1.7

public class MyClass {
    public static void main (String[] args) {
        System.out.println("Hello world!");
    }
}

Python 3
```
print("Hello world!")
```

자바와 파이썬 코드에 어떤 차이점이 있는가? 자바 코드와는 달리 파이썬 코드에서는:

public class MyClass { ... } 등과 같이 클래스를 선언하지 않아도 된다.
public static void main (String[] args) { ... } 등과 같이 메인함수를 선언하지 않아도 된다.
라인 끝에 세미콜론(;)을 붙이지 않아도 된다.

그리하여 파이썬으로는 무려 한 줄 만으로 Hello world!를 출력할 수 있다! 아주 간결하지 않은가?

예시 2: 변수 선언

다음으로 변수를 선언해보자. print문을 이용해 출력하는 것이 없다면 변수를 선언하는 것만으로는 터미널 창에 아무 것도 뜨지 않겠지만, 변수 선언만으로도 중요한 차이점을 많이 발견할 수 있으니 코드는 한 번 자세히 들여다보자. 다음은 자바와 파이썬으로 각각 변수를 선언하는 코드이다.

Java 1.7 (static typed)

String myString = "this is a string";
myString = "3"; //  ok
myString = '3'; //  Type mismatch: cannot convert from char to String
myString = 3;   //  Type mismatch: cannot convert from int to String

Python 3 (dynamic typed)

my_string = "this is a string"
my_string = "3" # ok
my_string = '3' # ok
my_string = 3   # ok

이미 위에서 언급된 차이점들 외에도 크게 네 가지 차이점을 발견할 수 있다.

자바는 정적 타이핑(static typing)언어라 변수의 데이터 타입(type), 즉 String인지 int인지 등을 미리 지정해줘야하고, 한 번 지정하고 나면 변수의 타입은 바뀔 수 없다. 반면 파이썬은 동적 타이핑(dynamic typing) 언어라 변수의 데이터 타입(type) 선언할 필요도 없을 뿐더러 처음 선언이 된 이후에도 다른 타입으로 바뀔 수 있다.
자바에서는 작은 따옴표(char)와 큰 따옴표(String)의 사용이 구분되지만 파이썬에서는 작은 따옴표나 큰 따옴표로 묶인 문자열은 전부 str 타입으로 간주된다.
자바 코드에서는 변수를 선언할 때 myString과 같이 camelCase를 사용하는데 반해 파이썬 코드에서는 my_string과 같이 under_score를 사용한다. 파이썬의 스타일링에 관해서는 PEP-8에 잘 나와 있다. 만일 파이썬 프로그래밍을 꾸준히 할 마음이 있다면 한 번쯤 훑어보자. 이 문서를 지금 당장 다 읽지 않더라도, 중요한 지침을 담고 있으니 반드시 이름은 기억해두는 것이 좋다.
주석을 다는 방법이 다르다. 자바에서는 // 썼다면, 파이썬에서는 #를 쓴다. 긴 주석의 경우에도 자바는 /* some very long comment */라면, 파이썬은 """ some very long comment """와 같다. (긴 주석 내에서는 줄바꿈을 할 수 있다.)

예시 3: 파일 쓰기 (writing)

아래는 some_file.txt에 "Hello world full of data!"라는 문자열을 입력하는 코드이다. 자바에서 파일 입출력(I/O)은 생각만큼 간단하지 않지만, 파이썬에서는 무척 간단하다. 코드를 이렇게 읽어보자: "some_file.txt"를 "w"(write) 모드로 open하고 그것을 f라고 부르자. 그리고 f에는 "Hello world full of data!"라는 문자열을 write하자!

Java 1.7

import java.io.*;

public class WriteFile {
    public static void main(String[] args) throws IOException {
        Writer writer = null;
        try {
            writer = new BufferedWriter(new OutputStreamWriter(
                  new FileOutputStream("some_file.txt"), "utf-8"));
            writer.write("Hello world full of data!");
        } catch (IOException ex) {
            System.out.println("An exception occurred during writing file.");
        } finally {
            try {writer.close();} catch (Exception ex) {}
        }
    }
}

Python 3

with open("some_file.txt", "w") as f:
    f.write("Hello world full of data!")

예시 4: 파일 읽기 (reading)

이미 바탕화면에는 some_file.txt라는 파일이 생겼을 것이다. 한 번 확인해보자. 만일 test.py 파일을 바탕화면이 아니라 다른 폴더 안에 저장했다면, some_file.txt는 그 폴더 안에 있을 것이다.

이번에는 그 파일의 내용을 읽어보자. 아마도 "Hello world full of data!"가 출력되겠지?

Java 1.7

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class ReadFile {
    public static void main(String[] args) throws IOException {
        BufferedReader br = new BufferedReader(new FileReader("some_file.txt"));
        try {
            StringBuilder sb = new StringBuilder();
            String line = br.readLine();

            while (line != null) {
                sb.append(line);
                sb.append(System.lineSeparator());
                line = br.readLine();
            }
            String everything = sb.toString();
            System.out.println(everything);
        } finally {
            br.close();
        }
    }
}

Python 3

with open("some_file.txt", "r") as f:
    d = f.read()
print(d)

예시 5: HashMap 또는 Dictionary

Key와 value로 이루어진 데이터 타입을 자바에서는 HashMap, 파이썬에서는 dictionary라고 부른다. Dictionary는 1) key가 unique하다는 점과 2) item에 순서가 없다는 점이 독특하다. Dict에 대한 상급 활용법이 궁금한 사람은 이 곳을 살펴보자.

Java 1.7

import java.util.*;

public class HashTest {
    public static void main(String[] args) {
        // create hashmap
        HashMap<String, String> studentIds = new HashMap<String, String>();
        studentIds.put("홍길동", "13083301");
        studentIds.put("김미자", "11030104");
        studentIds.put("박은정", "11121994");

        // iterate over hashmap
        for (Map.Entry<String, String> entry : studentIds.entrySet()) {
            System.out.println("Key: " + entry.getKey() + ", Value: " + entry.getValue());
        }

        // get keys
        System.out.println(studentIds.keySet());

        // get value for key
        System.out.println(studentIds.get("박은정"));
    }
}

Python 3

# -*- coding: utf-8 -*-

# create dictionary
student_ids = { "홍길동": "13083301",
               "김미자": "11030104",
               "박은정": "11121994" }

# iterate over hashmap
for k, v in student_ids.items():
    print("Key: " + k + ", Value: " + v)

# get keys
print(student_ids.keys())

# get value for key
print(student_ids["박은정"])

앞서 살펴본 예시와는 달리 아래 파이썬 코드의 상단에 # -*- coding: utf-8 -*-이라는 특이한 줄이 생긴 것을 볼 수 있다. 이 줄은 PEP 263에 의해 제안된 것으로, 프로그램 상으로는 역할을 하지 않지만 코드에 영문 알파벳 등 기본적인 ASCII 문자 외에 다른 문자(ex: 한글)가 코드에 있는 경우 반드시 필요한 줄이다. 우리는 앞서 파일을 OS간 호환성을 위해 UTF-8으로 인코딩하여 저장했으므로, 파일이 UTF-8로 되어 있다고 선언한다. 만일 앞에서 파일을 UTF-8으로 저장하지 않았다면, 윈도우의 시스템 인코딩인 cp949로 선언해야 인코딩 에러를 피할 수 있을 것이다. (만일 cp949로 선언해도 인코딩 에러가 발생한다면, 터미널에서 chcp를 입력하여 내가 어떤 코드 페이지를 사용하고 있는지 확인하자.) 앞으로 고생을 덜기 위해 (그리고 다양한 프로그래밍 환경에서 작업하는 사람들과 원활하게 협업하기 위해) 다음의 두 가지는 습관화하는 것이 좋다:

파이썬 스크립트를 저장할 때 UTF-8 인코딩을 지정하고
파이썬 스크립트 최상단에 # -*- coding: utf-8 -*-과 같은 방식으로 인코딩을 명시하자.

예시 6: Array 또는 List

순서가 존재하는 데이터 타입인 배열(array)은 어떻게 선언할까?

Java 1.7

import java.util.ArrayList;

public class ArrayTest {
    public static void main(String[] args) {
        // create arraylist
        ArrayList<String> myList = new ArrayList<String>();
        myList.add("a");
        myList.add("b");
        myList.add("c");
        myList.add("d");
        myList.add("e");
        System.out.println(myList);

        // get item in arraylist
        System.out.println(myList.get(3));

        // split arraylist
        System.out.println(myList.subList(1, 4));
    }
}

Python 3

# create list
my_list = ['a', 'b', 'c', 'd', 'e']
print(my_list)

# get item in list
print(my_list[3])   # returns 'd'

# split list
print(my_list[1:4]) # returns ['b', 'c', 'd']

많은 프로그래밍 언어는 배열에 속하는 item의 번호, 즉 index를 매길 때 1이 아니라 0부터 시작한다. 그러니까 위의 my_list에서 item 'a'의 index는 0, item 'b'의 index는 1, item 'e'의 index는 4이다. 이 때 my_list[3]이라고 입력하면 index 값이 3인 item을 가져오라는 뜻이며, 따라서 'd'를 출력한다. 한편 list를 분할할 때는 my_list[1:4]라고 입력하는데, 이는 index가 1인 item부터 index가 4인 item _직전_까지 가져오라는 의미이다. list 분할은 데이터 분석에서 데이터를 두 개 이상의 set으로 partitioning할 때 활용할 수 있다. 가령 위의 my_list를 ['a', 'b', 'c']와 ['d', 'e']로 나누는 것은 아래와 같이 다양한 방식으로 할 수 있다. (세 경우 모두 같은 결과를 낳는다)

p1, p2 = my_list[0:3], my_list[3:5]
p1, p2 = my_list[:3], my_list[3:]
p1, p2 = my_list[:-2], my_list[-2:]

위에서 볼 수 있듯 my_list[:4]라고 입력하면 처음부터 index가 4인 item _직전_까지 반환하고 my_list[1:]을 입력하면 index가 1인 item부터 마지막 item까지 반환한다. 음수 index를 명시하면 마지막에서부터 index를 세게 되는데, (위 예시의 경우 배열의 길이인 len(my_list)에서 2를 뺀 값) 이것도 아주 편리하게 이용되는 기능이다.

예시 7: 클래스(class)와 상속(inheritance)

예시 1에서도 설명했지만, 파이썬에서는 클래스를 반드시 선언해주지는 않아도 된다. 하지만, 클래스가 유용한 경우는 종종 있고, 파이썬에서도 클래스를 만들 수 있다. 아래 코드를 참고하자.

Java 1.7

class Animal {
    protected String name;
    public Animal(String name) {
        this.name = name;
    }
    public void saySomething() {
        System.out.println("I am a " + name + ".");
    }
}

class Dog extends Animal {
    public Dog(String name) {
        super(name);
    }
    public void saySomething() {
        System.out.println("I am a " + name + ". Bark, bark!");
    }
}

public class ClassTest {
    public static void main(String[] args) {
        Dog dog = new Dog("Chiwawa");
        dog.saySomething();
    }
}

Python 3

class Animal():

    def say_something(self):
        print("I am a " + self.name + ".")

    def __init__(self, name):
        self.name = name

class Dog(Animal):
    def say_something(self):
        print("I am a " + self.name + ". Bark, bark!")

dog = Dog("Chiwawa")
dog.say_something()

2단계: 파이썬 IDE 설치

지금까지 IDE 없이 파이썬 스크립트를 작성하고 실행해보았다. 어떤가? 나쁘지 않은가? 사실 별도의 IDE 없이 좀 더 괜찮은 에디터를 사용해서 파이썬 프로그래밍을 하는 프로그래머도 많이 있다. 가령:

등만 잘 활용해도 충분하다. 하지만 IDE의 풍부한 기능을 사용하고 싶다면 다음의 몇 가지 대안을 검토해볼 수도 있다.

PyCharm
Eclipse
Visual Studio
...and more

또는, 터미널로 돌아가서, ipython을 입력하는 대신 ipython notebook이라고 입력해보자. 신세계가 열릴 것이다!

What's next?

이제 설치도 끝났고 파이썬이 대강 어떻게 돌아갔는지 살펴보았다
그렇다면 다음 단계는 뭘까?
앞으로 우리는 몇 시간에 걸쳐 각종 데이터마이닝 알고리즘에 대해 공부하고, 각각을 파이썬 코드를 이용해 직접 돌려볼 것이다
하지만 파이썬을 책으로 좀 더 깊게 들여다보고 싶다면? 아래 링크들을 참고해보자
- 초급: Learn Python the hard way (번역본)
- 중/고급: The hacker's guide to Python (번역본)
- 데이터 분석 (적어도 초급은 떼고 시작하면 좋음): Python for data analysis (번역본)
난 책 같은거 필요없다! 온라인으로 배울 방법이 궁금하다면?
- Code Academy
- Getting started with Python for data science
난 바로 실전으로 들어간다. 파이썬을 활용한 연습문제를 풀어보고 싶다면?
- Python Challenge: 파이썬보다는 퀴즈
- Project Euler: 파이썬보다는 알고리즘
가장 중요한 것: 여러분이 이 과정을 즐기는 것이 가장 중요합니다.
- 프로젝트도, 여러분이 스스로 흥미와 재미를 느낄 법한 주제를 골라보는 것이 중요해요.
- 과연 그게 뭘까요? 내가 가진, 혹은 앞으로 이 수업을 통해 가질 기술로, 나는 나의 삶을, 우리 학교를, 서울시를, 대한민국을, 세계에 어떤 영향을 줄 수 있을까요?
제안: 프로젝트 팀을 짜고나면 프로젝트 뿐 아니라 파이썬 스터디도 같이 진행해보면 어때요?

Appendix

초짜 프로그래머가 프로그래밍 잘하는 법

에러 메세지를 잘 읽자 (read, not see). 흔히들 시험 볼 때 문제 속에 답이 있다고 하는데, 프로그래밍할 때는 에러 메세지 속에 이유가 있다. 진짜다.
구글링!
- 주의: 구글링을 한다고 무조건 좋은 레퍼런스가 찾아지는 것은 아니다
- 보통은 공식 문서 (official documents) / API가 가장 좋은 레퍼런스 (ex: docs.python.org <- 웹문서의 도메인을 잘 보라.)
Learn how to program, rather than just accomplishing the task
- 프로그래밍을 배우는 것과 복/붙하는 것은 다르다 (참고: Teach yourself programming in ten years)
- 일단 프로그램이 작동하게 하는데 성공했다면, 왜 작동했는지를 이해하자.
Follow coding conventions. 많은 똑똑한 사람들이 선택한 방법에는 이유가 있다.
- PEP-8
변수/파일에는 직관적인 이름을 붙여주자.

There are two hard things in computer science: cache invalidation, naming things, and off-by-one errors.
— Jeff Atwood (@codinghorror) August 31, 2014

윈도우 프로그래머를 위한 팁

윈도우에서 자주 속썩이는 것들
1. 인코딩이 골치. UTF8 쓰는게 OS간 호환성에 가장 좋지만, 윈도우는 cp949이 기본. 한글 사용자라면 유니코드가 뭔지 알아보자.
  - 한편, 파이썬 스크립트를 실행했을 때 아래의 에러가 생길 수 있다.
```
UnicodeEncodeError: 'cp949' codec can't encode character '\u20a9' in position 90: illegal multibyte sequence`
```
  - 이는 윈도우에서 기본 인코딩을 cp949를 사용하고 있지만, 우리가 utf8을 사용해서 발생하는 문제다. 한번 확인해볼까?
```
import locale; locale.getpreferredencoding()     # 아마 cp949, 바꿔주지 않아도 되나 매번 인코딩 명시해야
import sys; sys.stdout.encoding                  # 아마 cp949, 이건 PYTHONIOENCODING 환경변수를 utf8로 설정하면 바뀜
import sys; sys.getdefaultencoding()             # 아마 utf8, 굿
```
  - 이 때 애를 먹지 않기 위해서는 두 가지 대응 방법이 있는데
    - 1) 일괄적으로 utf-8을 사용하지 않고 cp949를 쓰거나
    - 2) 다소 번거롭더라도 utf-8을 사용하도록 설정을 변경하는 것이다
  - 위에서 2)를 따를 경우, 지금 당장 할 수 있는 것은 딱 한 가지이다. 윈도우의 환경변수 설정에 들어가서 PYTHONIOENCODING의 값을 utf-8로 설정하는 것. 그 후에 쉘을 다시 닫았다가 연 후 아래를 입력해보자. 아마 값이 달라졌을 것이다.
```
import sys; sys.stdout.encoding                  # 아마 utf-8
```
2. Newlines가 골치.
3. 역슬래시가 골치
  - 왜 내 키보드에는 역슬래시가 없을까? (폰트 문제)
  - 폴더 구분자를 쓸 때 왜 역슬래시를 두 번 표기해야할까?
  - 폴더 구분자를 쓸 때 왜 역슬래시 대신 슬래시를 쓸까?
4. 사용자(user)의 홈디렉토리(home directory)에 대한 개념을 익히자
  - 보통 사용자가 "lucypark"라면 윈도우에서 홈디렉토리는 C:\Users\lucypark. 맥이나 리눅스에서는 ~/
  - 다른 OS를 한번쯤 써보면 금세 익힐 수 있게 된다!
5. 탐색기(Explorer) 설정 변경
"파일 확장명 숨기기" 선택 해제를 하고 나면 다음과 같이 된다. 파일이 확장자(extension)가 있는지, 없는지, 있다면 어떤 확장자인지 아는 것은 중요하다. 확장자는 우리가, 그리고 컴퓨터가, 파일이 어떤 프로그램으로 실행할 수 있는지 알 수 있는 힌트이기 때문이다.

그 밖의 유용한 참고자료

Java vs Python
최성철, 산업공학과를 위한 프로그래밍 입문 (w/파이썬) Part 1: 파이썬 기초, 2014.
최성철, 산업공학과를 위한 프로그래밍 입문 (w/파이썬) Part 2: 파이썬 활용, 2014.
김태훈, 140분의 Python: 소개부터 문법 실습까지, 2015.

Course Introduction

2015-03-06T15:00:00+09:00

About the instructor

Eunjeong (Lucy) Park
PhDc for data mining at Seoul National University
You can call me "Ms. Park"
- Normally to professors, using "Dr." is a better idea
a.k.a., lucypark, echojuliett, e9t

Course logistics

Course objective: Pragmatic data mining on real data
Work for the course
- Class meets every Friday 15:00-18:00
- Most classes will be consisted of two parts
  1. Lectures and/or tutorials
  2. Short presentations by students
Course website: http://lucypark.kr/courses/2015-ba
- Lecture notes
- Schedule/Announcements
Schedule: http://lucypark.kr/courses/2015-ba/#schedule
Office hours
- Right before every class
- You are welcome to ask any kind of questions
- You are also encouraged to book ahead, or your meeting may have to be deferred to another time
Grading
- Assignments (20%): Two graded assignments related to your project, and two reading assignments during the semester
- Mid-term exam (20%): In-class exam covering the first half of the semester
- Finals (60%): Finals consist of an in-class exam and a project presentation

Term Project

You will be conducting a term project throughout the semester
Term projects will be done as individual work
There will be two designated assigments according to the project, and one graded presentation at the end of the semester
Extra credit will be given to those who submit and/or rank in public tournaments (ex: Kaggle)

Reading assignments

Charles Wheelan, Naked Statistics: Stripping the Dread from the Data (There's also a Korean version, so pick a version that suits you)
You will be picking two chapters

Advice on your projects

The best topics are the topics you are actually interested in
- You should be able to "dogfood" your own analysis
Don't be afraid to shift the project's direction
- However, shifting too much will give you less time for real work -- balance!
Feel free to use project results in your graduation project or paper
- Grab two rabbits at once!
- These projects have potential to become something in your portfolio
- May be a plus when you get a job, or apply for grad school

Presenting project progress

Update your progress (Max. 10 minutes)
1. Prepare printouts (for the whole class) or slides or whatever format that best conveys your work
  - Please share your materials at the forum before class
2. Be brief yet clear
  - Note: Clarity wins brevity
3. Take notes
  - Keep precise research progress and feedback notes
A good presentation contains the following:
1. What questions you had
2. What approach you chose to alleviate such questions
3. What results you achieved
4. What questions you further got and what you plan to do next
5. (Optional) Tricks and tips you want to share with the class

Asking questions

Never hesitate in asking questions

Private questions: 2015-ba@dm.snu.ac.kr
- Personal questions and/or requests
- Assignment submissions that regard privacy
Public questions: 2015-ba@googlegroups.com
- This is the class forum
- Everything else you want to ask goes here
- Using any language of your choice (ex: English, Korean, Java, ...)
- Asking good questions at the class forum
  - Provide as much details as you can
  - However, be "brief" and "clear"
  - In case of programming questions, explicitly list versions of software being used (including packages and OSs)

Academic integrity

Academic integrity is the moral code or ethical policy of academia. There may be times you are tempted to be dishonest, cheat, or plagarize other work, but in this course (and undoubtfully in all other classes), we encourage you to approach your work with honesty and integrity.

What is disallowed
- Don't ask another student to do the work for you
- Don't fabricate experimental results
- Don't cheat on exams, and don't let anothers copy your answers
What is allowed
- Do trust your ability
- Do give credit to others' work (Mind your citations!)
- Do brag about your acheivements

Assignments

2015-03-06T09:00:00+09:00

For assignment guidelines, visit the class e-class.

Assignment 0: 자기소개서 쓰기

마감일: 2015-03-11 23:59
제출처: e-class

A4 용지 1페이지 이내로 자기소개서를 작성해봅시다. 형식은 자유이지만 아래의 내용은 꼭 포함시켜주시기 바랍니다.

이름, 전화번호, 메일주소, 사진
성격, 취미, 특기, 동아리 활동 등
프로그래밍 경력 (사용 가능한 언어, 상중하 수준, 언어를 이용해 진행한 일)
데이터마이닝 수업을 듣게 된 이유, 수업을 통해 얻고 싶은 것
졸업 후 계획, 가고 싶은 학교 또는 회사

Project proposal

마감일: 2015-03-18 23:59
제출처: e-class

팀프로젝트에서 진행할 데이터마이닝 아이디어 한 가지를 제안해주세요. 제안서는 A4 용지 1페이지 이내로 작성하고 PDF로 변환하여 올려주시기 바랍니다.

프로젝트에 대한 자세한 사항은 이 링크를 참고해주세요.

Assignment 1: Classification

마감일: 2015-04-02 23:59
제출처: e-class

Assignment 1은 수업 시간에 사용한 MNIST 데이터셋을 이용한 학습을 실제로 해보는 것입니다. 아래의 다섯 가지 문항에 대한 답을 문서로 작성하고 PDF로 변환한 후 올려주시기 바랍니다.

수업 시간에 배운 logistic regression 알고리즘을 학습해보자. 단, 이번에는 1) Binary가 아니라 전체 10개의 범주(class)에 대해 분류해보고, 2) 성능과 학습 시간을 모두 측정해보는 것이 목표이다.

먼저 scikit-learn을 통해 MNIST dataset을 loading하고, partitioning해보자.

from sklearn import datasets, cross_validation
d = datasets.fetch_mldata('MNIST original', data_home='.')
X, y = d['data'], d['target']
X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, y, test_size=0.4, random_state=1234)

참고: d = datasets.fetch_mldata('MNIST original', data_home='.')에서 HTTP Error 500: Internal Server Error를 내면서 죽는다면 mldata.org 사이트의 접속량 폭주 때문일 수 있다. 이 때 해결법은 두 가지가 있다.
1. 접속이 원활해질 때까지 기다렸다가 잠시 후에 다시 시도해보거나
2. 이 파이썬 파일을 현재 디렉토리에서 실행해보자.
현재 디렉토리에 mldata라는 폴더가 생기고, 그 안에 mnist-original.mat이라는 이름으로 약 54MB 크기의 파일이 저장되었다면 성공이다.

학습시간을 측정하기 위해 다음과 같이 time 모듈을 사용해보자. 다만, 코드가 무슨 말인지는 꼭 이해하고 가자! 이해가 안 된다면 이 참에 구글링도 하고 scikit-learn 공식 문서도 뒤져보자. 우리의 목표는 이 숙제를 완성하는 것이 아니라 실제로 데이터를 가지고 놀 수 있는 능력을 키우는 것이다.

시간이 오래걸릴 것이니 밥을 먹고 와도 좋다.

from time import time
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression(random_state=1234)
s = time(); lr.fit(X_train, y_train); t = time() - s
print(t)

1: 로지스틱 회귀분석으로 MNIST 데이터를 학습하는데 시간이 얼마나 걸렸는지 기록하자.

학습이 다 됐는가? Training하느라 우리 컴퓨터가 수고 많았다. 매번 그 과정을 거치면 우리 컴퓨터가 너무 힘드니까 모델을 저장해보자. 이 때 모델의 이름은 길더라도 의미있게 짓는 것이 좋다. (여기서는 random_state라는 파라미터를 입력했으니 그것을 변수명에 넣어보겠다.) 여기서 파일 확장자로 사용한 pkl은 pickle 파일이라는 것을 나타낸다. pickle은 파이썬에서 오브젝트(object)를 binary로 저장하는 방식 중 하나이다.

from sklearn.externals import joblib
joblib.dump(lr, 'lr_randomstate_1234.pkl')

위 코드를 입력하면 내 컴퓨터에 한 개(혹은 그 이상)의 파일이 생성되는 것을 확인할 수 있다. (참고자료: Model persistence)

이렇게 모델을 파일로 저장하고나면 다음부터는 컴퓨터를 재부팅하고도 다시 많은 시간을 투자해서 모델을 학습하지 않고 아래와 같이 모델을 파일로부터 로딩할 수 있다.

lr = joblib.load('lr_randomstate_1234.pkl')

2: 생성된 학습 모델 파일명과 파일의 크기가 몇 KB인지 기록하자. 파일이 여러 개 생성되었다면 각 파일의 이름과 크기를 모두 기록하자.

우리가 LogisticRegression 클래스의 instance를 생성할 때 사용한 파라미터는 아래의 명령어로 찾을 수 있다.

p = lr.get_params()

3: 어떤 값들이 출력되는가? 각 파라미터는 어떤 의미를 가지는지 설명해보자. 잘 모르겠다면 이 문서를 확인해보자.

4: 이 파라미터들을 사용했을 때 test set에 대한 정확도(accuracy), 정밀도(precision), 재현율(recall), F-score는 각각 얼마인지 계산해보자.

print(lr.score(X_test, y_test))

5: 분류 알고리즘은 logistic regression 뿐 아니라 k-NN, Decision trees, SVM, Neural Networks 등 다양하게 있다. Logistic regression을 제외하고 다른 분류 알고리즘을 적어도 하나 택해서 Logistic regression으로 MNIST dataset에 대한 학습 시간과 정확도를 비교해보자.

로지스틱 회귀분석 모형의 학습 시간이 엄청 길었을 것이다. 그런데 왜 그랬을까? 공식 문서에도 나와있듯 multi-class, 즉 다범주 문제에 대해서 scikit-learn의 구현체가 multinomial logistic regression을 구현하지 않았기 때문이다. 즉, 우리가 수업 시간에 다룬 1-against-all 모델을 모든 범주, 그러니까 총 10개의 범주에 대해서 다 시행한 것이다. 따라서 원래 모델 하나를 학습하는 시간보다 약 10배의 시간이 걸렸을 것이다.

Extra credit: 학습 속도를 높이면서 성능은 유지하거나, 학습 속도를 유지하면서 성능을 높일 수 있는가? 어떻게 하면 되는가? 이 때 어떤 파라미터를 썼는가?

Assignment 2: Dimensionality reduction

마감일: 2015-05-07 23:59
제출처: e-class

Assignment 2은 Assignment 1에서 다룬 MNIST 데이터셋을 이용하여 PCA를 이용한 차원축소를 하는 것입니다. 아래의 세 가지 문항에 대한 답을 문서로 작성하고 PDF로 변환한 후 올려주시기 바랍니다.

이번에는 Assignment 1에서처럼 sklearn.datasets.fetch_mldata()를 사용하지 말고, sklearn.datasets.load_digits()를 사용해서 약식의 MNIST 데이터를 loading해보자.

d = datasets.load_digits()      # sklearn의 datasets에 완비된 mnist 데이터 로딩
X, y = d['data'], d['target']   # X, y 변수를 생성하여 각각 독립변수와 종속변수를 넣음

1: 변수 X는 몇 개의 record(row)와 몇 개의 attribute(column)로 구성되어 있는가? 첫 다섯 개의 record가 각각 어떤 X값을 가지는지 기록해보자.

2: 파이썬의 scikit-learn 패키지에서 PCA를 할 수 있는 함수를 찾아 X를 2개의 차원으로 전사하여 Z라는 변수에 저장하자. Z는 몇 개의 record(row)와 몇 개의 attribute(column)로 구성되어 있는가? 또, 첫 다섯 개의 record는 각각 어떤 X값을 가지게 되었는가?

3: 1, 2번을 수행한 코드를 붙여넣고, 첫째줄부터 마지막줄까지, 작성한 코드의 각 줄이 어떤 동작을 하는지 설명해보자.

Extra credit: PCA를 이용하여 MNIST 데이터를 두 개의 차원으로 전사한 결과값 Z를 2차원 평면의 그래프로 그려보자. 파이썬을 이용해도 좋고, 전사한 데이터를 파일로 저장하여 다른 언어를 이용해 시각화해도 좋다. 참고로, PCA를 이용하여 iris 데이터셋을 3차원으로 전사시켜 시각화한 예시는 이 링크에서 볼 수 있다.

Course Introduction

2015-03-06T09:00:00+09:00

About the instructor

Eunjeong (Lucy) Park
PhDc for data mining at Seoul National University
a.k.a., lucypark, echojuliett, e9t

Course logistics

Course objective: Understanding data mining algorithms
Course website
- Schedule/Lecture notes: http://lucypark.kr/courses/2015-dm
- Everything else: e-class
Office hours
- Right after every class
- You are welcome to ask any kind of questions
- You are also encouraged to book ahead, or your meeting may have to be deferred to another time
Grading
- Assignments (30%): Three graded assignments for you to submit online
- Final exam (30%): In-class exam covering the whole semester
- Term project (40%): Group work solving a real world problem

Assignments (30%)

Three graded take-home assignments for you to submit online
Instead of taking a mid-term exam, we will have assignments for reviewing purposes
Assignments consist of a quiz and a programming task
- Frankly, the quiz is not for assessment but for you to review and/or preview class materials
- Programming tasks will cover what you have studied during class. You will have done most of the work in class already. What you're going to do at home is to wrap up your work and document it.
- Will be open early, and can be submitted at any time
Note the submission date
- The assignments will still be open even after the due date but you won't get any credit for solving it

Final exam (30%)

In-class exam covering the whole semester
Consists of an easy 80%, a relatively hard 20%
- If you have fully understood the contents of the assignments, the easy 80% wouldn't be a problem

Term Project (40%)

Proposal (10/40)

Individual work
Submit 1 data mining project idea within 1 page (Due: 2015-03-18 23:59)
- Delay penalty: 100% off after due (No delays allowed)
Suggested contents
1. Background: What question do you have? Why is this problem important?
2. Formulation: Convert your problem into a data mining problem. What are the inputs and outputs? What algorithms are you going to use? (ex: Classification, clustering, regression, text mining, etc.)
3. Data acquisition: How are you going to obtain the data?
4. Expected results
5. Expected (business) implications
Evaluation will be based on following criteria
1. 아이디어가 가지는 의미 (5점)
2. 아이디어의 구체화 정도 (5점)
Fix the team with a team leader at e-class (Due: 2015-03-18 23:59)
Choose a topic (Due: 2015-03-29 23:59)
- Among your teammates' proposals, select one topic and conduct a project as a group
- You can also choose topics among Kaggle

Progress presentation (15/40)

Submit presentation slides (Due: 2015-05-07 23:59)
- It is recommended that you have done approx. 70-80% of your whole project by this date
- Submit presentation slides to the e-class
- No page limits
- Delay penalty: 50% off (next day) 100% off (after presentation)
Suggested contents: Your proposal + the following
1. (Optional) If you have changed the subject, what was the reason?
2. Data Exploration
3. What approach you chose to alleviate such questions
4. What results you achieved
5. What questions you further got and what you plan to do next
6. Tricks and tips you want to share with the class
Presentation day (2015-05-08)
- You will present your project progress in front of the class (Max. 10 min)
- Peer assessment
  - You will also be grading your peers' work on presentation day
  - You will be given three votes
  - You can give one vote to three teams, or give all votes to one team
  - You will also be reviewing contributions of your own teammates
- Be brief yet clear
- Record the feedback
  - One can make the slides
  - Another can prepare for the presentation
  - And another can do the presentation
  - Yet another can take feedback notes

Final report (15/40)

Present what your group has done throughout the whole project in more than 10 pages (Due: 2015-06-14 23:59)
- Delay penalty: 50% off (next day) 100% off (after that)
You will also be grading your teammates, based on their contributions
Extra credit will be given to those who submit and/or rank in an open tournament (ex: Kaggle)
Suggested contents: Your progress report + the following
- Enhanced results
- (Business) implications
- Future work

More advice on your projects

The best topics are the topics you are actually interested in
- You should be able to "dogfood" your own analysis
Don't be afraid to shift the project's direction
- However, shifting too much will give you less time for real work -- balance!
Feel free to use project results in your graduation project or paper
- Grab two rabbits at once!
- These projects have potential to become something in your portfolio
- May be a plus when you get a job, or apply for grad school

Asking questions

Never hesitate in asking questions

Private questions: 2015-dm@dm.snu.ac.kr
- Personal questions and/or requests
- Assignment submissions that regard privacy
Public questions: Everything else you want to ask goes to e-class
- Using any language of your choice (ex: English, Korean, Java, ...)
- Asking good questions
  - Provide as much details as you can
  - However, be "brief" and "clear"
  - In case of programming questions, explicitly list versions of software being used (including packages and OSs)

데이터마이닝을 소개합니다

2015-03-06T09:00:00+09:00

이번 시간이 끝나고 나면: 데이터마이닝에 대해 정의할 수 있게 됩니다.

한 마디로 "데이터마이닝"은?

대용량의 데이터에 담긴 의미있는 규칙을 찾는 일

그런데 데이터마이닝(data mining)은...

많은 자료 속에 숨어있는 일정한 패턴(규칙)을 발견하는 일이기에 패턴인식(pattern recognition)의 영역과 맞닿아 있으며
컴퓨터를 학습(훈련)시키는 기계학습(machine learning)과도 유사합니다
좀더 발전적인 개념으로는 인공지능(artificial Intelligence)도 있어요

2014년 기준 데이터마이닝, 패턴인식, 기계학습, 인공지능에 대한 구글 트렌드. 음? 그렇다면 빅데이터(big data)는? 데이터사이언스(data science)는?

이 영역들은 각기 다른 탄생 배경을 가지고, 엄밀하게는 철학과 목적이 상당히 다르기도 하지만, 방법론의 측면에서는 상당히 유사해서 각 영역끼리 서로 배우는 점도 많지요. 사실 공부도 같은 책으로 많이 해요. (심도있는 공부를 원하시는 분들은 아래 책들도 한 번 찾아보세요!)

데이터가 우리 삶을 돕는 다섯 가지 방법

데이터가 우리 삶을 바꿀 방법

Jarvis and Samantha
IOT

데이터마이너가 되면 좋은 점

세상의 다양한 면을, 다양한 관점에서 살펴볼 수 있습니다
- 마케팅부터 시작해서,
- 주가의 흐름을 예측하거나(금융),
- DNA 분석이나 MRI 영상을 분석하기도 하며(의료),
- 디지털 카메라에서 얼굴 인식(기계)을 하기도 합니다.
사실상 직업이 매일 바뀌는 것이나 다름없음
물론 그 외에도 우리가 상상할 수 있는 대부분의 영역에 데이터마이닝이 적용된다는 사실!

다음 시간 예고: 데이터마이닝을 할 때 가장 중요한 것은? Asking the right question.

How to upload files and get a URL

2015-03-05T21:51:00+09:00

Using Google Drive

Go to Google Drive and log in.
Upload your file.
- If you have created your assignment in something other than Google Drive: Upload your assignment to Google Drive by clicking the "New" button and "File upload".
- If you have created your assignment in Google Drive: Go to the next step.
Change the sharing settings for your file. You can do this by following the steps below.
1. Right-click on the file name and clicking "Share...", or open the file and click the "Share" button on the upper right side of the page.
2. Click "Get sharable link" on the upper-right side of the popup menu.
3. Copy the link for the document.
Congratulations! Now you can share your file with whomever you want by pasting that URL anywhere.

Using Dropbox

Go to your Dropbox folder.
Right-click on a file and click "Share Dropbox Link".
You're done already! Go share the URL somewhere.

Business Analytics (Spring 2015)

2015-03-02T00:00:00+09:00

Welcome to Business Analytics class of 2015! Here you'll find all course materials, guides and schedules. In case you have questions, feel free to send an email to 2015-ba@googlegroups.com (or directly write a new topic at the forum below).

Data mining and analytical skills are at the heart of solving many important problems in our world. In this course, we aim to derive technology-based solutions to such problems, and develop strategical decision making abilities based on data.

Specifically, we discuss technologies, applications, practices, and skills for continuous iterative exploration and investigation of business performance with external data collected from diverse sources such as the Web, in order to gain insights and drive business planning. Topics include statistical and quantitative analysis, explanatory and predictive modeling, as well as text analytics with visualization. Students are required to present progress on their work during the semester, and are assessed by a set of assignments, quizzes and exams.

Note that this course is the second part of a two part sequence. We assume you have already taken Data Mining (ex: IISE113503), the first part of the sequence, where methods and algorithms for mining data were discussed. This course is the latter part of the sequence, and will be more advanced and project-focused.

Prerequisites

Familiarity in data mining algorithms
Good knowledge with at least one programming language (ex: R, Python, Java, etc.)

What you will learn

Use algorithms to extract meaningful insight from large datasets
Understand the usage of data mining in a domain of interest
Develop analytical and data-based thinking

Grading

Assignments (20%): You will be given four graded assignments during the semester.
Mid-term Quiz (20%): A mid-term quiz.
Final Exam (60%): A final exam and presentation.

Schedule

date	lecture	assignment
3/06	Course introduction Course logistics GitHub Having fun with Kaggle	Homework 0 (Due: 3/11) CV + Self-intro
3/13	Tools for pragmatic data mining Bash Python Statistical Summaries and Exploratory Data Analysis	-
3/20	Scraping from the Web Proposal presentations	Project proposals (300 words+)
3/27	Text mining 1: Text exploration	-
4/03	Text mining 2: Topic modeling Share reading assignment	-
4/10	Regression and Predictive modeling Recommender systems Share project progress	-
4/17	Mid-term Quiz	-
4/24	Clustering and Dimensionality Reduction Singular value decomposition (SVD) Share reading assignment	-
5/01	Visualization and storytelling 1 Share reading assignment	-
5/08	Visualization and storytelling 2 Share reading assignment	Progress report (1K+ words)
5/15	Going deep: Deep learning Share reading assignment	-
5/22	Going big 1: Map/reduce Share reading assignment	-
5/29	Going big 2: Spark Share reading assignment	-
6/05	Final presentation	Project final report (3K+ words)
6/12	Final exam

Data Mining (Spring 2015)

2015-03-02T00:00:00+09:00

Welcome to Data Mining class of 2015! Here you'll find all course materials, guides and schedules. For discussions, please visit the class e-class.

데이터마이닝(data mining)이란 대용량 데이터베이스에 존재하는 데이터에서 관계, 패턴, 규칙 등을 찾아내고 모형화해서 의사결정을 돕는 유용한 정보로 변환하는 일련의 과정이다. 본 강좌에서는 기술 모델링(descriptive modeling)과 예측 모델링(predictive modeling)에 사용되는 탐색적 통계, 기계학습, 범주형 자료분석 기법들을 공부하고 응용사례 연구와 패키지를 이용한 프로젝트를 수행한다.

Prerequisites

한 가지 이상의 프로그래밍 언어에 대한 친숙함 (ex: R, Python, Java, etc.)

What you will learn

데이터마이닝의 기본 개념, 구축 프로세스 학습 및 비즈니스 활용 사례 인식
데이터마이닝의 주요 방법론의 이론적 토대 학습 및 응용 분야 학습
데이터마이닝 분야에서 널리 사용되는 오픈소스 데이터 분석 언어인 파이썬 사용 방법 학습

Grading

Assignments (30%)
Final exam (30%)
Term Project (40%)

Schedule

For assignment guidelines, visit the class e-class.

date	lecture
3/06	Course introduction Data mining Assignment 0 (Due: 3/11) + Project proposal (Due: 3/18)
3/11	Due date: Assignment 0
3/13	지도학습 1: Multiple linear regression Introduction to Python
3/18	Due date: Project proposal, Fix project teams
3/20	지도학습 2: Logistic regression Assignment 1 (Due: 4/2)
3/27	지도학습 3: Decision tree + k-NN In class project discussions
3/29	Due date: Choose team project topic
4/02	Due date: Assignment 1
4/03	텍스트 마이닝 1: 이론
4/10	텍스트 마이닝 2: 실습
4/17	변수 선택과 차원 축소 Assignment 2 (Due: 5/07)
4/24	비지도학습 1: k-means + hierarchical clustering
5/01	비지도학습 2: Market basket analysis
5/07	Due date: Assignment 2
5/07	Due date: Team project presentation slides
5/08	Team project presentations
5/15	지도학습 5: Artificial neural networks Assignment 3 (Due: 6/4)
5/22	지도학습 6: Support vector machines
5/29	데이터 시각화
6/04	Due date: Assignment 3
6/05	대용량 데이터마이닝
6/12	Final Exam
6/14	Due date: Team project final report

Data Mining (Spring 2015)

2015-03-02T00:00:00+09:00

Welcome to Data Mining class of 2015! Here you'll find all course materials, guides and schedules. For discussions, please visit the class e-class.

Prerequisites

한 가지 이상의 프로그래밍 언어에 대한 친숙함 (ex: R, Python, Java, etc.)

What you will learn

데이터마이닝의 기본 개념, 구축 프로세스 학습 및 비즈니스 활용 사례 인식
데이터마이닝의 주요 방법론의 이론적 토대 학습 및 응용 분야 학습
데이터마이닝 분야에서 널리 사용되는 오픈소스 데이터 분석 언어인 파이썬 사용 방법 학습

Grading

Assignments (30%)
Final exam (30%)
Term Project (40%)

Schedule

For assignment guidelines, visit the class e-class.

date	lecture
3/06	Course introduction Data mining Assignment 0 (Due: 3/11) + Project proposal (Due: 3/18)
3/11	Due date: Assignment 0
3/13	지도학습 1: Multiple linear regression Introduction to Python
3/18	Due date: Project proposal, Fix project teams
3/20	지도학습 2: Logistic regression Assignment 1 (Due: 4/2)
3/27	지도학습 3: Decision tree + k-NN In class project discussions
3/29	Due date: Choose team project topic
4/02	Due date: Assignment 1
4/03	텍스트 마이닝 1: 이론
4/10	텍스트 마이닝 2: 실습
4/17	변수 선택과 차원 축소 Assignment 2 (Due: 5/07)
4/24	비지도학습 1: k-means + hierarchical clustering
5/01	비지도학습 2: Market basket analysis
5/07	Due date: Assignment 2
5/07	Due date: Team project presentation slides
5/08	Team project presentations
5/15	지도학습 5: Artificial neural networks Assignment 3 (Due: 6/4)
5/22	지도학습 6: Support vector machines
5/29	데이터 시각화
6/04	Due date: Assignment 3
6/05	대용량 데이터마이닝
6/12	Final Exam
6/14	Due date: Team project final report

Business Analytics (Spring 2015)

2015-03-02T00:00:00+09:00

Welcome to Business Analytics class of 2015! Here you'll find all course materials, guides and schedules. In case you have questions, feel free to send an email to 2015-ba@googlegroups.com (or directly write a new topic at the forum below).

Prerequisites

Familiarity in data mining algorithms
Good knowledge with at least one programming language (ex: R, Python, Java, etc.)

What you will learn

Use algorithms to extract meaningful insight from large datasets
Understand the usage of data mining in a domain of interest
Develop analytical and data-based thinking

Grading

Assignments (20%): You will be given four graded assignments during the semester.
Mid-term Quiz (20%): A mid-term quiz.
Final Exam (60%): A final exam and presentation.

Schedule

date	lecture	assignment
3/06	Course introduction Course logistics GitHub Having fun with Kaggle	Homework 0 (Due: 3/11) CV + Self-intro
3/13	Tools for pragmatic data mining Bash Python Statistical Summaries and Exploratory Data Analysis	-
3/20	Scraping from the Web Proposal presentations	Project proposals (300 words+)
3/27	Text mining 1: Text exploration	-
4/03	Text mining 2: Topic modeling Share reading assignment	-
4/10	Regression and Predictive modeling Recommender systems Share project progress	-
4/17	Mid-term Quiz	-
4/24	Clustering and Dimensionality Reduction Singular value decomposition (SVD) Share reading assignment	-
5/01	Visualization and storytelling 1 Share reading assignment	-
5/08	Visualization and storytelling 2 Share reading assignment	Progress report (1K+ words)
5/15	Going deep: Deep learning Share reading assignment	-
5/22	Going big 1: Map/reduce Share reading assignment	-
5/29	Going big 2: Spark Share reading assignment	-
6/05	Final presentation	Project final report (3K+ words)
6/12	Final exam

Courses

Visualization

What is data visualization?

Advantages of visualization

Data visualization process

Data visualization types

Visualizing multi-dimensional data

Univariate data (1D)

Bivariate data (2D)

Trivariate data (3D)

Multivariate data (>3D)

In-class Practice: Worldwide Disasters (1900-2008)

References

Support vector machines

Class overview

SVM: Support vector machines

Classification examples

Linear binary classification

SVM, the maximal margin classifier

Soft margin SVMs

Kernel methods

Programming SVMs

References

Visualization

[Review] Data visualization

Data types

Visual variables

Data visualization patterns

Map visualizations (Geomapping)

Projections

Visual variables for spatial data

Examples

Dot map: A dot for every data point

Choropleth map: Attribute uniformly distributed in region

Cartograms: Size of region scaled to attribute value

Visualization tools

D3

MapBox

Visualization

What is data visualization?

Advantages of visualization

Data visualization process

Data encoding

Data combinations and dimensions

Univariate data (1D)

Bivariate data (2D)

Trivariate data (3D)

Multivariate data (>3D)

Examples

Iris dataset

How to lie with visualization

Awesome visualization examples

In-class Practice: Worldwide Disasters (1900-2008)

References

파이썬으로 영어와 한국어 텍스트 다루기

지난 시간 복습

Terminologies

Text analysis process

Useful Python Packages for Text Mining and NLP

Text exploration

1. Read document

2. Tokenize

3. Load tokens with nltk.Text()

Tagging and chunking

1. POS tagging

2. Noun phrase chunking

Drawing a word cloud

파이썬으로 영어와 한국어 텍스트 다루기

지난 시간 복습

Terminologies

Text analysis process

Useful Python Packages for Text Mining and NLP

Text exploration

1. Read document

2. Tokenize

3. Load tokens with nltk.Text()

Tagging and chunking

1. POS tagging

2. Noun phrase chunking

Drawing a word cloud

3. Load tokens with `nltk.Text()`

3. Load tokens with `nltk.Text()`

Can I use `bash` in GNU systems only?

3. Load tokens with `nltk.Text()`

3. Load tokens with `nltk.Text()`