ジップの法則
ふとしたことで ジップの法則 というものを知りました。出現頻度の順位を x 軸、出現頻度を y 軸とする両対数グラフにすると、大まかに直線に近似する……というのが面白そうだったので、実際に試してみました。
法則が成り立つ例として単語の出現頻度が書かれていたので、青空文庫 のものを利用させていただきました。
ということで、10つの作品からグラフを作成してみました。
ダンテ アリギエリ著 神曲 (地獄)
島崎藤村著 夜明け前 (第一部上)
吉川英治著 三国志 (桃園の巻)
福沢諭吉著 学問のすすめ
江戸川乱歩著 怪人二十面相
夏目漱石著 こころ
太宰治著 人間失格
樋口一葉著 たけくらべ
アーサー・コナン・ドイル著 空き家の冒険
夏目漱石著 吾輩は猫である
こうしてグラフにしてみると、たしかに大まかに直線に近似していることが分かりますね。
というところで、今回グラフ作成に使ったプログラムも置いておきます。
このところ Go 言語をかじっていたので、勉強を兼ねて全部 Go で書こうかな……とも思ったのですが、やはり面倒くさくなってしまったので、かなりの部分はシェルスクリプトで書いてしまいました(；´∀｀)
あと、文字コード変換に nkf, 形態素解析に mecab, グラフ作成に plot を利用しているので、それらのインストールコマンドも置いておきます。また、nkf と mecab のインストールには Homebrew を使っています。
あと、青空文庫から文章ファイルをダウンロードしてグラフを作成するシェルスクリプト。
第1引数に文章ファイルの URL を指定して使います。たとえば、夏目漱石の 吾輩は猫である なら https://www.aozora.gr.jp/cards/000148/files/789_ruby_5639.zip を第1引数に指定します。
やっていることは非常にシンプルですが、青空文庫で公開されている文章はルビがふられているので、除去しています。
グラフを作る Go 言語のプログラム (シェルスクリプトの一番下の方で使っている zipf というコマンド)
いずれも、簡潔にするためにエラー処理はほとんど書いていません。
というわけで、ジップの法則を身近な作品で試してみました。
ジップの法則（ジップのほうそく、Zipf's law）あるいはジフの法則とは、出現頻度が k 番目に大きい要素が全体に占める割合が 1/k に比例するという経験則である。
ふとしたことで ジップの法則 というものを知りました。出現頻度の順位を x 軸、出現頻度を y 軸とする両対数グラフにすると、大まかに直線に近似する……というのが面白そうだったので、実際に試してみました。
法則が成り立つ例として単語の出現頻度が書かれていたので、青空文庫 のものを利用させていただきました。
ということで、10つの作品からグラフを作成してみました。
ダンテ アリギエリ著 神曲 (地獄)
島崎藤村著 夜明け前 (第一部上)
吉川英治著 三国志 (桃園の巻)
福沢諭吉著 学問のすすめ
江戸川乱歩著 怪人二十面相
夏目漱石著 こころ
太宰治著 人間失格
樋口一葉著 たけくらべ
アーサー・コナン・ドイル著 空き家の冒険
夏目漱石著 吾輩は猫である
こうしてグラフにしてみると、たしかに大まかに直線に近似していることが分かりますね。
というところで、今回グラフ作成に使ったプログラムも置いておきます。
このところ Go 言語をかじっていたので、勉強を兼ねて全部 Go で書こうかな……とも思ったのですが、やはり面倒くさくなってしまったので、かなりの部分はシェルスクリプトで書いてしまいました(；´∀｀)
あと、文字コード変換に nkf, 形態素解析に mecab, グラフ作成に plot を利用しているので、それらのインストールコマンドも置いておきます。また、nkf と mecab のインストールには Homebrew を使っています。
# nkf, mecab, plot のインストール
$ brew install nkf
$ brew install mecab
$ brew install mecab-ipadic
$ go get gonum.org/v1/plot/あと、青空文庫から文章ファイルをダウンロードしてグラフを作成するシェルスクリプト。
第1引数に文章ファイルの URL を指定して使います。たとえば、夏目漱石の 吾輩は猫である なら https://www.aozora.gr.jp/cards/000148/files/789_ruby_5639.zip を第1引数に指定します。
やっていることは非常にシンプルですが、青空文庫で公開されている文章はルビがふられているので、除去しています。
#!/bin/sh
URL=$1
ZIPFILE=`basename ${URL}`
echo "PROCESS: ${URL}"
# zip のダウンロード
curl --output ${ZIPFILE} ${URL}
# zip の展開
FILE=`unzip ${ZIPFILE} 2>&1 | egrep '.txt' | awk '{print $2}'`
rm ${ZIPFILE}
# 文字コードを Shift_JIS から UTF8 へ
nkf -Sw80 --in-place ${FILE}
# ルビを除去
sed -i -e 's/《[^》]*》//g' ${FILE}
rm ${FILE}-e
# 形態素解析
MECABFILE=${FILE}.mecab
# 1行がかなり大きいファイルがあるのでバッファサイズを多くとる
cat ${FILE} | mecab -b 32768 > ${MECABFILE}
rm ${FILE}
# グラフを作る
./zipf ${MECABFILE}
rm ${MECABFILE}グラフを作る Go 言語のプログラム (シェルスクリプトの一番下の方で使っている zipf というコマンド)
package main
import (
"bufio"
"os"
"strings"
"sort"
"math"
"gonum.org/v1/plot"
"gonum.org/v1/plot/plotter"
"gonum.org/v1/plot/plotutil"
"gonum.org/v1/plot/vg"
)
func main() {
var input string
if len(os.Args) <= 1 {
return
} else {
input = os.Args[1]
}
// 単語をカウント
counts := countWords(input)
// グラフを作る
p, err := plot.New()
if err != nil {
panic(err)
}
p.Title.Text = input
if err := plotutil.AddScatters(p, point(counts)); err != nil {
panic(err)
}
// グラフを画像ファイルに保存
output := input[0:strings.Index(input, ".")] + ".png"
if err := p.Save(5*vg.Inch, 5*vg.Inch, output); err != nil {
panic(err)
}
}
func countWords(path string) []int {
f, err := os.Open(path)
if err != nil {
panic(err)
}
defer f.Close()
// 単語をカウント
m := make(map[string]int)
scanner := bufio.NewScanner(f)
for scanner.Scan() {
line := scanner.Text()
if strings.Index(line, "EOS") != -1 || strings.Index(line, "\r") != -1 {
continue
}
word := strings.Split(line, "\t")[0]
m[word] = m[word] + 1
}
// ソートするためにスライスへ
var counts = make(sort.IntSlice, len(m))
i := 0
for _, v := range m {
counts[i] = v
i++
}
// 出現頻度でソート
sort.Sort(sort.Reverse(counts))
return counts
}
func point(counts []int) plotter.XYs {
pts := make(plotter.XYs, len(counts))
for i, v := range counts {
pts[i].X = math.Log10(float64(i + 1))
pts[i].Y = math.Log10(float64(v))
}
return pts
}いずれも、簡潔にするためにエラー処理はほとんど書いていません。
というわけで、ジップの法則を身近な作品で試してみました。
