2007年05月18日 03:30 [Edit]
ruby & perl - 軽量プロセスをthreadで代用
erlangで唯一萌える軽量プロセスですが、これはthreadでも比較的簡単に代用はできます。
Rubyist Magazine - Rubyist のための他言語探訪 【第 10 回】 Erlangで紹介されていたErlang Landのフィボナッチ数を非同期で計算する例は、rubyで書くとこんな感じになるでしょう。
thrfib.rb
require 'thread'
require 'Common'
def worker(n, q)
return Thread.new do
q.push("fib(#{n}) = #{fib(n)}")
end
end
def manager(n, q)
Thread.new do
n.times { puts q.shift }
end
end
nums = getrange(1, 28)
elapsed = timeit do
q = Queue.new;
t = manager(nums.length, q)
nums.reverse.each{ |x| worker(x, q) }
t.join
end
puts "Took #{elapsed} seconds."
system "ps ux -p $$";
ここで、Commonというのは、普通に同期的に計算する場合との共通項をまとめたものです。
Common.rb
def fib(n)
n < 2 ? 1 :fib(n - 2) + fib(n - 1)
end
# yikes! Range is not an array!
class Range
def to_array()
a = []
self.each{ |x| a.push(x) }
return a
end
end
def timeit(&block)
def now()
t = Time.now
t.tv_sec + t.tv_usec.to_f / 1e6
end
started = now()
block.call
now() - started
end
def getrange(h, t)
head = ARGV.size > 0 ? ARGV.shift.to_i : h
tail = ARGV.size > 0 ? ARGV.shift.to_i : t
(head..tail).to_array
end
で、同期的に計算する場合はこう。
seqfib.rb
require 'Common'
def work(n)
"fib(#{n}) = #{fib(n)}"
end
head = ARGV.size > 0 ? ARGV.shift.to_i : 1
tail = ARGV.size > 0 ? ARGV.shift.to_i : 28
nums = (head..tail).to_array
elapsed = timeit do
nums.reverse.each{ |x| puts work(x) }
end
puts "Took #{elapsed} seconds."
system "ps ux -p $$";
やってみるとわかりますが、thread版は確かに非同期で実行されています。
fib(19) = 6765 fib(21) = 17711 .... fib(27) = 317811 fib(28) = 514229 Took 1.62463402748108 seconds. USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND root 493 0.0 -0.0 27264 368 p1 R+ 3:07AM 0:00.01 ps ux -p 493
見てわかるとおり、ここではメッセージの送付にQueueクラスを使っています。これにpush()するのがerlangのPID ! Messageに、そこからshift()するのがreceive Message -> blah, end.相当するわけです。
もう一つ見てわかるのは、threadとqueueを使った並列処理では、そのための特別な構文を一切利用していないことです。threadで実行するものはblockで渡し、threadはオブジェクトとして生成する。すこぶる直感的です。
ちなみに、-Dthreadオプション付きでコンパイルされたperlでは、上のrubyの例をそのまま素直に移植して動かせます。
sub fib{
my $n = shift;
return $n <= 1 ? 1 : fib($n - 2) + fib($n - 1);
}
sub timeit(&){ # for benchmark
require Time::HiRes;
my $coderef = shift;
my $started = Time::HiRes::time();
$coderef->();
return Time::HiRes::time() - $started;
}
sub getrange{
my ($h, $t) = @_;
my $head = shift @ARGV || $h;
my $tail = shift @ARGV || $t;
( $head .. $tail );
}
1;
seqfib.pl
use strict;
use warnings;
use Common;
sub work{
my $n = shift;
"fib($n) = " . fib($n);
}
my @nums = getrange(1, 28);
my $elapsed = timeit {
print work($_), "\n" for reverse @nums;
};
print "Took $elapsed seconds.\n";
system "ps ux -p $$";
thrfib.pl
use strict;
use warnings;
use threads;
use Thread::Queue;
use Common;
sub worker {
my ($n, $q) = @_;
threads->new(sub {
$q->enqueue("fib($n) = " . fib($n));
} => shift)->detach;
}
sub manager {
my ($ntask, $q) = @_;
threads->new(sub {
print $q->dequeue, "\n" while($ntask--);
});
}
my @nums = getrange(1, 28);
my $elapsed = timeit {
my $q = Thread::Queue->new;
my $mgr = manager(@nums+0, $q);
worker($_, $q) for reverse @nums;
$mgr->join();
};
print "Took $elapsed seconds.\n";
system "ps ux -p $$";
しかも面白いことに、手元の環境ではthread版の方が同期版よりも高速でした。これはおそらくthread版の方が結果的にメモリーをまとめて確保しまとめて解放することになるためだと思われます。
% ~/bleedperl/bin/perl5.9.5 seqfib.pl .... Took 2.82808804512024 seconds. USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND dankogai 290 99.6 -0.1 36624 2196 p1 S+ 3:29AM 0:02.85 /Users/dan % ~/bleedperl/bin/perl5.9.5 thrfib.pl .... Took 1.78629589080811 seconds. USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND dankogai 293 0.1 -0.4 39716 9292 p1 S+ 3:33AM 0:03.02 /Users/dan
とはいえ、perl 5では現時点ではthreadはデフォルトでoffで、また安定度もOSのよってまちまちでした。しかし新しいバージョンほど安定してきていて。来るべき5.10ではrubyなみに安心して使えるものになるのではないかと期待しています。新規にperlをコンパイルしてインストールする機会がある方は、是非お試しを。ただしばりばり使うのであれば、5.8.8ではなく5.9.5の方を。
見ての通り、threadとqueueを使った並列処理というのは、OOとの相性が非常にいい上、コードも直感的に書けます。thread「を」実装するのは面倒でも、thread「で」実装するのはすこぶる楽なのです。queueでメッセージを受け渡すようにすれば、デッドロックの心配もほとんどありませんし、事実上のshared nothing (but the queue)が実現されていますし。
erlangチックに数万というのはさすがにきついのですが、数百threadぐらいならrubyもperlもかなり使い物になるというのが印象です。
とはいえ、LLにおけるthread programmingというのは実例が少ないのも事実。Javaなどと比較すると特にそうです。これから少しづつ実例を上げていければと思います。
Dan the Man with Too Many Threads to Join
この記事へのトラックバックURL
はてなブックマーク
Livedoorクリップto_aだったのか。
通りすがりさん、
コピペの範囲から最後の行が抜けてたようです。
いずれもrangeにまつわる問題。
Dan the Occasional Ruby Speaker
Package Common;
がないですね。
