2006年11月19日 22:30 [Edit]
perl - Encode::Alias does not realias canonicals
全国のPerl Mongerのみなさんこんばんわ。Encode Maintainerの弾でございます。
非常に稀ながら、知っていないとbugと勘違いするfeature (少なくとも undocument だった!) があったのでお知らせします。
以下のtest scriptをご覧下さい。
use strict;
use warnings;
use Encode;
use Encode::Alias;
use Test::More tests => 3;
define_alias( qr/sjis$/i => '"cp932"' ); # Look here!
my $char = "\x{FF5E}";
my $bytes = encode("cp932", $char);
is $bytes, "\x81\x60";
is $char, decode("sjis", $bytes);
is $bytes, encode("sjis", $char);
__END__
見てのとおり、何の問題もなく動きます。
% perl alias.t 1..3 ok 1 ok 2 ok 3
ここで、define_alias( qr/sjis$/i => '"cp932"' )を、define_alias( qr/shiftjis$/i => '"cp932"' )と書き換えててみます。するとあら不思議、途端に動かなくなってしまいます。
% perl alias_nok.t 1..3 ok 1 not ok 2 # Failed test in alias_nok.t at line 10. Wide character in print at /usr/local/lib/perl5/5.8.8/Test/Builder.pm line 1199. # got: '〜' # expected: '〜' not ok 3 # Failed test in alias_nok.t at line 11. # got: '?`' # expected: '?' # Looks like you failed 2 tests of 3.
これはバグでしょうか？いえ、実は仕様なのです。
shiftjisというのは、aliasではなくcanonical name (Encode.pmにおける正式名称)で、Encode::Aliasはcanonicalの置き換えはできません。Encodeのソースをよく読めば、canonicalの置き換えの方法もすぐに思いつくことでしょうが、これはやはり避けた方がいいでしょう。
今回の undocumented feature に気づかせてくれたmiyagawa++君、ありがとう!
Dan the Encode Maintaner
Posted by dankogai at 22:30│Comments(4)│TrackBack(0)
この記事へのトラックバックURL
この記事へのコメント
binmode STDOUT,':encoding(shift_jis);
binmode STDOUT,':encoding(shift_jis);
と２回指定すると文字化けするのは仕様でしょうか。
モジュール内とメインのpl内の両方で設定してしまい、結構発見するのに時間かかっちゃいました。
binmode STDOUT,':encoding(shift_jis);
と２回指定すると文字化けするのは仕様でしょうか。
モジュール内とメインのpl内の両方で設定してしまい、結構発見するのに時間かかっちゃいました。
Posted by perl始めました。 at 2006年11月20日 11:39
perl始めました。さん、
そうです、PerlIOの仕様です。
これには一応回避策
(というのかそもそもbinmodeを立て続けに設定するケースが思いつきにくい)
がございまして、
binmode STDOUT,':raw:encoding(shift_jis);'
と':raw'をその前に指定するのです。
これはその前に指定したPerlIO Layerをクリアするという意味にもなるので。
Dan the Perl 5 Porter
そうです、PerlIOの仕様です。
これには一応回避策
(というのかそもそもbinmodeを立て続けに設定するケースが思いつきにくい)
がございまして、
binmode STDOUT,':raw:encoding(shift_jis);'
と':raw'をその前に指定するのです。
これはその前に指定したPerlIO Layerをクリアするという意味にもなるので。
Dan the Perl 5 Porter
Posted by 弾 at 2006年11月20日 12:16
早速おしえていただき、ありがとうございました。
モジュール側にそもそもbinmode設定するのがおかしいんですねきっと。
呼び出し側メインスクリプトのほうで設定してモジュール側はその設定をそのまま利用するべきだということに、このトラブルのあと気づいた次第です。
これからもためになる記事期待してます。
モジュール側にそもそもbinmode設定するのがおかしいんですねきっと。
呼び出し側メインスクリプトのほうで設定してモジュール側はその設定をそのまま利用するべきだということに、このトラブルのあと気づいた次第です。
これからもためになる記事期待してます。
Posted by perl始めました at 2006年11月20日 18:21
なるほど。説明ありがとうございます。
で、今はUTF-8→ISO-2022-JPへの変換処理で、
外字（�´△箸�）も対応したいと思いますが、
以下のような処理はＮＧでした。
Encode::from_to($str, "utf-8", "7bit-jis");
調べてみたら Encode::JP::JIS7の中で一旦utf-8→euc-jpにして、
euc-jp→7bit-jisに変換しているようです。
euc-jpは外字対応していないので、
これを外字対応のeuc-jp-msにしたいですが、
ご説明のように、以下の方法もダメ。
define_alias('euc-jp' => 'euc-jp-ms')
上記の処理を実現するために、どんな方法でやればいいでしょうか？
で、今はUTF-8→ISO-2022-JPへの変換処理で、
外字（�´△箸�）も対応したいと思いますが、
以下のような処理はＮＧでした。
Encode::from_to($str, "utf-8", "7bit-jis");
調べてみたら Encode::JP::JIS7の中で一旦utf-8→euc-jpにして、
euc-jp→7bit-jisに変換しているようです。
euc-jpは外字対応していないので、
これを外字対応のeuc-jp-msにしたいですが、
ご説明のように、以下の方法もダメ。
define_alias('euc-jp' => 'euc-jp-ms')
上記の処理を実現するために、どんな方法でやればいいでしょうか？
Posted by charlee at 2008年03月26日 20:40
