2007年03月10日 23:30 [Edit]
シフトJISを残すべきか?
Matzさん経由で知ったのだが、これはひどい。
シフトJISを捨てられるか?：ITproでは，今までのデファクトだったシフトJISはどうだろうか。シフトJISを使うと，（英文混じりの）日本語を表現する場合，そのデータ長はUTF-8/16/32に比べて短くなる。コンピュータを取り巻く通信環境は高速になり，ストレージは大容量化してきたとはいえ，データ長は短いに越したことはない。
確かに、シフトJISで表現できるテキストをUTF-8で表現すると、最高で1.5倍になる(ただしここで言うシフトJISは、Shift_JISX0213は含まない)。しかし、テキストデータというのは圧縮率が高い。
| 未圧縮 | gzip | bzip2 | |
|---|---|---|---|
| シフトJIS | 4,682 | 2,254 | 2,225 |
| UTF-8 | 6,767 | 2,526 | 2,325 |
| UTF-8/SJIS | 144.5% | 112.1% | 104.4% |
右は、当該記事からテキストを抜き出して、圧縮前と圧縮後でサイズを比較してみた結果である。いずれも圧縮率指定は--bestとした。単位はbytes。見ての通り、圧縮後に比較すれば12%から5%の差でしかない。少なくとも、転送量を抑えるという観点からは、シフトJISを積極的に支持するのは難しい。
シフトJISの一番の問題は、すでに拡張の余地がほとんどないこと。わずかにあった拡張の余地も、Shift_JISX0213/Shift_JIS-2004で使い果たした。この点に関してはまだEUC-JPの方がましだろう。
Matzにっき(2007-03-06)「短いに越したことはない」というごく弱い理由で、さらに別のエンコーディングの必要性をほのめかさないでいただきたい。ただでさえ日本語を扱えるエンコーディングの乱立に迷惑しているのに(日本語だけで４種類なんて異常だ)。もう、新しいデータはUTF-8でいいよ。
私はEncodeという文字コード相互変換をPerlで行うためのモジュールをメンテしているが、けだし同感である。しかも日本語だけで4種類というのは、Shift_JISとCP932の違いなども含めれば倍増するのである。これにケータイのシフトJIS勝手拡張がさらに追い打ちをかけている。
シフトJISを捨てられるか?：ITpro日本語文字列を扱うのに，何か良いエンコーディングはないだろうか。
そういうのであれば、コードに落とせるレベルの仕様を是非提案していただきたい。コードそのものならばなおのことよい。
Unicodeは理論的にも政治的にもベストではない。しかし実装しているものの中ではベストである。少なくとも文字セットに関しては、他の日本語エンコーディング全て⊂Unicodeとなっている。文句を言うのであれば、Unicode制定の時に言っておくべきではなかったのか?
Dan the Encode Maintainer
Posted by dankogai at 23:30│Comments(10)│TrackBack(2)
この記事へのトラックバックURL
この記事へのソーシャルブックマーク
はてなブックマーク
Livedoorクリップこの記事へのトラックバック
たしかにこれは普通の奴らの上ですね。
404 Blog Not Found:シフトJISを残すべきか? - matzさんのコメント
新しいUnicode符号化方式
http://nowsmartsoft.or.tv/nws/Japanese/new_utf.htm
にはしびれました。本気で実装しているところがすばらしい。
こちらでは、普通...
UTF-PNG (aka Unicolor)【404 Blog Not Found】at 2007年03月11日 03:02
404 Blog Not Found:シフトJISを残すべきか?のコメント欄の、UTFCPのLightConeさんとMatzさんの会話をぼ〜っと眺めているうちに、ひらめきました。
EUCとUTF-8って、マッシュアップできなくね?
EUC-UTF8の可能性【404 Blog Not Found】at 2007年03月18日 05:58
この記事へのコメント
まあ、制定時にUnicodeな連中は聞く耳なしだったそうですからねえ。
それはそうと、スラッシュドットで紹介されてた
新しいUnicode符号化方式
http://nowsmartsoft.or.tv/nws/Japanese/new_utf.htm
にはしびれました。本気で実装しているところがすばらしい。
それはそうと、スラッシュドットで紹介されてた
新しいUnicode符号化方式
http://nowsmartsoft.or.tv/nws/Japanese/new_utf.htm
にはしびれました。本気で実装しているところがすばらしい。
Posted by まつもと at 2007年03月11日 00:51
表の数字が間違ってます
gzipのところが 121.1% になってますが、これは 112.1% ですね。
gzipのところが 121.1% になってますが、これは 112.1% ですね。
Posted by 通りすがり at 2007年03月11日 12:21
通りすがりさん、
ありがとうございます。転置させました。
Dan the Tyop^WTypo Generator
ありがとうございます。転置させました。
Dan the Tyop^WTypo Generator
Posted by 弾 at 2007年03月11日 14:38
>まあ、制定時にUnicodeな連中は聞く耳なしだったそうですからねえ。
というのは明らかに都市伝説です。
「明らかに都市伝説」というのが言いすぎだとしても、それほど単純な話ではないと思っています。
というのは明らかに都市伝説です。
「明らかに都市伝説」というのが言いすぎだとしても、それほど単純な話ではないと思っています。
Posted by hyoshiok at 2007年03月11日 15:09
制定当時 (1990-1993頃) は、国内ではUnicode反対論が主流で、
それ自体は一理も二理もある話ではあったのですが、そちらの
意見が強すぎて、Unicode賛成論を言い出しにくい雰囲気があった
のは確かですね。
「聞く耳がなかったかどうか」については、少なくとも今問題の
他の文字コードとのコード変換問題については、「それは
Unicodeの問題ではない」という立場でした。ならば、それで
徹底すればいいものを、なまじコード変換表を「参考」とか
称して公開するものだから、「あれはunicode.orgの公式的な
規定である」という誤解を招いていたような。
それがまた、中途半端な代物を適当に公開しやがるものだから、
かえって混乱を招いていたと思います。
それ自体は一理も二理もある話ではあったのですが、そちらの
意見が強すぎて、Unicode賛成論を言い出しにくい雰囲気があった
のは確かですね。
「聞く耳がなかったかどうか」については、少なくとも今問題の
他の文字コードとのコード変換問題については、「それは
Unicodeの問題ではない」という立場でした。ならば、それで
徹底すればいいものを、なまじコード変換表を「参考」とか
称して公開するものだから、「あれはunicode.orgの公式的な
規定である」という誤解を招いていたような。
それがまた、中途半端な代物を適当に公開しやがるものだから、
かえって混乱を招いていたと思います。
Posted by numa at 2007年03月13日 23:24
UTFCP2の特徴として，日本と中国の漢字の主要部分が二バイトで現せる
特徴もありますが．他に，
後ろのバイトから正確に一文字づつ逆戻りできるという事があるのを知ってますか．
正確に逆戻り出来るのは，プログラミングする際に便利なので，符号が
工夫されてます．
特徴もありますが．他に，
後ろのバイトから正確に一文字づつ逆戻りできるという事があるのを知ってますか．
正確に逆戻り出来るのは，プログラミングする際に便利なので，符号が
工夫されてます．
Posted by LightCone at 2007年03月18日 02:12
都市伝説ですか。「聞く耳なし」というよりは、こちら(国内反対派)とあちら(Unicode陣営)とのコミュニケーション断絶といった感じだったのでしょうか。
> よしおかさん。
UTFCP2の特徴については読みました。便利なことだとは思います。
が、自分で使うかと聞かれると相当躊躇します。正直な話。
> LightConeさん。
> よしおかさん。
UTFCP2の特徴については読みました。便利なことだとは思います。
が、自分で使うかと聞かれると相当躊躇します。正直な話。
> LightConeさん。
Posted by まつもと at 2007年03月18日 02:55
UTFCP2を普及させるためには，どうしたらいいのかな．
変換テーブルの作成スクリプトがあるのですが，これをオープンソース
で公開した方がいいでしょうね．
UTFCP2では，UTF8同様，状態変化なしに全世界の文字を同時に表現できる
タイプの符号なんですが，限られた2バイト部分には高頻度に利用される
文字を割り当てる必要があり，そのために，変換テーブルが必要となり
ます:
http://www.nowsmartsoft.or.tv/nws/Japanese/jpcn1.htm
この表を作成するためのスクリプトが現在クローズドになっているので，
オープンにしたら，少しは普及に役立つかな・・・．
変換テーブルの作成スクリプトがあるのですが，これをオープンソース
で公開した方がいいでしょうね．
UTFCP2では，UTF8同様，状態変化なしに全世界の文字を同時に表現できる
タイプの符号なんですが，限られた2バイト部分には高頻度に利用される
文字を割り当てる必要があり，そのために，変換テーブルが必要となり
ます:
http://www.nowsmartsoft.or.tv/nws/Japanese/jpcn1.htm
この表を作成するためのスクリプトが現在クローズドになっているので，
オープンにしたら，少しは普及に役立つかな・・・．
Posted by LightCone at 2007年03月20日 01:23
変換テーブル作成用のスクリプトを置いておきました:
http://www.nowsmartsoft.or.tv/nws/Japanese/nwsos_utfcp_script.htm
http://www.nowsmartsoft.or.tv/nws/Japanese/nwsos_utfcp_script.htm
Posted by LightCone at 2007年03月20日 02:20
<a href= http://juporoz.newmail.ru >viper z 2000</a> <a href= http://febuhop.newmail.ru >taiga forest animals niche</a> <a href= http://sidaxyco.newmail.ru >罹齔鈞琿蒹 鰰闔�</a> <a href= http://vawubeme.newmail.ru >Barbra Anne Scott</a> <a href= http://momotef.newmail.ru >Soundtrack The Fountain download free 凰鼾糅鞳� � �蓚�踈 夥迺琿 驫瑾瑩� 痳髀諤鴉�</a> <a href= http://lezopi.newmail.ru >alba faked</a> <a href= http://notoxel.newmail.ru >handjobscentral</a> <a href= http://jewuvoj.newmail.ru >autopsy photos brandon teena</a> <a href= http://zubodup.newmail.ru >頌髑蔗蒻瑩鉋 粳� ZBrush2</a> <a href= http://nehaco.newmail.ru >pedophilia creampies</a>
Posted by Sandra-nz at 2007年08月21日 14:13
