livedoor2008年04月26日
全文検索エンジンの作り方
ユーザが任意の検索クエリーを入力したとき、
そのクエリーにヒットするレスポンス｛ そのクエリーが存在する位置の情報（今回の場合、URL）｝を、
予め作成しておきます。
基本的にはこれだけで全文検索エンジンはできます。
そのレスポンスを作成するために
コーパス（今回の場合、webページを収集します）から、「すべての可能な」部分文字列を列挙する作業が必要になるし、
webページ収集のためのクローラの作成や、データベース上の工夫や、
その他、無数の工夫が必要になっていくのですが......
と、
いうわけで実装しました。
形態素解析なんかしません。
文字区切りなんか全然気にしません。
文字の意味なんか一切考えません
これは、ものすごく画期的な気がします。
「普通」は、tokenizerを使うようです。（なぜか）
もちろん、その方が圧倒的に効率が良いからであるのですが.....
同時に、大量の情報を捨てています。
これはblog向け全文検索エンジンです。検索クエリーに愚直に忠実な結果を返します。
特に「普通じゃない」検索クエリーとか、例えば AA,顔文字などには威力を発揮するはずです。
が、
今のところ日本語blogの5〜10%程度のカバー率です。
クエリーのカバー率もそれぐらいです。
カバー率が 100%近くになるとその真価を発揮するはずです。
http://updatenews.ddo.jp/s/
そのクエリーにヒットするレスポンス｛ そのクエリーが存在する位置の情報（今回の場合、URL）｝を、
予め作成しておきます。
基本的にはこれだけで全文検索エンジンはできます。
そのレスポンスを作成するために
コーパス（今回の場合、webページを収集します）から、「すべての可能な」部分文字列を列挙する作業が必要になるし、
webページ収集のためのクローラの作成や、データベース上の工夫や、
その他、無数の工夫が必要になっていくのですが......
と、
いうわけで実装しました。
形態素解析なんかしません。
文字区切りなんか全然気にしません。
文字の意味なんか一切考えません
これは、ものすごく画期的な気がします。
「普通」は、tokenizerを使うようです。（なぜか）
もちろん、その方が圧倒的に効率が良いからであるのですが.....
同時に、大量の情報を捨てています。
これはblog向け全文検索エンジンです。検索クエリーに愚直に忠実な結果を返します。
特に「普通じゃない」検索クエリーとか、例えば AA,顔文字などには威力を発揮するはずです。
が、
今のところ日本語blogの5〜10%程度のカバー率です。
クエリーのカバー率もそれぐらいです。
カバー率が 100%近くになるとその真価を発揮するはずです。
http://updatenews.ddo.jp/s/
トラックバックURL
コメント一覧
1. Posted by itochan 2008年05月01日 00:25
こんにちは。
z-xcvというASPサービスを見つけました。
http://www.z-xcv.com/feature.html
を読むとなかなか興味深いものがありましたのでご報告です。
「辞書は使っていません」がウリみたいです（笑）
性能は、例えば千葉県のHPで「直売所」を検索してみてください。こんなものなんでしょうか？
http://search-prefchiba.z-xcv.com/search.cgi
z-xcvというASPサービスを見つけました。
http://www.z-xcv.com/feature.html
を読むとなかなか興味深いものがありましたのでご報告です。
「辞書は使っていません」がウリみたいです（笑）
性能は、例えば千葉県のHPで「直売所」を検索してみてください。こんなものなんでしょうか？
http://search-prefchiba.z-xcv.com/search.cgi
2. Posted by tak 2008年05月01日 13:57
そうです。
わたくしは、こういうことをwww全体についてやろうと思ってます。
現在、この『基本原則』を100％保証するASPサービスは『Z-XCV＜ジクシブ＞』だけです。
は、ある程度本当です。
しかし、同様のことをASPでやっているところは他に知っているので、「だけ」は強すぎかもしれません。
わたくしは、こういうことをwww全体についてやろうと思ってます。
現在、この『基本原則』を100％保証するASPサービスは『Z-XCV＜ジクシブ＞』だけです。
は、ある程度本当です。
しかし、同様のことをASPでやっているところは他に知っているので、「だけ」は強すぎかもしれません。
