2007年04月20日 23:45 [Edit]

http://www.amazon.co.jp/ の「二枚舌」に学ぶ究極のSEO

これを書いて思ったのは、検索サイトはどうやってAmazonのリンクを正規化しているのかというもの。

404 Blog Not Found:不都合なはてブ

これのどこが問題かおわかりになるだろうか。

答えは、あっさり出た。


たとえば、本blogで先月一番売れた「数に強くなる」をぐぐると、Amazonのリンクが一位で私の書評が二位になる。

このAmazonのリンクに注目していただきたい。こうなっている。

数に強くなる - Google 検索
www.amazon.co.jp/数に強くなる-畑村-洋太郎/dp/4004310636

実際には、日本語部分がURL Encodedされて、頭にhttp://がつくので

http://www.amazon.co.jp/%E6%95%B0%E3%81%AB%E5%BC%B7%E3%81%8F%E3%81%AA%E3%82%8B-%E7%95%91%E6%9D%91-%E6%B4%8B%E5%A4%AA%E9%83%8E/dp/4004310636

となるのだが、注意深く見れば、GoogleにおけるAmazonの製品リンクは、すべて

http://www.amazon.co.jp/製品名-著者ないしメーカー/dp/ASIN

という形式になっているのがおわかりになるはずだ。

私はてっきり、これはGoogle側で正規化処理をしているのだと思っていた。しかしGoogle側が正規化するのであれば、なぜ数ある製品リンクのうち、最短である

http://www.amazon.co.jp/dp/4004310636

に正規化しないのだろうか。

なんのことはない。よきに計らっていたのは、Amazon側なのである。

以下をご覧いただこう。

% HEAD -S http://www.amazon.co.jp/dp/4004310636
HEAD http://www.amazon.co.jp/dp/4004310636 --> 301 MovedPermanently
HEAD http://www.amazon.co.jp/%E6%95%B0%E3%81%AB%E5%BC%B7%E3%81%8F%E3%81%AA%E3%82%8B-%E7%95%91%E6%9D%91-%E6%B4%8B%E5%A4%AA%E9%83%8E/dp/4004310636 --> 200 OK
# ....

そう、正規化されたURIの方にRedirectされているのである。

しかし、なぜそれでは普通のブラウザーで見てもリダイレクトされないのだろうか。Amazonは User Agent をきちんと見ているのである。

% HEAD -S -H'User-Agent: Mozilla/5.0' http://www.amazon.co.jp/dp/4004310636
HEAD http://www.amazon.co.jp/dp/4004310636 --> 200 OK
# ....
% HEAD -S -H'User-Agent: Opera/9.20' http://www.amazon.co.jp/dp/4004310636
HEAD http://www.amazon.co.jp/dp/4004310636 --> 200 OK
# ....
% HEAD -S -H'User-Agent: /' http://www.amazon.co.jp/dp/4004310636
HEAD http://www.amazon.co.jp/dp/4004310636 --> 200 OK
# ....

このように、通常のブラウザーに対してはリダイレクトしないが、

% HEAD -S -H'User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' http://www.amazon.co.jp/dp/4004310636
HEAD http://www.amazon.co.jp/dp/4004310636 --> 301 MovedPermanently
HEAD http://www.amazon.co.jp/%E6%95%B0%E3%81%AB%E5%BC%B7%E3%81%8F%E3%81%AA%E3%82%8B-%E7%95%91%E6%9D%91-%E6%B4%8B%E5%A4%AA%E9%83%8E/dp/4004310636 --> 200 OK
# ....
% HEAD -S -H'User-Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)' http://www.amazon.co.jp/dp/4004310636
HEAD http://www.amazon.co.jp/dp/4004310636 --> 301 MovedPermanently
HEAD http://www.amazon.co.jp/%E6%95%B0%E3%81%AB%E5%BC%B7%E3%81%8F%E3%81%AA%E3%82%8B-%E7%95%91%E6%9D%91-%E6%B4%8B%E5%A4%AA%E9%83%8E/dp/4004310636 --> 200 OK
# ....
% HEAD -S -H'User-Agent: msnbot/1.0 (+http://search.msn.com/msnbot.htm)' http://www.amazon.co.jp/dp/4004310636
HEAD http://www.amazon.co.jp/dp/4004310636 --> 301 MovedPermanently
HEAD http://www.amazon.co.jp/%E6%95%B0%E3%81%AB%E5%BC%B7%E3%81%8F%E3%81%AA%E3%82%8B-%E7%95%91%E6%9D%91-%E6%B4%8B%E5%A4%AA%E9%83%8E/dp/4004310636 --> 200 OK
# ....
% HEAD -S -H'User-Agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)' http://www.amazon.co.jp/dp/4004310636
HEAD http://www.amazon.co.jp/dp/4004310636 --> 301 MovedPermanently
HEAD http://www.amazon.co.jp/%E6%95%B0%E3%81%AB%E5%BC%B7%E3%81%8F%E3%81%AA%E3%82%8B-%E7%95%91%E6%9D%91-%E6%B4%8B%E5%A4%AA%E9%83%8E/dp/4004310636 --> 200 OK

Amazonにbot認定されているUser Agentはリダイレクトされる。デフォルトではリダイレクトなしだが、botのみリダイレクトするホワイトリスト方式である。ホワイトリスト、というよりbotにちなんで「メタルリスト方式」とでも呼ぼうか。

で、はてブの場合はどうか。

% HEAD -S -H'User-Agent: Hatena Bookmark/0.1' http://www.amazon.co.jp/dp/4004310636
HEAD http://www.amazon.co.jp/dp/4004310636 --> 200 OK

こういうことだったのである。

結局、Amazonの正規化は、Amazonにbot認定してもらえばいいだけの話なので、Amazonにそう伝えるか、はてブがbot認定されているUser Agentを名乗るかすればいい。冒頭で見たように、HEADコマンドのデフォルトのUser Agentはlwp-request/X.XX。Amazonはbot認定済みである。

それにしても、なぜAmazonはbotに対してこのような正規化を行うのであろうか。

これぞ、SEOである。URL中に入った検索ワードというのは、非常に効果が高いのである。Wikipediaやはてなキーワードが検索で上位になる理由も、これが大きいと思われる。Pagerankのおかげで被リンク数がもてはやされるようになったが、Wikipediaの全てのページがあちこちからリンクされているわけではないし、Amazonの「テール」に至っては被リンク数はたかが知れているだろう。にもかかわらずそうしたページまで検索上位になるのは、これが最も決定的な理由ではないかと私は睨んでいる。

Amazonのこの対User Agent二枚舌戦略は見事といえば見事なのだが、気味が悪いと言えば気味が悪い。なにしろamazon.co.jpのページはShift_JISなのだ。bot向けURIはUTF-8なのに。

究極のSEO、それはURI中に検索文字列を仕込む事なのではないか。

Dan the User Agent Agent


この記事へのトラックバックURL

この記事へのトラックバック
大丈夫だと弾言する。 はてなブックマークのやりすぎちゃったかもしれないSEO - ぼくはまちちゃん!(Hatena)こんなリスキーなことしちゃって大丈夫なのかな! もちろん最終判断はGoogleがする以上、断言にはならないのだけど。
「検索ボットのみURI Redirect」はクローキングにあらず【404 Blog Not Found】at 2009年06月10日 00:20
今までなかったのがむしろ不思議としかいいようがないぐらい。大歓迎。 検索エンジン3社、正しいサイトURLを認識させるcanonical属性を導入(URLの正規化) :: SEM Rそこで検索大手3社は今回、canonical属性を導入。ここに正しいURLを記述することで、クローラはその情報を....
tips - livedoor Blog - canonical属性に対応する【404 Blog Not Found】at 2009年02月14日 19:06
 「SEOにおいてキーワードを埋め込むべき重要な場所はどこですか?」という質問に対して,title タグや h1 タグ,meta description 以外にも"URL"と忘れずに答えられる日本人は少ないかも知れません。日本語が含まれる URL はあまり美しいとは言えないためでしょうか? し...
Amazonに真似るURLを用いたSEO手法??MovableTypeプラグイン:SEOedPermalink【Open MagicVox.net】at 2008年03月30日 08:16
(前回の続き) 特殊文字がある場合、CDを買おうとする者は何通りかの表記に頼ることになる。 特殊文字付きの原語Prodaná nevěsta 特殊文字無しの原語Prodana nevesta (国際標準としての)英語The bartered bride 日本語売られた花嫁 スメタ....
CDを探すには【最終回】【知られざる佳曲】at 2007年06月24日 19:11
これ、503返す前にもう一度アクセスログを見た方がいいと思う。 [を] Perl、PHPでGooglebotを一定の確率ではじく「Googleのクローラ(Googlebot)のアクセス数が多すぎてサーバに 負荷がかかりすぎる問題」に悩まされています。
tips - クローラーのアクセスを「まとめる」【404 Blog Not Found】at 2007年05月02日 12:38
先々月に書いた記事「アマゾンのURLはなぜ長い?>URLに入った日本語」の続編です。 アルファブロガーとして知られる小飼弾さんが、アマゾンの日本語URLについて私見を述べられています。 http://www.amazon.co.jp/ の「二枚舌」に学ぶ究極のSEO URL中に入った....
アマゾンの日本語URL(小飼弾さんの説)【知られざる佳曲】at 2007年04月23日 09:32
具体的な内容で参考になりました。
アマゾンのSEOがスゴイ理由【アフィリエイトで稼ぐブログ】at 2007年04月22日 20:58
danさんの記事について http://www.amazon.co.jp/ の「二枚舌」に学ぶ究極のSEO これぞ、SEOである。URL中に入った検索ワードというのは、非常に効果が高いのである。Wikipediaやはてなキーワー...
URLに検索文字列を埋め込むSEO対策って【ueblog】at 2007年04月22日 19:19
404 Blog Not FoundでAmazonがタイトル入りのURLにリダイレクトしているという話題がありました。実はAmazonは以前からサーチエンジンのロボットに対してはアソシエイトID入りURLをアソシエイトIDなしのURLにリダイレクトしていました。
Amazonのリダイレクトと日本語URL【StarChartLog】at 2007年04月21日 22:48
このテンプレート&SEO理論は本当にすばらしいです。他の追従を許さないテンプレートと独自のSEO理論!これをそのまま実践しただけで、私が作ったへちょいHPでも短期間でヤフー、グーグル共に上位に表示されました!サポートフォーラムも充実していて、SEOのノウ...
賢威2.0 本日6時販売開始!!【アフィリエイトブログ 〜稼ぐ方法実験室〜 】at 2007年04月21日 13:25
404 Blog Not Found:http://www.amazon.co.jp/ の「二枚舌」に学ぶ究極のSEOこれを書いて思ったのは、検索サイトはどうやってAmazonのリンクを正規化しているの...
404 Blog Not Found:http://www.amazon.co.jp/ の「二枚舌」に学ぶ究極のSEO【oryzaの環境備忘録】at 2007年04月21日 10:37
404 Blog Not Found:http://www.amazon.co.jp/ の「二枚舌」に学ぶ究極のSEOより。 検索エンジンにインデクシングされているAmazonのサイトのURLが、すべてある決まったフォーマットに“正規化”されている、という話です。 これぞ、SEOである。URL中に入...
AmazonのURL正規化は重複コンテンツを防ぐため【F.Ko-Jiの「一秒後は未来」】at 2007年04月21日 09:07
http://www.amazon.co.jp/ の「二枚舌」に学ぶ究極のSEO...
サーチエンジンクローラにだけ別の振る舞いを見せるのは、SEO対策としては反則なんじゃないの?【ここギコ!】at 2007年04月21日 08:12
この記事へのコメント
pyunicodeでblogのURIを登録したところ、激戦キーワードで
初めてたった2週間の僕のblog(現在放置)が5位以内になりました。
というかbloggerで行ったので、Googleが甘く見てくれているのか?
切り分けが難しいですが。

ちなみにpyunicodeでURIを書くと、googleで検索ワードのstrong設定に
URIも含まれて(pyunicodeは日本語に変換されて結果に出る)いました。

次回エントリのURIをpyunicodeで試してみては如何?
Posted by とおりすがり at 2007年04月23日 17:18
考察、ありがとうございました。
私も以前からずっと疑問に思っていました。
http://blog.livedoor.jp/unknownmelodies/archives/50696714.html

遅ればせながらリンクしました。:)
Posted by くま at 2007年04月22日 10:02
普通にSEOスパムな気がしますが・・・
Posted by 八分 at 2007年04月21日 22:36
http://web-tan.forum.impressrd.jp/e/2007/04/03/1122
>「上げ潮がすべての船を持ち上げる」効果
こういう効果もあるみたいです。
Posted by 山 at 2007年04月21日 00:44