YES-SEO - 用語解説(クローラー)

お問い合わせ・お見積もりはこちら

YES-SEO

用語解説

トップ用語解説 > クローラー

素敵なビジネスパートナーを探しています。営業代理店募集中! SEOサービスの販売代理店を随時募集しております。お気軽にお問い合わせください。

お問い合わせ・お見積もりはこちら



クローラー・クローラ・Crawler

クローラ (Crawler) とは、ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラム。
「スパイダー」や「ロボット」などとも呼ばれる。
主に検索エンジンのデータベース作成に用いられているほか、統計調査などの目的にも利用されている。


<2011/07/14 追記>
世界中のwebページの情報を取得しているのがクローラーです。 しかし、クローラー=アルゴリズムと思っている人がいらっしゃるようですが、 あくまでクローラーは情報を取得する物で、 クローラーが取得した情報を元にアルゴリズムで順位を決定しているので別物です。 まぁ、どうでもよいことですが。

クローラーにまつわる話しとしては、クローキングという物もありますね。 ユーザーエージェントによって見せるページ(情報)を変えたりして、 クローラーに嘘の情報を読み込ませて上位表示を狙ったり……。 しかし、日本ではほとんど実例を聞きません。 海外のSEOギークと言われている人達や、 私のSEOの心の師匠が過去に個人的に行なった例ぐらいです。

あとクローラーで気を付けないといけない事は、 不用意にクローラーからのアクセスを遮断しない事です。 クローラーからのアクセスを遮断すると、 新しい情報が検索結果に反映されなくなり、 遮断している期間が長くなるとインデックス削除される事に発展してしまう場合もあります。

更に言うとクローラーはユーザーエージェントを偽装してくる場合があるので、 クローラーを遮断しても普通にインデックスされたりもしますが。

さて、ここに書いてある事を信じるか信じないかは、あなた次第です!(バーン)









流石にフザケ過ぎで怒られてしまうかもしれません。

前のページへ戻る