クローラーの働き

今回からSEO対策に関することについて少し詳しく説明してみたいと思います。まずは、クローラーの働きについてです。
検索サイトが世界中のWebサイトをロボットを使って閲覧し、情報を収集していることは、前回ご説明しました。このロボットのことをクローラーと
呼びます。クローラーはどの様にして、Webサイトの情報を収集してゆくのでしょうか?
Googleでは、このクローラーのことをGooglebotと呼び、何台ものコンピューターを使い役割分担してサイトを閲覧し、情報をインデックスしています。
インデックスと呼ぶのは、検索の際に、「目次」となる情報を作っているからです。
では、どの様にインデックスされるのでしょうか?
サイトの内容は、まず単語に分けられ重要度が決定された上で中間コードに変換されてインデックスされます。
これにより、このページの位置(URL)と含まれるキーワードとその重要度がページランクなどの情報とともにデータベースに記憶されます。
クローラーはページにある他のページへのリンク情報も取得しながら、このリンクを辿り、次々とページをクロールしてゆきます。この際おおもとになる
のが、サイト管理者から送られるサイトマップ情報であったり、サイト間のリンク情報ということになります。
こうしてインデックスされた情報は、検索要求があると参照され、ページに含まれるキーワードの重要度やページランクの順にリストが作られることになるのです。
ホームページやWebサイトを制作する際に重要なのが、このクロールの際に、制作側が意図したキーワードとその重要度を正しくクローラーに伝える
ことになります。ルールや記述言語であるHTMLやCSSが正しく使われていないと、正しく伝えることが出来ないどころか、ペナルティーを課せられる
こともあるのです。次回は正しくない例について取り上げたいと思います。
関連ページ:
関連サービス:
私どもは、ホームページの企画・制作だけではなく、現状のWebサイトの分析やSEOに対するアドバイスなどを行っております。 お客様のビジネスに貢献することを最終目標として作業させていただきますので、東京や神奈川で制作先をお探しの方は、是非お問い合わせください。