Google検索エンジン最適化:⑨『robots.txtを効果的に設定しよう』

クローラー=自動巡回するロボット

SEO対策のひとつとして、クローラーにウェブサイトをより多くクロールしてもらう必要があります。

それは、検索の順位を上位に表示させるためには、頻繁にクロールされる必要があるからです。

クローラーとは、ウェブサイトの情報を収集するために、自動巡回するロボットのことです。

クローラーの役目は、サイトを巡回してそのホームページが、どのような内容で構成されているかなどの情報を集めています。

集められた情報は、検索エンジンを提供する企業のデータベースに登録されて、独自のランキングシステムで検索表示されるキーワードでの、順位表示に利用されています。

クロールが不要な部分はrobots.txtで回避する

“robots.txt”とは、検索エンジンにアクセスしクロールしてほしい部分と、そうでない部分を伝えるためのファイルです。
このファイルは必ず“robots.txt”というファイル名でサイトのルートディレクトリに置く必要があります。
(引用:Google検索エンジン最適化スターターガイド)

“robots.txt”とは、クローラーにクロールして欲しいページと欲しくないページを知らせるためのファイルです。

クローラーには、サイトごとに巡回する回数が決められています。

そして“robots.txt”には、クロールされたくないページを事前に知らせることができます。

この特徴を利用して、ユーザーに見せる必要のないページにクロールさせないように適正な配置で“robots.txt”活用していきます。

“robots.txt”活用することで、クロールしてもらいたいページやコンテンツへクローラーを効率良く誘導することができます。

つまり、サイト運営者が見せたいページをクローラーは幾度となく巡回して、
検索順位を改善することへつながる可能性が出てきます。

“robots.txt”ファイル設定するときの覚えておきたいポイント

“robots.txt”ファイルを設定すれば、クローラーのクローリングを回避できるのですが、
ここで考えていただきたいのはサイト内に慎重に扱うべきコンテンツがあるときです。

一般的に個人サイトではあまりないでしょうが、機密事項や慎重に扱うべきコンテンツがある場合、
クローラーにクロールされないようにするには、“robots.txt”の設置だけでは十分ではないようです。

それは、クロールできないように設定したURLへのリンクが、インターネット上のどこかに存在する場合には、
そのURLを参照できてしまうからです。

またディレクトリやサブディレクトリを見て、コンテンツのURLを推測される場合もありますので、
コンテンツの暗号化やパスワードをかけて保護することを注意いたしましょう。