ホーム > top >robot.txtとは

robot.txtとは

このページは旧robot.txのページです。
robots.txtとは検索エンジンがページを収集する際のアクセスを制限等をするためのファイルです
検索エンジンのロボットに向けた命令例えばアクセスを許可するや許可しないなどを記述します。
例えば、特定のフォルダ全体や特定のファイルなどのアクセスの許可を禁止したりする設定が出来ます
アクセスを制限するのは、例えばユーザには見せたくないページや
検索エンジンには載せてほしくないページなどを設定する時に使います
最近の検索エンジンは、あまりに文字が少ないページを作ると、そのサイトの評価が下がったりします
そのため作りかけのページを許可しない設定にすることもよくあります。
検索エンジンに追加するのを拒否することをクロール拒否と呼びます
最近はSEOの一環としてrobot.txtをしっかりと作っていくことを推奨されています
wordpressでもhtmlで直書きするとしてもrobot.txtはしっかりと作っておきましょう。
書き方などは今後追記していきたいと思います


Copyright (C) 2017 wakusei