robots.txt

robots.txt の設置

検索結果に登録されたくない事を、robots.txt ファイルを通じて検索エンジンに伝える。

robots.txt 記述例

下記のように記述して「robots.txt」のファイルを作成する。

User-Agent: *
Disallow: /

意味:全ての検索エンジン「User-Agent: *」で、サイト内のページを登録する事を拒否「Disallow: /」します。

設置例

作成した robots.txt ファイルは、公開ディレクトリの直下に設置します。
(Xサーバーの場合)

例えば、URLが http://example.com/ の場合は、http://example.com/robots.txt で表示される事を確認する。

Xサーバーの場合では public_html の直下に設置します。