robots.txt の設置
検索結果に登録されたくない事を、robots.txt ファイルを通じて検索エンジンに伝える。
robots.txt 記述例
下記のように記述して「robots.txt」のファイルを作成する。
User-Agent: *
Disallow: /
意味:全ての検索エンジン「User-Agent: *」で、サイト内のページを登録する事を拒否「Disallow: /」します。
設置例
作成した robots.txt ファイルは、公開ディレクトリの直下に設置します。
(Xサーバーの場合)
例えば、URLが http://example.com/ の場合は、http://example.com/robots.txt で表示される事を確認する。
Xサーバーの場合では public_html の直下に設置します。