robots.txtを作成
自分のWebサイトを検索結果に載らないようにするため、
Webサーバのルートにrobots.txtを作成し、
インデキシングされないようにする
- "robots.txt"という名前のファイルを作成
- robots.txtの中身にインデキシングを拒否する内容を以下のように記述
- すべてのページを検索されないようにする
User-agent: * Disallow: /
- robots.txtの記法
- User-agent:
- どのクローラに対して宣言するかを記述する
- "*"で、すべての検索クローラを対象とする
- Disallow:
- どのページのインデキシングを拒否するか記述する
- "/"で、ルートディレクトリ以下すべてのページ・ファイルを拒否する
- Allow:
- インデキシングを許可するページ・ファイルを記述する
- User-agent: