robots.txtを作成

自分のWebサイトを検索結果に載らないようにするため、
Webサーバのルートにrobots.txtを作成し、
インデキシングされないようにする

• "robots.txt"という名前のファイルを作成
• robots.txtの中身にインデキシングを拒否する内容を以下のように記述
  • すべてのページを検索されないようにする

User-agent: *
Disallow: /

• robots.txtの記法
  • User-agent:
    • どのクローラに対して宣言するかを記述する
    • "*"で、すべての検索クローラを対象とする
  • Disallow:
    • どのページのインデキシングを拒否するか記述する
    • "/"で、ルートディレクトリ以下すべてのページ・ファイルを拒否する
  • Allow:
    • インデキシングを許可するページ・ファイルを記述する