Subscribed unsubscribe Subscribe Subscribe

Y_hagurin’s diary

パソコンの奴隷

robots.txtを作成

自分のWebサイトを検索結果に載らないようにするため、
Webサーバのルートにrobots.txtを作成し、
インデキシングされないようにする

  • "robots.txt"という名前のファイルを作成
  • robots.txtの中身にインデキシングを拒否する内容を以下のように記述
    • すべてのページを検索されないようにする
User-agent: *
Disallow: /
  • robots.txtの記法
    • User-agent:
      • どのクローラに対して宣言するかを記述する
      • "*"で、すべての検索クローラを対象とする
    • Disallow:
      • どのページのインデキシングを拒否するか記述する
      • "/"で、ルートディレクトリ以下すべてのページ・ファイルを拒否する
    • Allow:
      • インデキシングを許可するページ・ファイルを記述する