robots.txt

サイトの最上位階層に置き、どの範囲を巡回してよいかを検索エンジンに伝えます。管理画面など公開不要な領域の巡回を制限できます。

制御できるのはあくまで巡回であり、検索結果への表示を確実に防ぐものではありません。他サイトからリンクされている場合、巡回を禁じたページが検索結果に現れることもあります。確実に表示させたくない場合はnoindexの指定を使います。設定を誤ると広範囲が巡回されなくなるため、編集時は影響範囲の確認が必須です。