作成中のサイトをお客さんに確認てもらうのにサイトをサーバーに仮アップするんだけど、
まだ一般に公開したくない場合の技です。

すべての検索ロボット及びキャッシュを拒否するには

をheadに入れましょう。

参考サイト
検索避け（検索ロボット避け） | 10press

以上