あなたが物販アフィリエイト実践者なら分かると思いますが、
ブログやサイトを作成したら初期SEOとして、
・検索エンジン登録
・サイトマップ送信
をすると思うんですよ。
あ、これは、
「絶対にやったほうがいいよ」というレベルじゃなく、
「やらないよりかはやったほうがいいと思うよ」レベルなので、
「SEO効果抜群！」というわけでもありません。
私の場合は初期SEO対策は行うんですが、
サイトマップ送信をするときって
Googleウェブマスターツールを必ず利用するんですね。
で、ここにサイトを追加して
追加したついでにサイトマップ送信を行うんですが、
さっき確認したらエラーメッセージが届いていたんです。
もう削除したのでそっくりそのまま転載できませんが、
「robots.txtにアクセスできません。エラー率100パーセントです。」
と書いていました。
つまり、検索ロボットがサイトをクロールする前に
robots.txtを真っ先にクロールするんですが
robots.txtがアップロードされていないので
エラーが出て、それ以上クロールしないんですね。
これじゃいつまでたってもインデックスされないわけです。
このままじゃさすがに困るので、
ネットでいろいろググってみたところ、robots.txtというのは
「ネット上で公開したくないURL（インデックスしたくないURL）」
がある場合にのみアップロードすればいいよ、とのことです。
要は、
・インデックスしたくないURLがある場合は利用して
・特にない場合は何もしなくてOK
と。
「何もしなかったら、エラーメッセージが来るけど、
放置していればそのうち来なくなるから大丈夫だよ～」
というのが総合的な意見でした。
でも、エラーメッセージが来るくらいだから、
設定したほうがいいに決まってますよね？
私はそう思ったので、設定することにしました。
だけど、本来のrobots.txtの使い方は
「インデックスしたくないURLがある場合」です。
物販アフィリエイトの場合は、
当然ですがインデックスされなきゃ意味がありませんよね？
で、さらにググった結果、
まず、パソコン付属でも構わないので、
テキストエディタを開いてください。
そこに、
User-agent: *
Allow: /
これをコピペしてそのまま貼り付けてください。
それを「robots.txt（テキスト形式）」で保存して、
保存したものをエラーメッセージが来たサイトURLの
ドメイン直下のディレクトリにアップロードします。
これだけです。
これだけで、次回のクロール時に最初にrobots.txtをクロールして
サイトコンテンツをクロールするので無事にインデックスされます。
私も日本語ドメインサイトが
なかなかインデックスされなくて困っていたんですが、
今回お伝えしたことを実施したらすぐにインデックスされました。
だから少なからず効果はあると思います。
ちなみに、サイトはSIRIUSで作成しました。
作成したサイト全部にエラーメッセージが来ることはありませんが、
どうやら日本語ドメインサイトの場合は高い確率で来るそうです。
あなたも、robots.txtで困っているのでしたら、
今回お伝えしたことを実施してください。
エラーが解消して比較的にすぐインデックスされて「ホッ」としますよ。
KEN-Tさん、
はじめまして、澤井と申します。
サイトアフィリを本格的にはじめようと考え、3日前にシリウスを買いました。
で、どうせやるからには日本語ドメイン買ってバシバシサイトを作ってやろうと思い、わからんなりにも2日ほどでサイトを完成させて昨日の午前中にアップしたんです。
そして、いつインデックスされるんかなぁ？と、心待ちにしていましがなかなかインデックスされないので、ウェブマスターツールを確認すると、
「robots.txtにアクセスできません。エラー率100パーセントです。」
の文字が、、、
えぇ～？？？
全く意味不明で、チンプンカンプンだったのですが、必死の思い出ググり
KEN-Tさんのこの記事を発見して、先ほど、かかれている通りに作業したところです。
で、いまははやくクローラーが来てくれないかなぁ、と、待っているところです。
今現在はまだ、robots.txt の取得（赤いビックリマーク）
みたいなモノが表示されていますが、クローラーがやって来ればバッチリ解消されると思います。＾＾
スゴく、わかりやすくて助かりました。
ありがとうございます。