あなたが物販アフィリエイト実践者なら分かると思いますが、
ブログやサイトを作成したら初期SEOとして、
・検索エンジン登録
・サイトマップ送信
をすると思うんですよ。

 

あ、これは、
「絶対にやったほうがいいよ」というレベルじゃなく、
「やらないよりかはやったほうがいいと思うよ」レベルなので、
「SEO効果抜群!」というわけでもありません。

私の場合は初期SEO対策は行うんですが、
サイトマップ送信をするときって
Googleウェブマスターツールを必ず利用するんですね。

 

で、ここにサイトを追加して
追加したついでにサイトマップ送信を行うんですが、
さっき確認したらエラーメッセージが届いていたんです。

もう削除したのでそっくりそのまま転載できませんが、
「robots.txtにアクセスできません。エラー率100パーセントです。」
と書いていました。

つまり、検索ロボットがサイトをクロールする前に
robots.txtを真っ先にクロールするんですが
robots.txtがアップロードされていないので
エラーが出て、それ以上クロールしないんですね。

これじゃいつまでたってもインデックスされないわけです。

このままじゃさすがに困るので、
ネットでいろいろググってみたところ、robots.txtというのは
「ネット上で公開したくないURL(インデックスしたくないURL)」
がある場合にのみアップロードすればいいよ、とのことです。

 

 

要は、
・インデックスしたくないURLがある場合は利用して
・特にない場合は何もしなくてOK
と。

「何もしなかったら、エラーメッセージが来るけど、
 放置していればそのうち来なくなるから大丈夫だよ~」

というのが総合的な意見でした。

 

でも、エラーメッセージが来るくらいだから、
設定したほうがいいに決まってますよね?

私はそう思ったので、設定することにしました。

だけど、本来のrobots.txtの使い方は
「インデックスしたくないURLがある場合」です。

物販アフィリエイトの場合は、
当然ですがインデックスされなきゃ意味がありませんよね?

 

 

で、さらにググった結果、
まず、パソコン付属でも構わないので、
テキストエディタを開いてください。

そこに、

User-agent: *
Allow: /

これをコピペしてそのまま貼り付けてください。

それを「robots.txt(テキスト形式)」で保存して、
保存したものをエラーメッセージが来たサイトURLの
ドメイン直下のディレクトリにアップロードします。

 

これだけです。

これだけで、次回のクロール時に最初にrobots.txtをクロールして
サイトコンテンツをクロールするので無事にインデックスされます。

私も日本語ドメインサイトが
なかなかインデックスされなくて困っていたんですが、
今回お伝えしたことを実施したらすぐにインデックスされました。

だから少なからず効果はあると思います。
ちなみに、サイトはSIRIUSで作成しました。

作成したサイト全部にエラーメッセージが来ることはありませんが、
どうやら日本語ドメインサイトの場合は高い確率で来るそうです。

 

あなたも、robots.txtで困っているのでしたら、
今回お伝えしたことを実施してください。

エラーが解消して比較的にすぐインデックスされて「ホッ」としますよ。

 

この記事を読まれた方は次にこの記事もあわせて読まれています: