モバイルサイトマップの送信でエラーになる現象

Google Search Console（旧ウェブマスターツール）で携帯用サイトマップを送信した際、警告が表示されてエラーになってしまうことがあります。

「URL が robots.txt によってブロックされています。」との警告が表示されてしまい、エラーになってしまうわけですが、robots.txtを確認してみてもブロックしているわけではありません。

ブロックしてないのに、なぜブロックしてると表示されるのか、その理由がわからなくて困惑していたのですが、これはモバイルクローラー「Googlebot-Mobile」の仕様が変更になったことが原因ではないかと思います。

ぼくが携帯用（フィーチャーフォン用）のサイトを作成したのは2008年頃でしたが、当時は特に問題なくインデックスされていました。そのままずっと放置していたのですが、2016年末頃に確認した際に上記のようなエラーが発生していました。

この約8年の間にフィーチャーフォンの携帯サイトは衰退し、モバイルサイトといえば、スマートフォン用のサイトという意味になってきた事情があるため、2014年にGoogleの方でもモバイルクローラーの扱いが変更になっていたようです。

参照：）スマートフォン用のコンテンツをクロールするための新しい Googlebot ユーザーエージェント

上記ページの「クロールとインデックス」の項目を読んでみますと、2014年に「Googlebot」と「Googlebot-Mobile」は違う扱いに変更になったとも読めます。おそらくはこの変更により、Search Consoleで警告が表示されるようになったのではないか、ぼくはそう推測しております。

ロボットテキストで一括で許可している場合には特に問題ないとは思いますが、一旦、全クローラーを拒否したうえでGoogleやbingなどのクローラーを許可する形をとっている場合、robots.txtテスターでは許可が表示されたとしても、Googlebot-Mobileがブロックされてしまうのではないかと感じています。

そのため、「User-agent: Googlebot-Mobile」のクローラーを明示的に許可するようにrobots.txtを書き加えたのですが、これでひとまず警告は消えたようです。まだインデックス数には反映されてはいませんが、これで様子をみようと思っています。