「CSSファイルおよびJSファイルにGooglebotがアクセスできません」にwpXで対応するには？

昨日からかなりの話題となっている、「http://サイト名/ の CSS ファイルおよび JS ファイルに Googlebot がアクセスできません」というタイトルの、グーグルからのメール。

robotx.txtの指定に問題があるサイトのオーナーあてに送られた、一斉メールのようですね。

 

内容に「これらのアセットへのアクセスをブロックすると検索結果における掲載順位が本来よりも低くなる可能性があります。」というガクブルもんの文言があるからビビリますわ。

かくいうぼくのページも指摘されましたww

当WorkToolSmithはwpXで運営しています。wpXでrobots.txtを設定する方法を公開。

原因

今回はGoogleの違反通報とかではありません。

Googleや他の検索エンジンは、サイトを調べるためにクローラというロボットプログラムを使います。プライベートなページを何でもかんでもGoogleに載せられては困りますので、それらに調べてほしくないアドレスを記述するファイルがあります。

それが robots.txt。

 

メールの次の文章

具体的には、robots.txt ファイルでの制限のために Googlebot が JavaScript や CSS ファイルにアクセスできません。

は、robots.txtでGoogleのクローラがJavaScript、CSSへのアクセスを制限されてるよ！といっているのですね。

robots.txtの位置

robots.txtは通常サイトのルートに設置します。

しかしwpXではftpでログインしてもwp-contentの中身までしか見ることができません。ですがKB robots.txtというプラグインでいじることができます。

 

WordPressのプラグインの新規追加で「KB robots.txt」を検索。

検索すると出てきますが、更新が8年前とか微妙に不安になりますね。(;^^
WordPress Ver.4.2.3では使うことはできます。

 

インストールすると「設定」の中に「KB robots.txt」があります。これをクリック。

 

エディタが開きます。
この枠内に指定を書いていけばOKです。

正しい書式などはGoogleの解説ページをご参照あれ。＞robots.txtのマニュアル

 

ぼくが書いたのは以下のとおり。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Allow: /wp-content/uploads/
Allow: /wp-content/uploads-*

 

最初から入っている内容もありますので、いきなり全部を書き換えずに必要な部分を足してください。同じ内容がダブっているのもあまりよくありません。

 

wp-adminやwp-includesはプログラム部分なので当然拒否。ただ、wp-includesの中にあるjsディレクトリは、jQueryなどコア部分のJSが呼び出されたりするので許可。

あとはwp-contentの中にある公開したいディレクトリを書いていきます。

wpXの場合は mu-plugins という特殊ディレクトリがありますが、ここは許可する必要はありません。

最後の /wp-content/uploads-* は、WordPressのインストール状況によっては作られるディレクトリのようです。念のため追加。