ロボットがあなたのサイトを見つける?クローラーに適切に読まれよう!

執筆者

株式会社NOBITA代表取締役。グループ企業の株式会社ノイズにてフロントエンドエンジニア兼ディレクターを担当。LIGMAKEPOなどのメディアでは「のび太」名義にてライターとして執筆活動も行っている。

監修

NOIZZ

株式会社ノイズ

http://noizz.co.jp/

マーケティングコンサルティング企業。事業戦略・事業開発支援のほか、MAKEPO等のメディアを展開。ウェブ制作系グループとして株式会社NOBITAを抱えている。

サイトを立ちあげて、記事をどんどんアップしていってもクローラーに発見されてインデックスされなければ、検索エンジンにはひっかかりません。当然「人」に読まれるために書くわけですが、まずはクローラーが巡回してくれるようにする&読みやすいようにすることが重要です。

今回はクローラーに見つけてもらいやすくするために、また、読まれやすくするためにできることをご紹介します。

クローラーとは?

stock market

クローラー(Crawler)とは、ロボット型検索エンジンがネット上のサイトを発見するためのプログラムです。クローラーによって収集されたデータがインデックス化され、巨大な本棚のようなところに入れられます。するとあなたのサイトに関連するキーワードで誰かが検索エンジンで調べたときに、あなたのサイトが表示されるようになります。

ちなみにGoogleは用途に応じて複数のクローラーをもっています。通常のWEB検索には「Googlebot」、画像検索には「Googlebot-Image」、モバイル検索には「Googlebot-Mobile」といったように、様々なクローラーがあります。

クローラーの判断次第で検索結果が決まる!

Binary background

Googleは検索者にとって意味のないサイト・役立たないサイトは表示したくありません。そのためクローラーが巡回してきたときに評価されなかった場合、ペナルティを受け、最悪削除される可能性もあります。そのためクローラーに対して、検索結果が上位に来るような高評価を得るための良質コンテンツやSEO対策をしなければなりません。

クローラーの巡回を増やすためにできること

1.サイトマップ(xmlファイル)を作る

これは定番中の定番。サイトマップとは、そのサイトがもつURLのまとめです。クローラーにリンクを辿らせることができ、インデックスを早めることに繋がります。基本的にXML形式で作成しなければなりません。

WordPressを使っている方は「Google XML Sitemaps」というプラグインを使うことで、簡単にXML形式のサイトマップを作ることができます。一度作ってしまえば更新する度に自動でサイトマップを更新してくれます。(※Google XML Sitemapsプラグインの使い方

WordPressでない方は、サイトマップ自動生成ツール「sitemap.xml Editor」を使って簡単に作ることができます。(※Googleサイトマップ作成ツール「sitemap.xml Editor」の使い方

2. robots.txtを設定する

robots.txtはクローラーを制御することができるファイルです。サイトマップが巡回してほしいページを伝えるのに対して、robots.txtは巡回してほしくないページを伝えることができます。余計なクロールを制御し、クロールしてほしいページだけ巡回させることで、クロールの効率化につながり、クロール頻度が改善されます。

※robots.txtの書き方については以下↓の記事に詳しく載っています。
robots.txtの書き方と効果的な活用法

ちなみに、robots.txtに書くだけでなく、以下のようなメタダグによってもクローラーの行動を制御することができます。

  • noindex(インデックスの拒否)
  • noarchive(検索エンジンデータベースへの保存の拒否)
  • none(インデックスとリンク先へのクロールの両方を拒否)

これらの表記をヘッダータグに書くことで、Googleに検索エンジンや第三者に知られたくないという意思表示ができます。

3. 更新頻度を上げる

常に新しいコンテンツを更新しているサイトはユーザーにとって有益だとして、 Googleに高評価を受ける傾向があります。新しいコンテンツが増えれば増えるほど、そのサイトは旬な情報を提供していると見られクローラーが頻繁に巡回しやすいです。つまり更新頻度によってクロール頻度も上昇します。

4. 良質なコンテンツを提供する

どんなに更新頻度をあげても、ユーザーにとって役に立たない情報であれば意味がありません。更新頻度が高いと同時に、コンテンツの質も非常に重要です。Googleが検索結果に表示させようとしているのはユーザーに役立つ質の高いコンテンツのみです。

Googleの検索機能は日々向上しており、コンテンツの“質”を適切に判断できるようになってきています。SEOだけを意識してキーワードをやたら詰め込んだり、他サイトからコピーしてきたコンテンツなどはすぐに見抜かれペナルティを受けやすくなっています。

高品質コンテンツを作ることで、クローラーに「このサイトはユーザーにとって有益」と認識させることができれば、クロール頻度は上がっていきます。

5. 適切なHTMLで書く

クローラーは人間と同じようにWebページを見ていません。人の目では適切に映っていたとしても、HTML構造がめちゃくちゃであれば、クローラーは正しく読み取ることができず、インデックスされません。

クローラーが読み取りやすいためのHTML最適化については次回の記事でご紹介したいと思います。

さいごに

せっかく一生懸命書いた記事も見つけてもらえなければ何の意味もありません。クローラーの巡回頻度を改善して、少しでもあなたの記事を読んでもらえるように工夫しましょう!