Googleのクローラーが来ない
ブログを始めたのが 2021年11月23日 で現在（2021年12月6日）24個のURLを持つサイトになった。
友人とふたりで特に縛りなく、楽しく更新しているので、割といいペースで記事投稿ができるいると思うのだが、アクセスが伸びない。
原因はわかりきっている。
Googleのクローラーが来てくれないのである。
「検出 - インデックス未登録」
サーチコンソールで確認すると「検出 - インデックス未登録」のURLが24件、ずらっと並んでいる。
つまり、すべてのURLが「検出 - インデックス未登録」とのことらしい。
さて、「検出 - インデックス未登録」とはいったいなんなのか。
答えは、クローラーがサイトマップ(sitemap.xmlやfeedなど)やリンクを通してページの存在を把握しているが、インデックスはまだしていないというステータスのこと。
前述したが、クロール待ちとのこと。
「クロール済み-インデックス未登録」とは似て非なる
同じような状況で「クロール済み-インデックス未登録」という状態もある。
こちらも似たようなステータスだが、実は全く異なるステータスで、クローラーが内容を見た上で「インデックスしない」と判断された状態のことをいう。
「価値なし」という烙印を押されたページのことである。
このことを知り、少しほっとしたが、とはいえ、クロールが来ないのは困る。
誰かに読まれたく、ブログを書いているのである。
小説家になれない私たちはネット世界の片隅でこそこそとブログを書くしか、表現の場がないのである。
ちなみに本ブログを共有している ふたみくんはいまだに小説家を夢見ているらしい……、
実をいえば私もまだ夢を見ているが、そのことは別記事で語ることにする。
話をもとに戻して続ける。
Googlebotがストライキ中だ！
調べてみると、どうやらこの状況（検出 - インデックス未登録）良く見られるようで、一説によると2021年5月のアップデートで何らかの事象が起きたのではないか、とのこと。
5月から情報が出回り始め、11月には多くのサイトでその影響を受けることになったらしい。
https://twitter.com/Seolyzer_io/status/1460255741860847633
訳： Googlebotがストライキ中だ！ Googlebotは11月11日午後6時以降、多くの大規模サイトでクロール活動を大幅に縮小している。これは議論が必要だ！
なんて、ツイートが出回るほど。
さらに、Googleのジュン・ミューラー氏もこの現象を認め、現在調査をしているとのこと。
ブログによっては、
クロールは17日遅くから戻りつつあるよう
と書いてあったが、定かではない。
現にこのブログにはまだ来ない。
つまり、現状世界的なクローラー不足だと思われる。
私たちはただ待つしかない。待つしかない。
12月10日 現在（謎が深まる）
変わらず、「検出 - インデックス未登録」のまま。
唯一の変更は記事数が増えたので対象URLが27件になったことだけで、当然追加されたURLだって「検出 - インデックス未登録」になってしまっている。
徐々にindexされ始めているというが、ストライキ中に登録した記事は再クロール対象外だろうが。
あるいは公開後、間もないのでクロールの優先順位が低いのか。
この現象に気が付き、今日まで、毎日のようにリクエストしてきたが、意味がないようだ。
初手サブドメインに問題があった？
サーチコンソールだが、サブドメインでの細かいデータを見たかったので、URL プレフィックスで登録した。
その後、ドメインプロパティでも同様に登録した。
で、ドメインプロパティの方を見るとどうやらクローラーが訪れてきているようである。
本サイトはトップドメインも「https://media.nove-web.com」にサーバーリダイレクトしているので、そこに来ているのであればクローラーは認識しているってこと？
リダイレクトするからいいやと思ってindex.htmlに何も書かなかったせいか、
重複しています。ユーザーにより、正規ページとして選択されていません
というエラーが出ていた。
そこで、リダイレクトもとにcanonicalをしていして再送信してみることにした。
さて、結果はどうなることか。
引き続き調査する。
12月11日現在（調査中）
色々と考えてみた。
整理していくと、
- サブドメインでサーチコンソールに登録
- ドメインプロパティでサーチコンソールに登録
- ドメインプロパティにはクローラーが訪問した？
- トップドメインをサブドメインにサーバーリダイレクト
- 以降トップドメインにもクローラーがこない
つまり、サブドメインの本サイトに問題があるのかもしれない。
というわけで、色々調査。
本サイトで怪しい部分と言えば人気記事のコード。
人気記事はPV数を集計して出しているが、サーバー側でbotのPVはいれない処理をしている。
唯一ここが、botに対してアクションをしていると思っていた、－－、が、もしかするもっと重大な問題が含まれているのかもしれない。
というのも本サイトだが、bing では検索結果が表示されるのである。
流石、Microsoft、surface早く欲しい。
こんな感じで。
ありがたいことだが、bingのユーザーは３％なので、やっぱりGoogleでヒットしたい。
bing webmaster tool が最強にわかりやすい
そこで、bing のウェブマスターツールに登録してみた。
これがなかなか優秀で、非常にわかりやすい。
実際に調査した結果は、
- Meta Description タグがありません
- 画像がない場合の Alt 属性
- Meta robots タグに制限付きのロボット ディレクティブが含まれています
- タイトルが長すぎます
- Meta Description が長すぎるか短すぎます
という警告とエラーがあった。
Meta Description タグがありません
これはURL一覧を見た感じ、タグページとかのことを言っているので優先度は低い。
まあ、いずれ潰すかくらいの感覚でいい気がする。
画像がない場合の Alt 属性
これはアイキャッチ画像にalt 属性を入れていないことが問題のよう。
これはすぐに直せるので、修正をすることにする。
Meta robots タグに制限付きのロボット ディレクティブが含まれています
これは非常に怪しい。
が、URLを見た感じ、こちらもタグページに適用されている。
これは正しい挙動である。
これが正解だったらシンプルで嬉しかったのに。
タイトルが長すぎます
これもまあ、そこまで気にすることないと思われる。
Meta Description が長すぎるか短すぎます
こちらも同様で、特に気にすることないと思われる。
分かりやすく解説してくれたが、どうにも問題の核のような箇所は見つからない。
今できる修正は？
つまり今できることは
- 人気記事一覧のコードからbot除外の記述を削除（bing でインデックスされていることを考えると原因じゃない気もするが…）
- アイキャッチ画像にalt属性を入れる。
くらいだろうか。
とりあえずそれで様子を見ることにする。
12月12日現在（インデックスされる！）
起きて、サーチコンソールを見ると昨日までとは全く違う結果に、「検出 - インデックス未登録」が０件になっているのである。
もしや、クローラーが来てくれた？
ただそれであれば有効も１件以上になっているはずなのだが、なぜか０で、謎が深まる。
で、実際にはどうなのだろうか。
まだ検索最適化できていないので、検索にヒットするワードはないと思われる。
そこで「ウェブ制作を手掛ける"nove"のオウンドメディアになります。 特にこだわりなく、有益なものから無益なことまで、徒然なるままに書いていきます。」という本サイトのキャチコピーで検索してみた。
結果は無事にトップに検索されている👍
これでやっと土俵に立てる。
あとは記事を検索される記事を書いていくだけである。
結果、何が良かったのか？ 何だったのか？
まず、何だったかについてだが、これはクローラーの減少である。
で何が良かったのかだが、これは特に何も良くなかった。
というより何もしてないし、何もする必要がなかったのではないかと思われる。
つまり、世界的なクローラー減少により、本サイトはなかなかインデックスされなかったが、時間が経つにつれ、徐々にクローラーが訪れるようになってくれたというだけである。
まあ、いうなれば記事を更新しているのが良かったのかもしれない。
サイトが特別なエラーを吐いていないのであれば、クローラーは必ずやってくるので、焦らず待つのが一番ということに落ち着いてみる。