逆SEO。検索エンジンから削除する、または見つかりにくいようにする幾つかの冴えた方法（と冴えてない方法）。
- 投稿日／更新日
いろんなニーズから、検索結果の表示を一時的に消したい、キャッシュをクリアにしたい、なるべく上位表示にさせたくない、といったいわば逆SEO的な依頼があります。
「とあるページが検索エンジンの上位になってるけど、これを下げたいんだよね。だけどページは普通に存在していて、いろんなユーザが見られるようにはしたい」という相談も普通にあります。いわゆる都合の悪いページというのもありますが、ポップアップで表示させる別HTMLはクロールされたくないといった正当な理由あります。
途中で紹介しますが、これらの施策は場合によっては信頼を損なう事にもなりますので、適した手段をとりましょう。
Seach Consoleから削除依頼を送信する（ページ・画像）
自分で管理しているWebサイトの画像やページを消したい場合、Seach Consoleから行います。
Seach Consoleのメニューの中にある「削除」では、現状Webサイトにはデータが残っている・もしくは削除済みのページや画像を「URLを一時的に削除」「キャッシュされたURLを消去」したい場合におこなうツールです。
URLを一時的に削除する
指定したURLのページを一時的（6ヶ月間）に検索結果から非表示にします。6ヶ月後は再び表示されるようになりますので、その間にページを消したりロボット避けなどの対策が必要で、いわば緊急対策用ツールの側面が強いです。
キャッシュされたURLを消去する
こちらは検索結果のキャッシュを削除するものです。キャッシュのほうに見てほしくないキャンペーン情報が載っていたりするときに使ったりします。また、Googleの検索結果の画像において、以前の価格が載っているバナーを消したいときなどに使ったりします。基本的にキャッシュは次回クロール時に生成されるはずなので、その僅かな間でも残しておきたくない・表示させたくないといった時に利用する機能です。以前契約していたタレントを使ったキャンペーン画像が残っていた、早く結果から消したい、なんてときにも重宝します。
実際にどれくらいで消えるのかはGoogleの機嫌次第ですが、この削除機能はGoogleがチェックしているわけではないので、処理は自動化です。感覚的には数時間程度～1日程度で消えています。まちがって削除依頼してしまった場合は、削除リクエストの削除もできるようになっています。
このツールの良いところ（？）は、削除依頼は誰の目にも触れないところです。
NOINDEX NOFOLLLOW
検索エンジンに表示させたくないページにmetaタグのrobotメタタグを設定することで、ある程度制御することが出来ます。
//検索ロボットに、検索結果にページや画像などを表示しないことを伝えるタグ <meta name="robots" content="noindex"> //検索ロボットに、ページのリンクを辿って検出しないように伝えるタグ <meta name="robots" content="nofollow"> //上記2つをマージする場合は,を使う <meta name="robots" content="noindex,nofollow"> //noindex,nofollowと同じ意味 <meta name="robots" content="none"> //googlebotだけに伝えるとき <meta name="googlebot" content="noindex">
Googleを始めとした大手検索エンジンはこの指示を守ってくれますが、過去にはこの指示を無視してクロールする悪徳な検索エンジンもかつては存在しました。今はあるのかどうかは不明ですが。
ひとつ注意したいのは、ページのソースに設定されたこの記述は誰でも見ることができるという点です。つまりあなたがこのページを何らかの意図を持って検索結果に表示させたくないということがわかってしまいます。
都合の悪いページを非表示にして騒動になったケース
2021年2月、NTTドコモとauが自社のWebサイトにおいて、解約ページ・MNP転出ページなどにnoindexの検索避けを行っていたと総務省が発表（2020年にはすでに削除しており、事後発表でした）。しかし2021年にauは、SIMロック解除ページも同様にnoindexを設置。ミスであったことを報告しています。2022年5月には、とある企業の謝罪プレスリリースにもnoindexが入っているなどが話題になりました。というか定期的にこの手の話題はSNSで話題になりキリがありません。
このように、意図的に表示させたくないことが公になると、企業として問題なることもあることは認識しておかなくてはなりません。
robots.txt を利用する
この方法はいろんなブログでも散見しますが、個人的には非推奨です。なぜならgoogleが以下のように明記しているからです。
Google によるページのクロールをブロックすると、Google のインデックスからそのページが削除される可能性があります。ただし、robots.txt の disallow を指定しても、ページが結果に表示されないという保証はありません。Google は、参照リンクなどの外部情報に基づいて関連性が高いと判断し、結果に URL を表示する場合があります。
https://developers.google.com/search/docs/advanced/robots/robots-faq?hl=ja
明示的にブロックするには、上記のMetaタグを利用することを推奨しています。
また、robot.txtは運用上でも忘れやすい存在のため、本当はクロールしてほしいのに全然クロールされない＝原因はroboto.txtでした、というケースもあったりします。
または X-Robots-Tag HTTP ヘッダーでも制御可能です。下記URLを参考にしてください。
https://developers.google.com/search/docs/advanced/crawling/block-indexing?hl=ja
正規表現canonicalを使用する
HTMLの仕様ではcanonicalは下記のように説明されています。
canonicalキーワードは、href属性で指定されるURLが現在の文書の優先URLであることを示す。これは、検索エンジンが重複コンテンツを減らすのに役立つ。
https://momdo.github.io/html/links.html#link-type-canonical
たとえばとある商品群が掲載されているページがA.html、その個々の商品を説明したページがA_sub01.html、A_sub02.htmlであるとします。よくあるケースは説明ファイルが外部ファイル化されており、それをコンポーネントとしてA.htmlで表示するケースでしょうか。このとき、A_sub01.htmlとA_sub02.htmlの情報はA.htmlの内容と重複しているので次のように書くことができます。
<link rel="canonical" href="http://example.com/A.html">
こうすることで、A.htmlが優先され、A_sub01.htmlとA_sub02.htmlは検索結果に表示されにくくなる仕組みです。まあこの場合は普通にA_sub01.htmlなどにnoindexを書けば良いと思いますが、ECサイトなどのURLパラメーターで制御されるページや、PCサイトとスマホが別ページの場合、AMPページでも使用し、あくまでも重複したコンテンツの優先度を検索エンジンへヒントとして送るものです。悪用は厳禁です。
テキストを画像にしてしまう
これは最も冴えていないやり方です。謝罪ページがPDFになっていたり全文が画像になっているケースはよく見かけますが、余計に信頼を損なうことになります。今の時代、SNSで暴露されて余計に目立つ結果になるでしょう。
ベーシック認証やログインしないと見られないページにする
いくらgoogle様とはいえ、認証が必要なページ内までは見ることが出来ません。ログインが必要なページに該当ページを設置したり、ベーシック認証でページを閲覧不可にすると検索結果には表示されなくなります。ただし一度クロールされている状態でBASIC認証をかけても、検索結果に残ったままになることがあります。その場合は上記Seach Consoleから削除依頼を出すなどが必要です。
古いコンテンツの削除
こちらの機能は、自分では所有していないサイトにおいて検索結果が違う（検索結果が古い）ときに対して行うリクエスト機能です。ページが違法の場合などのリクエストには使用できませんので、ガイドラインをきちんと読んでからリクエストしましょう。悪用厳禁です。
特定のリファラだけ閲覧できるようにする
特定の経路を辿らないと見られないページにする方法も考えられます。たとえばA.htmlからB.htmlに移動したときのみ、B.htmlが表示されるようにリファラなどで制御するパターンです。このような制御で検索エンジンのクロールがどう判断するのかは未知数ですが、仮に検索結果にB.htmlが表示されたとしても、クリックすれば何も示されないことになります。
ただリファラ取得はブラウザや環境などによって不安定なこともあり、ページが見られないといったクレームに繋がることもしばしばあります。
メモ
逆SEOという用語は、一部では「外部のサイトにおいて自社サービスの評判や都合の悪いことを書かれているページの順位を下げたい」という意味で使われている事もあるようです。もちろんそんな身勝手な正攻法は存在しません。この記事では真面目に自ウェブサイトを管理されている方に向けての記事です。Webに係わるものとしてはコツコツと信頼や実績を積み上げて行くことをモットーとしたいものです。
備忘録として残しておきます。