Google と Bing（Microsoft）は 2026年10月30日に、サイトの robots.txt に「AI の学習に使ってよいか」を書く共通の仕組みに対応すると、それぞれの公式ブログで発表しました。Google は 2027年に、Bing は 2027年2月1日からこの設定を読み始めます。あわせて Bing は、AI の回答に自社ページを引用させる「グラウンディング」を拒否すると AI の体験での表示が減ると明記しました。この記事は、東京で店舗・事務所・工務店などのウェブサイトを持つオーナーに向けて、Google と Bing の原文に書かれている仕様だけを整理し、自社サイトで今日確認することをまとめたものです。
結論を先に書きます。AI の「学習」を拒否する設定と、AI 検索に「表示される」ための設定は別物です。Google は、学習の制御（Google-Extended）が Google 検索での登録や順位に影響しないと公式ドキュメントで明記しています。一方で、引用（グラウンディング）まで止めると、Bing と Copilot の AI の回答から自社サイトが出にくくなります。東京名鑑の掲載データ（取得 2026年6月〜9月）では、東京の工事・リフォーム 4,415社のうちウェブサイトの登録があるのは 2,719社（61.6%）で、残りは robots.txt 以前にサイトそのものが Google ビジネスプロフィールに登録されていません。
本文の数字は、Google 検索セントラルのブログと公式ドキュメント、Bing の公式ブログ、東京名鑑の掲載データにあるものだけを使っています。各社の発表は英文の全世界向けで、日本向けの提供時期が分けて示されているわけではなく、日本での実測や日本向けの約束ではありません。仕様と日程は変わることがあるため、最終的には出典の原文で確かめてください。AI 検索の基本はLLMO（AI 検索最適化）のページにまとめています。
何が発表されたか（Google と Bing の原文）
Google 検索セントラル ブログは 2026年10月30日付の「Supporting a shared AI training control for websites」で、robots.txt に書く共通の「ポリシー トークン」に対応する計画を発表しました。これは IETF（Internet Engineering Task Force）の AIPREF 作業部会の成果に基づくもので、サイト所有者が複数の AI 事業者に対する学習の可否をまとめて表明できるようにするものです。Google は 2023年から提供している自社の制御「Google-Extended」の上に、この共通の仕組みを重ねると説明しています。
同じブログによると、サイトがこのトークンで学習を拒否し、Google-Extended を別に書いていない場合、Google は Google-Extended を拒否したものとして扱います。既存の各社固有の制御はそのまま使え、共通の表明と各社向けの指定を組み合わせられます。Google-Extended を明示的に許可しているサイトは、Gemini アプリでのグラウンディングを通じて回答に表示され、クリックを受け取る対象になります。対応時期は「他の AI 事業者とともに 2027年」です。Google のクローラーの公式ドキュメント（英語版・2026年10月30日更新）には、トークンの表記が「user-agent: __usage_ai-training」で、対応は 2027年初頭と書かれています。
Bing の公式ブログは同じ 2026年10月30日付の「Your content, your choice: clearer preferences for training and grounding」で、同じ共通の学習設定に対応するとともに、Microsoft 独自の「AI グラウンディング」設定を別に追加すると発表しました。新しい設定は 2027年2月1日からクロール時に読み取られ、これまで Microsoft が使ってきた NoArchive と NoCache は 2027年3月1日以降、学習とグラウンディングの意思表示としては読まれなくなります。
| 日付 | 内容 | 出典 |
|---|---|---|
| 2026年10月30日 | Google が共通の AI 学習制御への対応計画を発表 | Google 検索セントラル ブログ |
| 2026年10月30日 | Bing が AI 学習・AI グラウンディングの新設定を発表 | Bing 公式ブログ |
| 2026年12月15日 | Bing Webmaster Tools で暫定のグラウンディング設定の受付開始（NoArchive・NoCache を使っているサイトのみ） | Bing 公式ブログ |
| 2027年初頭 | Google が「__usage_ai-training」に対応予定 | Google クローラー ドキュメント |
| 2027年2月1日 | Bing が新設定をクロール時に読み始める | Bing 公式ブログ |
| 2027年3月1日 | Bing で NoArchive・NoCache が学習・グラウンディングの意思表示として読まれなくなる期限 | Bing 公式ブログ |
| 2027年9月30日 | Bing の暫定設定が失効 | Bing 公式ブログ |
「学習」と「グラウンディング」は別の設定
今回の発表で事業者がいちばん押さえるべき点は、AI によるコンテンツの使われ方が 2 つに分かれていることです。Bing のブログは、AI 学習を「生成 AI モデルの学習済みパラメータを変えるためにコンテンツを使うこと」、AI グラウンディングを「AI が生成する回答の材料としてコンテンツを使うこと」と定義し、従来の検索結果のインデックス登録と順位付けはグラウンディングに含まれないとしています。
Google も同じ区別をしています。公式ドキュメントによると、Google-Extended は、Gemini アプリや Gemini 向け Vertex AI API の基盤になる次世代 Gemini モデルの学習と、Gemini アプリおよび Vertex AI でのグラウンディング（プロンプト入力時に Google の検索インデックスからモデルにコンテンツを提供すること）に自社サイトを使わせるかどうかを管理するトークンです。そして「Google-Extended が Google 検索でのサイトの登録に影響したり、Google 検索でのランキング シグナルとして使用されたりすることはありません」と明記されています。
| 設定 | Bing（Microsoft） | |
|---|---|---|
| AI 学習（モデルの学習） | Google-Extended で拒否できる。2027年からは共通トークン「__usage_ai-training」も読む | 共通トークンを robots.txt に書く。ページ単位の meta タグや HTTP ヘッダーでも指定でき、ページ単位が robots.txt より優先 |
| AI グラウンディング（回答への引用） | Google-Extended の対象（Gemini アプリ・Vertex AI）。Google 検索の AI による概要・AI モードは対象外で、通常の Googlebot と表示の制御に従う | ページ単位の「ai-grounding」で Allow／DisallowExtended／Disallow を選ぶ。サイト全体を robots.txt で指定する方法は無い |
| 何も書かない場合 | 原文に初期値の記載なし（Google-Extended を許可しているサイトが Gemini アプリの引用対象） | 学習・グラウンディングとも Allow が初期値 |
| 従来の検索結果への影響 | 登録にも順位にも使われない | Bing の検索結果の対象であることは変わらない（通常のクロールとインデックス登録の要件に従う） |
Bing は、グラウンディングで Disallow または DisallowExtended を選ぶと「AI 体験でのブランドの表示が減る」と書き、注意書きでは AI が生成する体験での表示が大きく減るとしています。同時に、「どちらの選択も、掲載・トラフィック・支払いを保証するものではない」とも明記しています。許可すれば引用の対象になるだけで、出ることが約束されるわけではありません。
DisallowExtended は Microsoft 独自の中間の選択肢です。Microsoft が運営する AI モード・AI Overview・Copilot・Microsoft 365 での引用は許し、Microsoft が第三者に提供するグラウンディングのサービス（Web IQ や Foundry の API 経由）には使わせない、という設定です。
Google 検索の AI による概要・AI モードに出る条件
Google 検索セントラルの「AI 機能とウェブサイト」は、AI による概要や AI モードにコンテンツが表示されるための追加の要件はなく、特別な最適化も必要ないと説明しています。技術要件は、ページがインデックスに登録されていること、Google 検索でスニペットが表示されること、検索の技術的要件を満たすことの 3 つだけです。要件を満たしても、クロール・インデックス登録・配信が保証されるわけではないとも書かれています。
同じページは、AI 機能に出す内容の管理方法も示しています。クロールの可否は Googlebot に対する robots.txt で、検索に表示されるページからの情報を制限するには nosnippet・data-nosnippet・max-snippet・noindex を使います。Google の他のシステム（Gemini アプリなど）での学習とグラウンディングの制限は Google-Extended で行う、と役割が分かれています。つまり、Google-Extended で学習を拒否しても、検索の AI 機能への表示は別の仕組みで決まります。
基本の確認項目として同ページが挙げているのは、クロールが robots.txt と CDN・ホスティング側の両方で許可されていること、内部リンクから見つけやすいこと、重要な内容をテキストで載せること、構造化データを表示テキストと一致させること、Merchant Center とビジネス プロフィールの情報を最新にすることです。AI 機能のために新しい機械可読ファイルや AI 向けテキストファイル、特別な schema.org の構造化データを追加する必要は無いとも書かれています。
AI 機能からのクリックは Search Console の検索タイプ「ウェブ」のパフォーマンス レポートに含まれます。計測の仕方はAI 検索に出た回数を測る｜Google・Bing 公式レポートの読み方で整理しています。AI による概要そのものの仕組みはAI Overviews の解説記事を参照してください。
東京の店舗サイトで今日確認する手順
設定を書き換える前に、まず自社サイトの現状を把握します。確認するのは robots.txt、ページの meta タグ、CMS の設定です。
- robots.txt を開く。ブラウザで「https://自社ドメイン/robots.txt」を表示します。Google の公式ドキュメント「robots.txt の概要」によると、robots.txt はクローラーにアクセスしてよい URL を伝えるファイルで、Google にページを表示させないための仕組みではありません。
- Google-Extended の行を探す。「User-agent: Google-Extended」の下に「Disallow: /」があれば、Gemini アプリと Vertex AI での学習とグラウンディングの両方を拒否している状態です。意図した設定かどうかを、設定した担当者に確認します。
- 共通トークンの行を探す。「User-agent: __usage_ai-training」の行があれば、2027年以降は Google と Bing の両方が学習の拒否として読みます。Bing ではこれを書いてもグラウンディングの設定は変わりません。
- ページ内の meta robots タグを確認する。Google は、検索に表示されるページからの情報を制限する手段として nosnippet・data-nosnippet・max-snippet・noindex を挙げています。Bing 向けの「ai-grounding:disallow」が入っていれば、Bing のグラウンディングを拒否している状態です。
- CMS とプラグインの設定を確認する。Google の概要ドキュメントは、Wix や Blogger などの CMS では robots.txt を直接編集する必要がない、または編集できない可能性があり、CMS が代わりに検索設定ページなどの仕組みを用意している場合があると書いています。自社の CMS やプラグインの設定画面に、検索エンジンや AI に関する項目が無いかを確認します。
- Search Console の URL 検査で取得された HTML を見る。「AI 機能とウェブサイト」のトラブルシューティングは、Googlebot が取得した HTML を URL 検査ツールで確認する方法を挙げています。変更後の再クロールには時間がかかり、再クロールのリクエストもできます。Search Console の基本は店舗向け Search Console ガイドにまとめています。
- Google ビジネスプロフィールの情報を最新にする。AI 機能の基本の確認項目にビジネス プロフィールが含まれています。オーナー確認が済んでいなければ、オーナー確認の手順と東京の業種別確認率から始めてください。
- NoArchive・NoCache を使っているサイトだけ、Bing の移行手順を見る。2026年12月15日から Bing Webmaster Tools で暫定のグラウンディング設定を記録でき、2027年3月1日までにページ側の新しい設定と暫定設定の両方を済ませる必要があります。暫定設定は再クロールで新設定が見つかるか、2027年9月30日のどちらか早いほうで終わります。
確認が終わったら、次の 3 点を書き出しておくと判断が早くなります。
- robots.txt に書かれている AI 関連のトークン（Google-Extended・__usage_ai-training など）と、その Allow／Disallow
- 主要ページの meta robots（nosnippet・noindex・Bingbot 向けの ai-training／ai-grounding）
- その設定を書いたのが誰で、いつ、どんな意図だったか
よくある失敗
- 「AI に使われたくない」でまとめて全部拒否する。学習だけでなくグラウンディングまで止まると、Bing の原文どおり AI の回答に自社が出にくくなります。Google でも Google-Extended の拒否は Gemini アプリの引用対象から外れることを意味します。
- robots.txt で検索から隠そうとする。Google の概要ドキュメントは、robots.txt でブロックしたページでも URL が検索結果に出ることがあり、説明が表示されないだけだと書いています。出したくないページには noindex やパスワード保護を使います。
- NoArchive 頼みのまま放置する。Bing では 2027年3月1日以降、NoArchive・NoCache は学習・グラウンディングの意思表示として読まれません。
- 書いただけで反映されたと思う。Bing は、設定はクロールされて初めて発見されると書き、IndexNow は再クロールの可能性を上げるが日程を保証しないとしています。Google も再クロールまで時間がかかると説明しています。
- サイトが無い、またはビジネスプロフィールに登録していない。robots.txt はサイトごとのファイルなので、サイトが無ければ設定の対象もありません。その場合の入口はビジネスプロフィールと第三者の掲載先です。
東京名鑑のデータで見る「サイトがある事業者」の割合
東京名鑑の掲載データ（取得 2026年6月〜9月）で、Google ビジネスプロフィールにウェブサイトの登録がある事業者の割合を業種別に見ると、次のとおりです。名鑑の件数は Google 等の公開情報をもとにした掲載数であり、実際の事業者数ではありません。
| 業種 | 掲載 | サイト登録あり | 割合 |
|---|---|---|---|
| 美容クリニック | 697院 | 682院 | 97.8% |
| オフィス | 631件 | 609件 | 96.5% |
| 学習塾 | 860件 | 796件 | 92.6% |
| クリニック・医院 | 2,969院 | 2,728院 | 91.9% |
| 歯科 | 4,865院 | 4,296院 | 88.3% |
| 治療院 | 3,531院 | 2,798院 | 79.2% |
| 不動産仲介（東京・首都圏） | 8,383件 | 5,936件 | 70.8% |
| 士業 | 2,581件 | 1,721件 | 66.7% |
| 建築士事務所 | 1,707件 | 1,101件 | 64.5% |
| 工事・リフォーム | 4,415社 | 2,719社 | 61.6% |
| 自動車整備・板金 | 272件 | 146件 | 53.7% |
工事・リフォームは 4,415社のうちサイト登録が 2,719社（61.6%）、士業は 2,581件のうち 1,721件（66.7%）、建築士事務所は 1,707件のうち 1,101件（64.5%）、自動車整備・板金は 272件のうち 146件（53.7%）です。これらの業種では、ビジネスプロフィールにサイトの登録が無い事業者の割合が、他の業種より高くなっています。データの出どころと取り方は東京名鑑のデータについてに書いています。
サイトが無い、または作り直し中の事業者にとって、AI や検索が店舗情報を引く元はビジネスプロフィールと第三者の掲載先です。東京名鑑は掲載無料・広告枠なしで、工事・リフォームの一覧のように業種と区ごとに事業者を載せています。掲載の申し込みは工事・リフォームの事業者の方へから行えます。自社が AI 検索でどう見えているかはAI 検索診断（無料・登録不要）で確かめられます。
学習を拒否するかどうかの判断軸
学習の可否は、コンテンツの権利と事業の方針で決めることで、正解はひとつではありません。Google のブログは、この提案が出版社・市民団体・規制当局などの要望を反映したもので、EU の AI 法のもとでの汎用 AI モデル提供者向け実践規範（robots.txt を機械可読な意思表示の主要な方法と認めるもの）と整合すると述べています。いずれも海外の発表であり、日本の事業者に新しい義務を課すものとしては書かれていません。
店舗・事務所のサイトの目的が「見つけてもらうこと」なら、判断は次の 2 段階に分けられます。ひとつは学習（モデルの改良への利用）を許すか。もうひとつはグラウンディング（回答への引用）を許すかです。Bing は「学習は Disallow、グラウンディングは Allow」の組み合わせができると例示しています。Google でも、Google-Extended を許可すれば Gemini アプリでの引用対象になり、拒否すれば学習とグラウンディングの両方が止まります。Bing の原文では、グラウンディングを拒否すると AI の体験での表示が減るとされているため、AI の回答に自社の情報を出したい事業者は、学習とグラウンディングを分けて判断することになります。
Google 検索の AI による概要と AI モードについては、この判断とは別に、通常の検索と同じ条件（インデックス登録・スニペット・技術要件）で表示が決まります。自社サイトが検索の基本を満たしているかはSEO・LLMO 自己診断チェックリストで確認できます。
注意点と法令
- 表示は保証されない。Bing は「どちらの選択も、掲載・トラフィック・支払いを保証するものではない」と書き、Google も「対象になる（eligible）」という表現です。「設定すれば AI に出る」という説明を受けたときは、原文のこの記述と照らして根拠を確かめてください。
- robots.txt に強制力は無い。Google の概要ドキュメントは、すべてのクローラーが robots.txt のルールに従うとは限らず、指示に従うかはクローラー次第だと書いています。守らせたい情報はパスワード保護など別の方法で守ります。
- 設定は「利用の可否」で、クロールの可否ではない。Bing は、Allow の設定が Bingbot のクロールを止める robots.txt のルールを上書きしないと書いています。Google の「AI 機能とウェブサイト」も、クロールが robots.txt と CDN・ホスティング側で許可されていることを確認項目に挙げています。
- ビジネスプロフィールの情報は別に更新する。Google は、Merchant Center とビジネス プロフィールの情報が最新であることを AI 機能の基本の確認項目に挙げています。robots.txt の設定とは別の作業です。
- 日本向けの提供時期は別に示されていない。Google と Bing の発表は英文の全世界向けで、日本の実測ではなく、日本での適用時期を分けて書いたものでもありません。日程は原文の更新を確認してください。
よくある質問
robots.txt で AI 学習を拒否すると、Google 検索の順位は下がりますか
Google の公式ドキュメントは、Google-Extended は Google 検索でのサイトの登録に影響せず、ランキング シグナルにも使われないと明記しています。共通トークンによる拒否は Google-Extended の拒否として扱われるため、同じ扱いと読めます。Googlebot のクロールの可否は、Google-Extended とは別に robots.txt で管理します。
AI による概要に出したくないページはどうすればよいですか
Google の「AI 機能とウェブサイト」によると、検索に表示されるページからの情報の制限には nosnippet・data-nosnippet・max-snippet・noindex を使います。Google-Extended は Gemini アプリなど検索以外のシステム向けです。設定後は Googlebot の再クロールを待つ必要があり、URL 検査ツールで取得された HTML を確認できます。
今すぐ何かを書き換える必要がありますか
Bing の設定が読まれるのは 2027年2月1日からで、Google の対応も 2027年です。今は自社の robots.txt と meta タグに何が書いてあるかを把握し、意図しない拒否が無いかを確認する段階です。NoArchive・NoCache を使っているサイトだけは、2027年3月1日までに Bing の新設定へ移す必要があります。
ウェブサイトが無い店舗には関係ありませんか
robots.txt はサイトごとのファイルなので、サイトが無ければ設定の対象もありません。その場合、AI や検索が店舗情報を引く元は Google ビジネスプロフィールや第三者の掲載先になります。Google は AI 機能の基本としてビジネス プロフィールの情報を最新にすることを挙げています。設定の確認や判断に迷う場合は無料相談で現状の robots.txt と meta タグを一緒に確認できます。
いまの「見え方」を確かめる
- AI検索診断（無料・登録不要） — 屋号とエリアを入れるだけで、Google 検索・Google マップ・AI での見え方を実データで確認できます。
- 無料相談 — 何から手を付けるべきかを一緒に確認します。営業の連絡を続けることはありません。
- 東京名鑑への掲載: 工事・リフォームの事業者の方へ（無料掲載） — 公開情報をもとに整えた、掲載無料・50音順の地域ディレクトリです。情報の修正・掲載停止も無料です。
あわせて読みたい
- AI検索に出た回数を測る｜Google・Bing公式レポートの読み方
- LLMOをやればSEOは不要？AI検索時代に「SEO×LLMO」のハイブリッド戦略が必要な理由
- AI検索の効果はどう測る？LLMOの成果指標（KPI）と「シェア・オブ・モデル」の考え方
- 【完全版】LLMO（AI検索最適化）とは？ChatGPTやPerplexityに自社を表示させる具体的な手法
出典・参考情報
- Google 検索セントラル ブログ「Supporting a shared AI training control for websites」（2026年10月30日）（2026-11-01 確認）
- Google 検索セントラル「Google の一般的なクローラー」（英語版・最終更新 2026年10月30日）（2026-11-01 確認）
- Google 検索セントラル「Google の一般的なクローラー」（日本語版・最終更新 2026年10月19日）（2026-11-01 確認）
- Google 検索セントラル「AI 機能とウェブサイト」（最終更新 2025年12月31日）（2026-11-01 確認）
- Google 検索セントラル「robots.txt の概要」（最終更新 2025年12月18日）（2026-11-01 確認）
- Bing Search Blog「Your content, your choice: clearer preferences for training and grounding」（2026年10月30日・Krishna Madhavan）（2026-11-01 確認）
最終更新: 2026年11月1日。本記事は出典欄の公式情報（確認日時点）に基づきます。本文の件数・割合は、東京名鑑の掲載データ（取得 2026年6月〜9月、2026年6月、2026年7月）を集計したものです。掲載データは Google 等の公開情報をもとにしており、実際の事業者数とは異なります。Google の仕様・ポリシーは変わることがあります。実施の前に最新の公式情報をご確認ください。本記事は特定の事業者を推奨するものではなく、成果を保証するものでもありません。