Google クローラ (Googlebot)

参考:

Google クローラの概要 | Google Developers [公式]

クロールを許可・禁止する (robots.txt)

参考:

robots.txt の概要とガイド | Google Developers [公式]

robots.txt ファイルを作成して送信する | Google Developers [公式]

更新した Robots.txt を Google に送信する | Google Developers [公式]

Google による robots.txt の指定の解釈 | Google Developers [公式]

robots に関するよくある質問 | Google Developers [公式]

ユーザーエージェント

参考:

Googlebot のユーザーエージェント名 (UA 名) が変わるよ! | Web 担当者 Forum

Google 検索のクローラー Googlebot の UA 文字列が変更へ | 窓の杜

クローラが Googlebot などの Google クローラであることを確認する | Google Developers [公式]

記事をシェアする:
タグ:

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です