Google クローラ
参考：
Google クローラの概要 | Google Developers [公式]
クロールを許可・禁止する (robots.txt)
参考：
robots.txt の概要とガイド | Google Developers [公式]
robots.txt ファイルを作成して送信する | Google Developers [公式]
更新した Robots.txt を Google に送信する | Google Developers [公式]
Google による robots.txt の指定の解釈 | Google Developers [公式]
robots に関するよくある質問 | Google Developers [公式]
ユーザーエージェント
参考：
Googlebot のユーザーエージェント名 (UA 名) が変わるよ！ | Web 担当者 Forum
Google 検索のクローラー Googlebot の UA 文字列が変更へ | 窓の杜
クローラが Googlebot などの Google クローラであることを確認する | Google Developers [公式]
クロール頻度
参考：
Googlebot のクロール頻度の変更 | Search Console ヘルプ [公式]
クロールが拒否されている
参考：
対処方法: robots.txt が原因でパソコン用ページをクロールできません | Google Merchant Center ヘルプ [公式]
テスター
参考：
robots.txt テスターで robots.txt をテストする | Search Console ヘルプ [公式]