使い方

参考:

robots.txt の書き方 | テクニカル SEO BLOG

Google クローラ (Googlebot)

こちらのページを参照

参考:

robots.txt の概要とガイド | Google Developers [公式]

robots.txt ファイルを作成して送信する | Google Developers [公式]

更新した Robots.txt を Google に送信する | Google Developers [公式]

Google による robots.txt の指定の解釈 | Google Developers [公式]

robots に関するよくある質問 | Google Developers [公式]

ユーザーエージェント

参考:

クローラ (ロボット) のユーザーエージェント (UA) 一覧 | スタジオ CASIS

記事をシェアする:

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です