クロールを許可／禁止する方法 (robots.txt)

使い方

参考：

robots.txt の作成と記述方法／使い方と注意点 | アレブログ

robots.txt の書き方 | テクニカル SEO BLOG

よくわかる robots.txt の書き方とルール | ネット集客の歩き方

サイト最適化の為の robots.txt の書き方と効果的な活用方法 | バズ部

robots.txt とは？正しい記述方法を徹底解説 | デジ研

robots.txt とは？うまく活用すると SEO 効果もアップ！？ | PINTO!

書き方

参考：

初心者にも分かる！robots.txt の作り方 | SYNCER

robots.txt の設定と書き方、アクセスの禁止や制限について | MEMORVA

robots.txt の設定・書き方について | えるぺぐ

robots.txt の記述例とサンプル | ホームページの作り方

robots.txt の正しい書き方 | ferret

robots.txt の記述方法 | so-zou.jp

robots.txt のフォーマット | ugokay

Google による robots.txt の指定の解釈 | Google Developers [公式]

注意事項

• CSS や JavaScript をブロックしないようにする。(クローラーが HTML のレイアウトを正常に理解するために CSS や JavaScript を適用する必要がある。)
• インデックスさせないために使用しない。(インデックスの拒否は robots メタタグに noindex を指定する。あるいは、HTTP ヘッダーで X-Robots-Tag を用いて指定する。)

参考：

robots.txt とは | アルトカラム

Google クローラ (Googlebot)

参考：

robots.txt の概要とガイド | Google Developers [公式]

robots.txt ファイルを作成して送信する | Google Developers [公式]

更新した Robots.txt を Google に送信する | Google Developers [公式]

Google による robots.txt の指定の解釈 | Google Developers [公式]

robots に関するよくある質問 | Google Developers [公式]

ユーザーエージェント

参考：

クローラ (ロボット) のユーザーエージェント (UA) 一覧 | スタジオ CASIS

robots.txt の「user-agent: *」はクローラにより効かないこともある | ugokay

robots.txt テスター

→ robots.txt テスター

参考：

robots.txt を修正したときにグーグルのキャッシュをすぐに更新する方法 | Web 担当者 Forum

robots.txt テスターで robots.txt をテストする | Search Console ヘルプ [公式]

規格

参考：

Robots Exclusion Protocol (draft-koster-rep-06) | IETF [Official]

A Method for Web Robots Control (draft-koster-robots-00.txt) | The Web Robots Pages (robotstxt.org)

リンク

参考：

The Web Robots Pages (robotstxt.org)