robots.txt を設置する方法 [WordPress]

使い方

• robots.txt はドメインのルートディレクトリに設置する。
  • WordPress をルートディレクトリにインストールした場合は wp-config.php などと同じ階層に設置する。
  • WordPress をサブディレクトリにインストールした場合は、上位にある元のルートディレクトリに設置する。
• robots.txt が設置されておらず、次の条件が全て満たされた場合、WordPress により動的に生成された仮想ファイルが返される。
  • 「設定 > パーマリンク > 共通設定」が 基本 以外に設定されている。
  • 「設定 > 一般 > サイトアドレス」がルートディレクトリに設定されている。
• 「表示設定 > 検索エンジンでの表示 > 検索エンジンがサイトをインデックスしないようにする」をチェックすると、クローラーを拒否する設定となる。

設定の例

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# User-agent: Googlebot
# Disallow: /wp-json/

Sitemap: https://example.com/wp-sitemap.xml
# Sitemap: https://example.com/sitemap.xml

参考：

WordPress で robots.txt ファイルが見つからない！？ robots.txt ファイルの設置場所と作成方法 | Proぐらし

robots.txt の設定例と作成方法 | Naifix

自動で出力される「仮想 robots.txt」をカスタマイズする方法 | 株式会社オンズ

自動で生成される仮想 robots.txt について整理してみた | Tips Note by TAM

robots.txt とは？うまく活用すると SEO 効果もアップ！？ | PINTO!

robots.txt ファイルについて – WordPress サポート [公式]

WordPress Robots.txt Guide – What It Is and How to Use It | Kinsta

What Are WordPress robots.txt Files and How to Use Them | Qode Interactive

How to Optimize Your Robots.txt for SEO in WordPress | WPBeginner

The Complete Guide to WordPress robots.txt (And How to Use it for SEO) | Hostinger Tutorials

REST API (wp-json)

参考：

WordPress の/wp-json/ へのアクセスはどうしていますか？ – Qiita

Disallow /wp-json/ crawling (#36390) | WordPress Trac [Official]

関数

参考：

do_robots() | WordPress Developer Resources [Official]

フック

参考：

robots_txt – Hook | WordPress Developer Resources [Official]

アクション

参考：

do_robotstxt | WordPress Developer Resources [Official]