使い方

  • robots.txt はドメインのルートディレクトリに設置する。
    • WordPress をルートディレクトリにインストールした場合は wp-config.php などと同じ階層に設置する。
    • WordPress をサブディレクトリにインストールした場合は、上位にある元のルートディレクトリに設置する。
  • robots.txt が設置されておらず、次の条件が全て満たされた場合、WordPress により動的に生成された仮想ファイルが返される。
    • 「設定 > パーマリンク > 共通設定」が 基本 以外に設定されている。
    • 「設定 > 一般 > サイトアドレス」がルートディレクトリに設定されている。
  • 「表示設定 > 検索エンジンでの表示 > 検索エンジンがサイトをインデックスしないようにする」をチェックすると、クローラーを拒否する設定となる。

設定の例

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# User-agent: Googlebot
# Disallow: /wp-json/

Sitemap: https://example.com/wp-sitemap.xml
# Sitemap: https://example.com/sitemap.xml

参考:

WordPress で robots.txt ファイルが見つからない!? robots.txt ファイルの設置 (保存) 場所と作成方法 | Proぐらし

robots.txt の設定例と作成方法 | Naifix

自動で出力される「仮想 robots.txt」をカスタマイズする方法 | 株式会社オンズ

自動で生成される仮想 robots.txt について整理してみた | Tips Note by TAM

robots.txt とは?うまく活用すると SEO 効果もアップ!? | PINTO! by PLAN-B

robots.txt ファイルについて – WordPress サポート [公式]

WordPress Robots.txt Guide – What It Is and How to Use It | Kinsta

What Are WordPress robots.txt Files and How to Use Them | Qode Interactive

How to Optimize Your Robots.txt for SEO in WordPress | WPBeginner

The Complete Guide to WordPress robots.txt (And How to Use it for SEO) | Hostinger Tutorials

REST API (wp-json)

参考:

WordPress の/wp-json/ へのアクセスはどうしていますか? – Qiita

Disallow /wp-json/ crawling (#36390) | WordPress Trac [Official]

関数

参考:

do_robots() | WordPress Developer Resources [Official]

フック

参考:

robots_txt – Hook | WordPress Developer Resources [Official]

アクション

参考:

do_robotstxt | WordPress Developer Resources [Official]

記事をシェアする:
タグ:

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です