新機能・対応追加
/crawlがContent Signalsのuse指令に対応
2026/08/31 リリース
CloudflareのBrowser Runにおいて、/crawlエンドポイントがContent Signals標準のuse指令を考慮するようになりました。新しいcontentUseパラメーターでコンテンツ利用レベル（referenceまたはfull）を指定でき、対象サイトのrobots.txtがより厳しい利用レベルを設定している場合は、クロール要求が400エラーで拒否されます。
正確な内容・最新情報は公式情報をご確認ください。
元記事を確認する