日々の変換作業を、10秒で。

RFC 9309 robots.txt ルールテスター

User-AgentとURLに対するAllow・Disallowルールをブラウザ内で判定します。 入力内容はブラウザ内で処理します。

使い方・補足を見る

使い方

  1. robots.txtを貼り付けます。
  2. crawler product tokenとURLまたはpathを入力します。
  3. 勝者ルールとAllow/Disallow判定を確認します。

例

Disallow

入力
User-agent: *\nDisallow: /private
出力
/private → DISALLOW

注意事項

  • 対象サイトへrobots.txtをfetchしません。
  • 最長一致と同長時のAllow優先を適用します。
  • robots.txtはアクセス認可ではありません。

データの取り扱い

入力値はブラウザ内で処理し、network・Analytics・storageへ送信または保存しません。

Privacy Policyを確認する
DevelopmentJSON FormatterJSONを整形し、正しい形式か検証します。DevelopmentSQL IN句用リスト生成改行・タブ・カンマ区切りの値からSQL IN句用リストを生成します。Developmentテキスト・JSON差分比較テキストとJSONを行単位で比較し、追加・削除・一致を表示します。DevelopmentHTTP Cache-Control鮮度・Age計算Cache-Controlのfreshness lifetimeとcurrent ageをRFC 9111の主要式で確認します。
TextNewline Escaper改行コードを変換、統一、削除します。TextMarkdown to HTML ConverterMarkdownとHTMLを相互変換し、安全なプレビューを表示します。

開発のツールをもっと見る →