# cardchusen.com robots.txt
#
# 掲載情報および画面構成の無断複製・転載を禁じます。
# 機械的手段による本サイトの取得・蓄積は利用規約第5条で禁止しています。
# https://cardchusen.com/terms
#
# Reproduction or redistribution of the content and database of this site is prohibited.
# Automated collection is prohibited by our Terms of Use, Article 5.

# ------------------------------------------------------------------
# 既定（検索エンジンおよび未知のクローラ）
# ------------------------------------------------------------------
# Disallow を Allow より先に置く。Google 等は最長一致で解決するが、
# 出現順で解決するパーサだと Allow: / が先にあると内部ディレクトリの
# Disallow が無視される。両方の解釈で意図どおりに効く並びにしている。
User-agent: *
Disallow: /data/
Disallow: /cache/
Disallow: /scripts/
Disallow: /logs/
Disallow: /config/
Disallow: /src/
Allow: /

# ------------------------------------------------------------------
# 生成AIの学習用クローラ。引用・検索経由の流入を担うボット
# （OAI-SearchBot / ChatGPT-User / Claude-User / Claude-SearchBot /
#  PerplexityBot 等）は上の既定グループで許可したまま残す。
# ------------------------------------------------------------------
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Omgili
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: ImagesiftBot
Disallow: /

# ------------------------------------------------------------------
# データ再販・大規模クロール系。
# AhrefsBot は自社で被リンク調査に使用しているため意図的に許可している。
# 停止する場合は運用側の影響を確認してから。
# ------------------------------------------------------------------
User-agent: CCBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: serpstatbot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: ZoominfoBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: SeekportBot
Disallow: /

# ------------------------------------------------------------------
# 汎用スクレイピングツール。
# これらの多くは robots.txt を参照しないため技術的な遮断効果は期待できないが、
# 機械的収集を許諾していないことの意思表示として明示する。
# 実効的な遮断は WAF / レート制限側で行うこと。
# ------------------------------------------------------------------
User-agent: Scrapy
Disallow: /

User-agent: python-requests
Disallow: /

User-agent: python-httpx
Disallow: /

User-agent: node-fetch
Disallow: /

User-agent: axios
Disallow: /

User-agent: Go-http-client
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Wget
Disallow: /

User-agent: curl
Disallow: /

Sitemap: https://cardchusen.com/sitemap.xml