# robots.txt — nextcar-usa.pl
# KAŻDA oferta (aktywna i historyczna/SOLD) pod /pl/auta-z-usa/oferta/...
# jest indeksowalna (meta robots="index,follow"); NIE używamy już noindex.
# Blokujemy tu wyłącznie: strony prywatne, panele, API, wydruki oraz osobne
# listingi archiwalne (/oferta-archiwalna, /oferty-archiwalne) — by nie marnować crawl budgetu.

# =========================================================================
#  DOMYŚLNA REGUŁA DLA WSZYSTKICH BOTÓW
# =========================================================================
User-agent: *
Allow: /
Disallow: /api/
Disallow: /api-auta/
Disallow: /api-manheim/
Disallow: /manheim-api/
Disallow: /img-proxy
Disallow: /reports/
Disallow: /pl/admin/
Disallow: /pl/contracts/
Disallow: /pl/logowanie
Disallow: /pl/rejestracja
Disallow: /pl/moje-konto
Disallow: /pl/moje-zakupy
Disallow: /pl/moje-zamowienie
Disallow: /pl/resetowanie-hasla
Disallow: /pl/resetowanie-has%C5%82a
Disallow: /pl/verify-otp
Disallow: /pl/after-purchase
Disallow: /pl/status-importu-z-usa
Disallow: /pl/sledzenie-kontenera
Disallow: /pl/documents-base
Disallow: /pl/baza-danych-manheim
# Listingi i strony ofert archiwalnych (historycznych) — nie marnujemy crawl budgetu
Disallow: /pl/oferty-archiwalne
Disallow: /pl/oferta-archiwalna/
Disallow: /pl/auta-z-usa/archiwalne
# Strony testowe/deweloperskie
Disallow: /pl/index-test
Disallow: /pl/topbar-test
Disallow: /pl/moje-konto-test
Disallow: /pl/automax-test
# Parametry filtrów (warianty z querystring nie powinny być indeksowane)
Disallow: /*?

# =========================================================================
#  KLASYCZNE WYSZUKIWARKI — pełny dostęp do treści publicznych
# =========================================================================
User-agent: Googlebot
Allow: /
Disallow: /api/
Disallow: /api-auta/
Disallow: /manheim-api/
Disallow: /img-proxy
Disallow: /pl/admin/
Disallow: /reports/
Disallow: /pl/contracts/
Disallow: /pl/oferty-archiwalne
Disallow: /pl/oferta-archiwalna/
Disallow: /pl/auta-z-usa/archiwalne
Disallow: /*?

User-agent: Googlebot-Image
Allow: /

User-agent: Bingbot
Allow: /
Disallow: /api/
Disallow: /api-auta/
Disallow: /manheim-api/
Disallow: /img-proxy
Disallow: /pl/admin/
Disallow: /pl/oferty-archiwalne
Disallow: /pl/oferta-archiwalna/
Disallow: /pl/auta-z-usa/archiwalne
Disallow: /*?

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Applebot
Allow: /

User-agent: YandexBot
Allow: /
Disallow: /api/
Disallow: /pl/admin/

User-agent: SeznamBot
Allow: /

# =========================================================================
#  WYSZUKIWARKI AI — DOZWOLONE (chcemy być widoczni w AI-search)
# =========================================================================
# OpenAI – wyszukiwarka ChatGPT (OAI-SearchBot) i odpytania użytkownika (ChatGPT-User)
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Anthropic – wyszukiwarka/odpowiedzi Claude
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Allow: /

# Apple Intelligence
User-agent: Applebot-Extended
Allow: /

# Google AI (AI Overviews / Gemini grounding)
User-agent: Google-Extended
Allow: /

# Common Crawl używany też przez wyszukiwarki — patrz sekcja botów treningowych niżej.

# =========================================================================
#  BOTY TRENUJĄCE MODELE AI — ZABLOKOWANE (nie oddajemy treści na trening)
# =========================================================================
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Omgili
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# =========================================================================
#  SITEMAPY
# =========================================================================
Sitemap: https://nextcar-usa.pl/sitemap-index.xml
Sitemap: https://nextcar-usa.pl/sitemap-index-static.xml