# robots.txt for Supy # Last updated: 2025-11-14 # Website: https://supy.io/ # Platform: Webflow # Purpose: Proper crawling rules for search engines + LLM crawlers ############################################################################### # 1. Allow all major search engines full access to public content ############################################################################### User-agent: * Allow: / # Block internal Webflow system folders (not real content) Disallow: /dashboard/ Disallow: /admin/ Disallow: /api/ Disallow: /scripts/ Disallow: /templates/ Disallow: /webflow/ # Block marketing-tracking endpoint folders if present Disallow: /utm/ Disallow: /ref/ ############################################################################### # 2. AI / LLM crawler directives (GEO-friendly) ############################################################################### # Allow OpenAI’s GPTBot User-agent: GPTBot Allow: / # Allow Anthropic Claude User-agent: ClaudeBot Allow: / # Allow Google AI crawlers for SGE & Gemini User-agent: Google-Extended Allow: / # Allow Perplexity User-agent: PerplexityBot Allow: / # Allow Amazon AGI crawlers User-agent: Amazonbot Allow: / # Allow Apple’s Applebot-Extended (Apple Intelligence) User-agent: Applebot-Extended Allow: / # Allow CCBot (Common Crawl) User-agent: CCBot Allow: / # OpenAI search index (powers ChatGPT Search results) User-agent: OAI-SearchBot Allow: / # OpenAI live fetch (when a user asks ChatGPT about a page) User-agent: ChatGPT-User Allow: / # Anthropic search index User-agent: Claude-SearchBot Allow: / # Anthropic live fetch (when a Claude user asks about a page) User-agent: Claude-User Allow: / # Perplexity live fetch (separate from PerplexityBot) User-agent: Perplexity-User Allow: / # Meta AI User-agent: meta-externalagent Allow: / ############################################################################### # 3. Sitemap declarations ############################################################################### Sitemap: https://supy.io/sitemap.xml ############################################################################### # End of robots.txt ############################################################################### Sitemap: https://supy.io/sitemap.xml