KI-Systeme wie ChatGPT, Google Gemini, Perplexity und Claude nutzen spezialisierte Crawler (Bots), um Webseiten zu erfassen, zu analysieren und als potenzielle Wissensquellen zu bewerten.
| Crawler | User-Agent | System |
|---|---|---|
| GPTBot | GPTBot | OpenAI ChatGPT |
| ChatGPT-User | ChatGPT-User | OpenAI ChatGPT (User-Anfragen) |
| Google-Extended | Google-Extended | Google Gemini / Bard |
| PerplexityBot | PerplexityBot | Perplexity AI |
| ClaudeBot | ClaudeBot / Claude-Web | Anthropic Claude |
/llms.txt – Strukturierte Entitätsinformationen/ai.txt – KI-Zugriffs-Policy/ai-policy.json – Maschinenlesbare Policy/robots.txt – Crawling-RegelnStandardmäßig sollten KI-Crawler Zugriff haben, es sei denn, Sie wollen bewusst nicht von KI-Systemen erfasst werden.
# robots.txt - Beispiel für erlaubtes Crawling
User-agent: GPTBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /User-agent: * mit Disallow: /Eine Textdatei mit klaren, strukturierten Informationen über Ihre Organisation, Produkte oder Dienstleistungen.
# TH Analytica - Entity Definition
Name: TH Analytica
Type: Organization
Field: AI Visibility, AI Readiness
Location: Lenk, Switzerland
Contact: thhullin@gmail.com
Website: https://th-analytica.com
Services:
- AI Readiness Analysis
- AI Visibility Optimization
- Generative Engine Optimization (GEO)Klare Angaben, wie KI-Systeme Ihre Inhalte nutzen dürfen.
User-agent: *
Allow: /
AI-Usage: allowed-for-analysis-and-answer-generation
AI-Training: disallowed
Policy: https://th-analytica.com/.well-known/ai-policy.json
Contact: thhullin@gmail.com{
"@context": "https://schema.org",
"@type": "CreativeWork",
"name": "AI Policy - TH Analytica",
"usageInfo": {
"allowAnalysis": true,
"allowAnswerGeneration": true,
"allowTraining": false
},
"license": "All rights reserved",
"contact": "thhullin@gmail.com"
}KI-Crawler verhalten sich unterschiedlich: