AI Bot Erişim Denetimi: GPTBot ve PerplexityBot Sitenizi Görebiliyor mu?

Bir AI motorunun sizi kaynak göstermesinin fiziksel ön koşulu basittir: o motorun tarayıcı botu sitenizin ilgili sayfasını okuyabilmelidir. Eğer robots.txt, bir WAF kuralı ya da CDN'inizin bot koruması bu botu engelliyorsa, içeriğiniz ne kadar iyi olursa olsun cevapların dışında kalırsınız. Bu, GEO'nun en çok gözden kaçan ama en kolay düzeltilen katmanıdır.

Hangi botlar önemli?

• GPTBot — OpenAI'nin tarayıcısı; ChatGPT'nin bilgi tabanını besler.
• OAI-SearchBot — ChatGPT'nin canlı arama/alıntı davranışı için kullanılır.
• PerplexityBot — Perplexity'nin kaynak toplayıcısı.
• Google-Extended — Google'ın AI ürünlerinin (Gemini, AI Overviews) içeriğinizi kullanıp kullanamayacağını belirleyen jeton.
• ClaudeBot / anthropic-ai — Anthropic'in tarayıcıları.

Üç katmanı birden denetleyin

1. 1robots.txt: Açık bir Disallow kuralı ilgili user-agent'ı engelliyor mu? Google-Extended için ayrı bir satır gerekebilir.
2. 2Sunucu/WAF/CDN: robots.txt izin verse bile Cloudflare, Akamai gibi katmanlar bot'u user-agent veya IP temelinde 403'leyebilir. Bunu yalnız gerçek bir istekle test ederek görürsünüz.
3. 3Render edilebilirlik: Bot sayfaya ulaşsa bile içerik JavaScript'e bağlıysa ve sunucu tarafında gelmiyorsa, model çoğu zaman boş bir sayfa görür.

Erişim ≠ görünürlük, ama ön koşuldur

Botların girebiliyor olması sizi otomatik olarak cevaplara sokmaz; içerik otoritesi ve doğru konumlandırma hâlâ gerekir. Ama erişim kapalıysa diğer her şey boşa gider. Bu yüzden erişim denetimini bir kerelik bir kontrol değil, düzenli izlenen bir sinyal olarak ele almak gerekir — bir CDN kural güncellemesi, farkında olmadan GPTBot'u dışarıda bırakabilir.

Mavay, bu botların sitenize gerçekten erişip erişemediğini her iki yönden de izler: dışarıdan botların gördüğü yüzeyi denetler, içeriden sunucu loglarınızda hangi AI botunun ne sıklıkta geldiğini gösterir. Böylece "neden hiçbir cevapta geçmiyorum?" sorusunun yanıtı çoğu zaman tek bir ekranda görünür.