AI Botlarını (GPTBot, PerplexityBot) Sitenize Nasıl Alırsınız?

AI görünürlüğünün en çok atlanan adımı en baştakidir: model sizi önerebilmesi için önce sitenizi görebilmelidir. Birçok site, farkında olmadan robots.txt üzerinden AI botlarını engelliyor — ve sonra "neden AI bizi hiç anmıyor?" diye soruyor.

Önce hangi botlar var?

• GPTBot — OpenAI'nin içerik tarama botu.
• PerplexityBot — Perplexity'nin tarama botu.
• Google-Extended — Google'ın üretken AI ürünleri için içerik izni token'ı.
• CCBot — birçok modelin eğitim verisini besleyen Common Crawl botu.

robots.txt'te erişime izin vermek

Eğer içeriğinizin AI cevaplarında kullanılmasını istiyorsanız, bu botları engellememelisiniz. Bilinçli bir tercihle bazı botları engelliyor olabilirsiniz; ama bu durumda görünürlük bekleyemezsiniz. Erişime izin vermek için robots.txt'te ilgili user-agent'ları Disallow ile kapatmadığınızdan emin olun:

Görmek yetmez: taranabilir ve anlaşılır olmak

Erişim izni ilk adımdır. İkinci adım, içeriğinizin makine tarafından kolay anlaşılmasıdır. Üç şey belirleyicidir:

1. 1Sitemap: Güncel bir XML sitemap, botların tüm önemli sayfalarınızı keşfetmesini sağlar.
2. 2Structured data (schema.org): Ürün, kuruluş, SSS ve makale işaretlemeleri, içeriğinizin ne olduğunu modele açıkça anlatır.
3. 3Temiz, sunucu tarafında render edilen içerik: Kritik metnin yalnızca istemci tarafı JavaScript ile geldiği sayfalar, bazı botlar için görünmez kalabilir.

Bu üç unsuru ve bot erişimini tek tek elle kontrol etmek zahmetlidir. Bunları otomatik denetleyip 0-100 bir crawler skoru üreten bir araç, nereden başlayacağınızı netleştirir.