AI botlarının sayfa tarama sırları

Her gün, siteni ziyaret eden ziyaretçilerin giderek büyüyen bir bölümü insan değil. OpenAI'nin GPTBot'u, Anthropic'in ClaudeBot'u, Perplexity'nin tarayıcısı ve Google'ın AI botu, arka planda sayfalarını sessizce okuyor. Bu botlar markanın AI motorlarındaki geleceğini belirliyor: bir soruya cevap üretilirken senden alıntı yapılıp yapılmayacağı, büyük ölçüde bu botların siteni ne kadar iyi tarayabildiğine bağlı.

Sorun şu ki bu botlar, senin tarayıcında gördüğün sayfayı görmüyor. Çoğu, bambaşka — çok daha ilkel — bir sürümle karşılaşıyor. Bu yazıda AI botlarının siteni nasıl taradığını, hangi "sırları" taşıdığını ve en iyi içeriğe sahip olsan bile neden görünmez kalabileceğini ele alıyoruz.

01 · Kim bunlarSiteni tarayan botlar

"AI botu" tek bir şey değil. Her büyük AI sağlayıcısının, farklı işleri yapan farklı botları var. En sık karşılaşacakların:

Bu ayrım kritik: her botu aynı kefeye koyamazsın. Birini engellemek bir sonuç, diğerini engellemek bambaşka bir sonuç doğurur — ki bu, ilk sıra.

02 · İlk sırİki farklı iş: eğitim ve yanıt-anı

Botları anlamanın anahtarı, iki tamamen ayrı işi ayırt etmek:

• Eğitim taracıları (GPTBot, Google-Extended, CCBot) — modelin bir dahaki eğitiminde kullanılmak üzere içerik toplar. Etkisi aylar sonra, dolaylı olarak görülür.
• Yanıt-anı getiricileri (OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User) — bir kullanıcı şu anda bir soru sorduğunda, cevabı oluşturmak için sayfanı canlı olarak getirir. AI yanıtlarında gördüğün kaynak/atıf (citation) tam olarak bu botlardan doğar.

Pratik sonuç: markan AI yanıtlarında görünür olsun istiyorsan, öncelik yanıt-anı getiricilerine erişim vermektir. Eğitim taracıları konusunda ise karar tamamen senin — içeriğinin eğitim setine girmesini istemiyorsan onları kısıtlayabilirsin, bu görünürlüğü doğrudan etkilemez.

03 · İkinci sırBotlar JavaScript çalıştırmaz

İşte en çok içeriğin görünmez kalmasına yol açan gerçek: çoğu AI botu JavaScript çalıştırmaz. Bir insan tarayıcısı sayfayı açtığında JavaScript çalışır, React/Vue gibi çatılar içeriği sonradan yükler ve güzel bir sayfa belirir. AI botu ise çoğunlukla ham HTML'i okur — ve o ham HTML neredeyse boşsa, bot boş bir sayfa görür.

Sitende insanın gördüğü içerik, botun gördüğü içerik değildir. Fark, tek bir JavaScript satırında saklıdır.

Googlebot bir istisnadır; içeriği render edebilir — ama bu pahalı, kuyruğa giren ve gecikmeli bir ikinci aşamadır, her sayfaya her zaman uygulanmaz. AI botlarının büyük çoğunluğu bu zahmete girmez. Bu yüzden sunucu-taraflı render (SSR) veya statik HTML, AI görünürlüğünün en temel teknik ön koşuludur. İçeriğin ilk yüklenen HTML'de olmalı — tarayıcıda sonradan belirmesi yetmez.

04 · Üçüncü sırKapıdaki sinyaller: robots.txt, llms.txt

Botlar bir siteye girmeden önce genellikle robots.txt dosyasına bakar. Bu dosya, hangi botun sitenin hangi bölümlerine girebileceğini belirler — bot bazında Allow / Disallow kuralları yazabilirsin. Saygılı botlar (GPTBot, ClaudeBot, PerplexityBot) bu kurallara uyar.

2026 ile birlikte iki yeni sinyal öne çıktı:

• Content Signals — robots.txt içinde içeriğinin nasıl kullanılabileceğini ayrıştıran yeni bir dil: search=yes (aramada kullanılabilir), ai-input=yes (yanıt üretiminde kullanılabilir), ai-train=no (eğitimde kullanılamaz). Böylece "aramada görün ama eğitime girme" gibi ince ayarlar yapabilirsin.
• llms.txt — botlara "önemli içeriğim burada" diyen gönüllü bir standart. Sitenin en değerli, temiz, markdown biçiminde özetini sunar; bot gürültüyle boğuşmadan öze ulaşır.

Bunlar zorunlu değil; ama AI motorlarına içeriğini nasıl kullanmalarını istediğini açıkça söyleme imkânı verir — ve saygılı botlar dinler.

05 · Gizli tuzakNeden görünmüyorsun: CDN edge blokları

Şimdi en sinsi kısma geldik. Sayfanı SSR ile kurdun, robots.txt'in doğru botlara izin veriyor, içeriğin harika — ama AI yanıtlarında hâlâ yoksun. Sebep çoğu zaman senin sunucunda bile değil: CDN / edge katmanı.

Cloudflare, Fastly gibi sağlayıcıların "Block AI bots" veya "Managed robots.txt / AI Crawl Control" gibi özellikleri, senin sunucundaki robots.txt izin verse bile botları edge'de, siteye hiç ulaşamadan geri çevirir. Repo'ndaki dosya "gel, tara" derken; CDN paneli bir toggle ile "kimseyi alma" diyor olabilir. İçerik el değmemiş dururken, botlar kapıdan çevriliyor.

Buna ek olarak botlar hız ve tazeliğe de bakar: yavaş açılan sayfalar daha az taranır; sitemap.xml ve Last-Modified başlıkları, botlara neyin yeni olduğunu söyler ve sık güncellenen sayfalar daha sık ziyaret edilir.

06 · Ne yapmalıBotlar için taranabilir olmak

Görünürlük taramayla başlar. Bir bot siteni tarayamıyorsa, o motorun yanıtında asla yer alamazsın. Kontrol listesi:

1. Sunucu-taraflı render / statik HTML. İçerik ilk yüklenen HTML'de olsun; JavaScript ile sonradan belirmesin.
2. Doğru botlara izin ver. Yanıt-anı getiricilerini (OAI-SearchBot, ChatGPT-User, PerplexityBot, Googlebot) engelleme; eğitim taracıları konusunda bilinçli karar ver.
3. CDN ayarlarını denetle. Cloudflare/Fastly'de "AI bot engelle" toggle'larının istemeden açık olmadığından emin ol — edge blokları deploy ile düzelmez.
4. Sinyalleri kur. Temiz robots.txt (Content Signals ile), llms.txt ve Schema.org/JSON-LD yapılandırılmış veri.
5. Hızlı ve güncel tut. sitemap.xml, doğru Last-Modified, makul sayfa hızı.
6. Bot trafiğini ölç. Hangi botun siteni ne sıklıkla taradığını izle — taranmıyorsan görünmüyorsun demektir.

07 · SonuçTaranmadan görünmezsin

AI çağında görünürlüğün ilk halkası, insanların değil botların gözünden geçer. Bir soru sorulduğunda markanın yanıtta yer alması, o an sayfanı getiren botun kapıdan girebilmesine, ham HTML'de anlamlı bir içerik bulmasına ve seni doğru anlamasına bağlı.

Bu yüzden AI görünürlüğü yalnızca bir içerik meselesi değil; aynı zamanda bir altyapı ve erişim meselesidir. Hangi botların siteni gerçekten taradığını ve markanın AI yanıtlarında nasıl göründüğünü ölçmeden, karanlıkta yol alırsın.