Specoria
Menü
EN Ücretsiz test

İçgörülerAltyapı

Sayfa türüne göre bot politikası: yapay zekâ ajanlarına neyi açmalı, neyi kapalı tutmalı?

Ürün ve politika sayfaları açık, sepet ve ödeme doğrulanmış ajana, yönetim paneli kapalı. Bunu robots.txt, Content Signals ve Cloudflare ile nasıl kurarsınız?

Yazan 8 dk okuma

CDN'inizin bot raporunu açtığınızda büyük olasılıkla uzun bir yapay zekâ adı listesiyle karşılaşırsınız: model eğiten tarayıcılar, arama dizini kuran botlar ve bir kişi soru sorduğu için sayfayı açan getiriciler. İlk akla gelen, hepsini tek düğmeyle engellemek ya da hepsine kapıyı açmak. İkisi de bir mağazanın gerçekte nasıl çalıştığına uymuyor.

Ürün sayfasıyla yönetim paneli girişi aynı tür sayfa değil; model eğiten bir tarayıcıyla müşteri adına alışveriş yapan bir ajan da aynı tür ziyaretçi değil. Bu yazıda sayfa türüne göre bir bot politikası öneriyor ve bunu Ekim 2026 itibarıyla elinizdeki araçlarla nasıl kuracağınızı anlatıyoruz: robots.txt grupları, Content Signals, Cloudflare'in yapay zekâ trafiği ayarları ve imzalı ajanlar. Ajanların kendini nasıl tanıttığının temelleri için önceki yazımıza bakabilirsiniz: Bot mu, müşteri mi?

Bottan değil, sayfadan başlayın

Çoğu mağaza dört bölgeyle tarif edilebilir:

  • Ürün, kategori ve politika sayfaları: açık. Ajan mağazanızın kısa listeye girip girmeyeceğine burada karar veriyor: fiyat, stok, varyantlar, kargo ücreti, iade süresi. Arama tarayıcıları ve kullanıcı getiricileri bu sayfalara doğrulama ekranına takılmadan ulaşmalı.
  • Sepet ve ödeme: müşteri adına gelen ajana açık, doğrulamayla. Hiçbir tarayıcının sepeti dizine eklemesi gerekmiyor; ama bir müşterinin satın alma için gönderdiği ajanın buradan geçmesi gerekiyor. Burada direksiyonda kimin olduğunu bilmek istersiniz. Doğrulanmış ajanları CAPTCHA'sız geçirin, kimliği belirsiz otomasyonu ödeme adımında daha sıkı kontrol edin.
  • Hesap sayfaları: giriş arkasında. Buradaki kontrol bir bot kuralı değil, girişin kendisi.
  • Yönetim paneli ve iç araçlar: kapalı. Hiçbir botun orada işi yok.

robots.txt: üç grup, üç cevap

Yapay zekâ şirketleri artık tarayıcılarını amaca göre ayırıyor; robots.txt de her gruba ayrı cevap vermenizi sağlıyor.

  • Arama tarayıcıları. OpenAI'ın OAI-SearchBot'u siteleri ChatGPT'nin arama özelliklerinde gösteriyor; OpenAI, onu engelleyen sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini söylüyor. Anthropic'in Claude-SearchBot'u içeriği Claude'un arama sonuçları için dizinliyor. Bunlara Googlebot ve Bingbot gibi davranın: ürün, kategori ve politika sayfalarını açın.
  • Kullanıcı getiricileri. ChatGPT-User, Claude-User ve Google-Agent sayfayı bir kişi istediği için açıyor ve robots.txt'ye farklı yaklaşıyor. Anthropic, site sahiplerinin Claude-User'ı robots.txt ile yönetebildiğini söylüyor. OpenAI ise eylemi bir kullanıcı başlattığı için robots.txt kurallarının ChatGPT-User'a "uygulanmayabileceğini" belirtiyor. Google da kullanıcı tetiklemeli getiricilerinin robots.txt kurallarını "genellikle yok saydığını" yazıyor. Bu grup için robots.txt bir kapı değil, bir tercih bildirimi.
  • Eğitim tarayıcıları. GPTBot ve ClaudeBot, model eğitiminde kullanılabilecek içerik topluyor. Google-Extended ise ayrı bir tarayıcı değil; Google'ın taradığı içeriğin Gemini eğitiminde ve dayanak (grounding) olarak kullanılıp kullanılmayacağını belirleyen bir robots.txt adı. Google, bunun Google Arama'ya dahil olmayı ya da sıralamayı etkilemediğini söylüyor. Eğitime izin vermek bir iş kararı; reddetmek aramayı kaybetmek anlamına gelmek zorunda değil.

Uygulamada bir mağazanın dosyası ürün, kategori ve politika yollarını arama tarayıcılarına ve getiricilere açar; altyapınızın gerçekten kullandığı sepet, ödeme ve hesap yolları için (/sepet ya da /cart, /checkout, /hesabim) Disallow satırları ekler; eğitimden çıkmaya karar verdiyseniz User-agent: GPTBot, User-agent: ClaudeBot ya da User-agent: Google-Extended grupları yazar.

Dosyadaki her satırdan daha önemli bir sınır var. Cloudflare bunu açıkça söylüyor: herkes bir robots.txt yayımlayabilir, ama bu dosya kimin taradığını belirleyemez ve kurala uymayan bir tarayıcıyı durduramaz. Yönetim panelinizi korumak için ona güvenmeyin.

Content Signals: okunan sayfaya sonra ne yapılabilir?

robots.txt kimin hangi yolu çekebileceğini söyler; içeriğe sonra ne olacağını söylemez. Cloudflare'in Eylül 2025'te herkesin kullanabileceği CC0 lisansıyla yayımladığı Content Signals Policy bu katmanı üç sinyalle ekliyor:

  • search: arama dizini kurmak ve bağlantı, kısa alıntı gibi sonuçlar göstermek. Cloudflare'in tanımı yapay zekâ ile üretilen arama özetlerini kapsamıyor.
  • ai-input: içeriği yanıt anında yapay zekâ modellerine vermek; örneğin üretken bir yanıt için bilgi getirme ya da dayanak.
  • ai-train: model eğitmek ya da ince ayar yapmak.

Content-Signal: search=yes, ai-train=no gibi bir satır aramaya izin verir, eğitimi reddeder ve ai-input için tercih bildirmez. Bir mağaza için ortadaki sinyal üzerinde düşünmeye değer. Müşteri asistana "hangi kettle cumaya kadar gelir?" diye sorduğunda yanıt ai-input ile kuruluyor. ai-input=no yazmak, yapay zekâ sistemlerinden ürün sayfalarınızı tam da bu tür bir yanıt için kullanmamalarını istemek demek. Cloudflare ayrıca bu sinyallerin bir tercih bildirimi olduğunu, teknik bir engel olmadığını ve bazı şirketlerin bunları yok sayabileceğini hatırlatıyor.

15 Eylül 2026'dan sonra Cloudflare'in yapay zekâ ayarları

Mağazanız Cloudflare arkasında çalışıyorsa bu yılki iki değişiklik önemli.

Cloudflare 1 Temmuz 2026'da, ücretsiz paket dahil tüm müşterilerine üç yapay zekâ davranışını ayrı ayrı yönetme imkânı verdi: Search (içeriği sonradan soru yanıtlamak için dizinlemek), Agent (sohbet getiricileri ve tarayıcı kullanan ajanlar gibi, bir kişi adına gerçek zamanlı çalışan otomasyon) ve Training (eğitim). Her biri için tüm sayfalarda engelleme, yalnızca reklam gösteren sayfalarda engelleme ya da engellememe seçilebiliyor.

15 Eylül 2026'da Cloudflare karma kullanımlı tarayıcıları, yani hem arama hem eğitim için çalışan Googlebot, Bingbot ve Applebot gibi tek bir tarayıcıyı ele aldı. Değişen şunlar:

  • Yeni bir eğitim ayarı: Disallow AI Training. robots.txt'de eğitim istemediğinizi yayımlıyor, Cloudflare'in "Accountable" (hesap verebilir) saydığı karma tarayıcıları arama için açık tutuyor ve Amazon, Anthropic, Meta ve OpenAI'ın yalnızca eğitim yapan tarayıcıları dahil diğer eğitim tarayıcılarını engelliyor.
  • Block artık karma tarayıcılara da uzanıyor. Block ve Block on pages with ads seçenekleri artık Googlebot, Bingbot ve Applebot'a da uygulanıyor; yani eğitimle birlikte aramayı da etkiliyor. Cloudflare, eğitimi durdurup aramayı korumak için Block yerine Disallow AI Training kullanılmasını öneriyor.
  • Mevcut ayarlar aynen taşındı. Cloudflare'e göre neredeyse her durumda müşterinin bir şey yapması gerekmiyor. Karma tarayıcılar varsayılan olarak engellenmiyor; yalnızca Block seçerseniz engelleniyor.
  • Yeni alan adlarına ön ayar geliyor. Reklamdan gelir elde etmeyen sitelerde Search, Training ve Agent izinli başlıyor. Reklamlı sitelerde eğitim için Disallow AI Training, Agent için reklamlı sayfalarda engelleme geliyor. İkisi de her an değiştirilebiliyor.

Bir boşluk kalıyor: Microsoft, Bing için robots.txt'deki eğitim istemiyorum tercihine uyacak mekanizmayı 2027 başını hedefleyerek geliştiriyor; o zamana kadar Disallow AI Training bu tercihi Bing'e iletmiyor. Mağaza için pratik kural basit: eğitimden çıkıyorsanız Block değil Disallow AI Training seçin; yoksa ürün sayfalarınız Google ve Bing aramasından da düşebilir.

Sepet ve ödeme: tahmin etmeyin, doğrulayın

User-agent başlığına herkes istediği adı yazabilir. Bu yüzden sepet ve ödeme bölgesi bir ad listesine değil kimliğe ihtiyaç duyuyor. Web Bot Auth, bir ajanın her isteği kendi anahtarıyla imzalamasını sağlıyor; HTTP mesaj imzalarını ve yayımlanmış bir anahtar dizinini kullanıyor, ikisi de IETF taslaklarında tarif ediliyor. Cloudflare 1 Temmuz 2026'dan beri imzalı ajanları doğrulanmış bot sayıyor; bunları Direct (istekleri tek bir işletmeci gönderiyor) ya da Intermediary (birçok son kullanıcının çalıştırabildiği bir ajan hizmeti) olarak etiketliyor. Sınıflandırmasında Transact adlı bir davranış da var: kullanıcılar adına ödeme ya da başka işlemler. Google da Google-Agent için https://agent.bot.goog kimliğiyle Web Bot Auth denediğini söylüyor.

Cloudflare aracı hizmetlerdeki inceliğe de dikkat çekiyor: işletmeciye güvenip arkasındaki her son kullanıcıya güvenmeyebilirsiniz. Doğrulama size direksiyonda kimin olduğunu söyler, siparişin iyi olup olmadığını değil. Bu yüzden dolandırıcılık kontrollerinizi koruyun. Yalnızca ödemeye ilerleyen doğrulanmış bir ajanın önüne CAPTCHA koymayın.

Bu hafta için kontrol listesi

  1. Dört bölgenizi çıkarın: ürün, politika, sepet, ödeme, hesap ve yönetim sayfaları için altyapınızın kullandığı gerçek yolları yazın.
  2. robots.txt'yi gruplara göre yeniden yazın. Ürün, kategori ve politika sayfalarını arama tarayıcılarına ve kullanıcı getiricilerine açın, sepet, ödeme ve hesap yollarını tarayıcılara kapatın, eğitim kararını ayrıca verin.
  3. Bu karara uyan bir Content-Signal satırı ekleyin ve ai-input=no yazmadan önce iki kez düşünün.
  4. Cloudflare'in yapay zekâ ayarlarını açın. Search ve Agent izinli; eğitim için Block değil Disallow AI Training. Yakın zamanda alan adı eklediyseniz hangi ön ayarın geldiğine bakın.
  5. Doğrulanmış ajanları doğrulama ekranından muaf tutun: ürün, sepet ve ödeme sayfalarında. CAPTCHA'yı ödeme adımındaki kimliği belirsiz trafiğe saklayın.
  6. Yönetim panelini kimlik doğrulama ve ağ kurallarıyla koruyun; yalnızca robots.txt'ye bırakmayın.
  7. Bir haftalık kaydı okuyun. Ürün ya da ödeme sayfalarına gelip 403 ya da 429 alan yapay zekâ ajanı istekleri, hiç görmediğiniz satışlardır.

Sonuç

Asıl soru yapay zekâya kapıyı açıp açmamak değil; hangi ziyaretçinin hangi sayfaya gireceği. Ürün ve politika sayfaları vitrininiz; dürüst her tarayıcı ve ajan bunları okuyabilmeli. Sepet ve ödeme tezgâhınız; orada kimin, kimin adına ödediğini görmek istersiniz. Hesap sayfaları ve yönetim paneli ise zaten bir bot kuralının korumak için tasarlanmadığı kapıların arkasında kalmalı.

Specoria bunu dışarıdan ölçüyor: robots.txt'nizin arama ve kullanıcı ajanlarını ürün ve politika sayfalarına bırakıp bırakmadığını, bot korumanızın otomatik istekleri durdurup durdurmadığını ve gerçek bir tarayıcı ajanının ürün sayfasından ödemeye ulaşıp ulaşamadığını. Ücretsiz hazırlık testiyle başlayabilirsiniz.

Kaynaklar