Bot koruması ajanlara açık mı?

Nasıl ölçüyoruz?

Ana sayfa ve ürün sayfası sıradan bir tarayıcı başlığıyla istenir. Kesin ret (ör. HTTP 403) kontrolü düşürür ve kritik engel sayılır. Doğrulama (challenge) sayfası ya da CAPTCHA “olası engel”dir: kısmen geçer, kritik engel sayılmaz; doğrulanmış ajanların ne gördüğünü dışarıdan bilemeyiz. Hız sınırı (HTTP 429) engel sayılmaz: Retry-After’a uyularak yeniden denenir; açılırsa geçer, hâlâ sınırdaysa doğrulanamadı olur ve puana girmez. Ana sayfa Cloudflare ağından engellenip ikinci bir ağdan açılırsa kısmen geçer. Kendini SpecoriaBot olarak tanıtan tek isteğin reddedilmesi de “olası engel”dir (kısmen geçer): doğrulanmış bot IP’lerinden istek gönderemeyiz.

Otel ve hizmet sitelerinde bu kontrol ürün sayfası yerine ana sayfada ölçülür.

Sonuç sayfasında ne yazar?

Test sonucundaki cümleler bunlardır; “…” yerine sitenizde bulunan değer gelir.

GeçtiAna sayfa ve ürün sayfası otomatik isteğe normal yanıt verdi; bir doğrulama duvarına takılmadık.
Geçtiİlk istek hız sınırına takıldı (……); kısa bir beklemeden sonra sayfa normal açıldı. Hız sınırı bir engel değildir: Retry-After başlığıyla HTTP 429 dönmek ajanlar için doğru davranıştır.
KısmenCloudflare ağından gelen taramamız geri çevrildi (……), ama ikinci bir veri merkezinden … normal açıldı ve tarama oradan tamamlandı. Engel Cloudflare kaynaklı trafiğe özgü; ajanların çoğu başka ağlardan gelir, ancak Cloudflare altyapısında çalışan tarayıcı ajanları takılabilir.
KısmenTarayıcı kimliğiyle sayfa açıldı, ama kendini bot olarak tanıtan istek (SpecoriaBot) reddedildi (……). Bu bir olası engeldir: botları kimliğine göre engelleyen bir kural, OAI-SearchBot gibi yapay zekâ ajanlarını da durdurabilir; gerçek ajanlar doğrulanmış IP’lerden gelir ve farklı karşılanabilir.
Kısmen… taramamıza bir doğrulama sayfası gösterdi (……). Bu bir olası engeldir: JavaScript çalıştırmayan ajan tarayıcıları bu sayfayı geçemez. Doğrulanmış AI botlarına izin verilmişse onlar normal sayfayı görebilir; bunu dışarıdan doğrulayamıyoruz.
Kısmen… taramamıza hem Cloudflare ağından hem de ikinci bir veri merkezinden doğrulama sayfası gösterdi (……). Bu bir olası engeldir: JavaScript çalıştırmayan ajan tarayıcıları bu sayfayı geçemez. Doğrulanmış AI botlarına izin verilmişse onlar normal sayfayı görebilir; bunu dışarıdan doğrulayamıyoruz.
Kısmen… taramamıza bir doğrulama sayfası gösterdi (……). Bu bir olası engeldir: ajan ürünü göremeden ayrılabilir. Doğrulanmış AI botlarına izin verilmişse onlar sayfayı görebilir; bunu dışarıdan doğrulayamıyoruz.
Kaldı… taramamızı geri çevirdi (……). Sitenin güvenlik katmanı otomatik istekleri durduruyor; alışveriş ajanları da aynı duvara takılabilir.
Kaldı… taramamızı geri çevirdi (……). Ajan ürünü göremeden ayrılır.
Kaldı… taramamızı hem Cloudflare ağından hem de ikinci bir veri merkezinden geri çevirdi (……). Sitenin güvenlik katmanı veri merkezi trafiğini genel olarak durduruyor; alışveriş ajanları da büyük olasılıkla aynı duvara takılır.

Nasıl düzeltilir?

Hedef: Bot koruması yalnızca kötü niyetli trafiği durdurur; doğrulanmış arama ve kullanıcı ajanları normal sayfayı (HTTP 200) görür. Her adımda CAPTCHA yerine risk bazlı doğrulama ve hız sınırı (HTTP 429 + Retry-After) kullanılır.

Örnek kod

Genel

Konu: Doğrulanmış yapay zekâ ajanlarına izin (example.com)

Ajan hazırlık testi, bot korumamızın otomatik istekleri durdurduğunu gösterdi.
Arama ve alışveriş ajanlarının ürün sayfalarımızı okuyabilmesi için şu botlara izin verelim:
- OAI-SearchBot, ChatGPT-User (OpenAI)
- Claude-SearchBot, Claude-User (Anthropic)
- PerplexityBot, Perplexity-User (Perplexity)
- Googlebot, Bingbot, Applebot

Adımlar (bot koruması sağlayıcısı tespit edilmedi):
1. Bot ya da WAF panelinde "doğrulanmış botlar" (verified / known good bots) izinli olsun.
2. Yukarıdaki arama ve kullanıcı ajanları için istisna kuralı ekleyin; eğitim botlarını (GPTBot, ClaudeBot) isterseniz kapalı tutun.
3. Ürün, sepet ve politika sayfalarında doğrulama sayfası (challenge) yerine hız sınırı kullanın.

Kimlik: yalnızca User-Agent'a güvenmeyin; sağlayıcıların yayımladığı IP aralıkları ya da ters DNS ile doğrulayın.
Kötü niyetli trafiği CAPTCHA yerine hız sınırıyla (HTTP 429 + Retry-After) yavaşlatın.
(Menü adları sağlayıcının arayüz sürümüne ve planına göre değişebilir.)

Cloudflare

Konu: Doğrulanmış yapay zekâ ajanlarına izin (example.com)

Ajan hazırlık testi, bot korumamızın otomatik istekleri durdurduğunu gösterdi.
Arama ve alışveriş ajanlarının ürün sayfalarımızı okuyabilmesi için şu botlara izin verelim:
- OAI-SearchBot, ChatGPT-User (OpenAI)
- Claude-SearchBot, Claude-User (Anthropic)
- PerplexityBot, Perplexity-User (Perplexity)
- Googlebot, Bingbot, Applebot

Adımlar (Cloudflare imzası görüldü):
1. Security → Bots: doğrulanmış botlara izin verin (Super Bot Fight Mode'da "Allow verified bots").
2. AI Crawl Control: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ve Perplexity-User için "Allow".
3. Gerekirse özel WAF kuralı: (cf.verified_bot_category in {"AI Search" "AI Assistant" "Search Engine Crawler"}) → Skip.

Kimlik: yalnızca User-Agent'a güvenmeyin; sağlayıcıların yayımladığı IP aralıkları ya da ters DNS ile doğrulayın.
Kötü niyetli trafiği CAPTCHA yerine hız sınırıyla (HTTP 429 + Retry-After) yavaşlatın.
(Menü adları sağlayıcının arayüz sürümüne ve planına göre değişebilir.)

Akamai

Konu: Doğrulanmış yapay zekâ ajanlarına izin (example.com)

Ajan hazırlık testi, bot korumamızın otomatik istekleri durdurduğunu gösterdi.
Arama ve alışveriş ajanlarının ürün sayfalarımızı okuyabilmesi için şu botlara izin verelim:
- OAI-SearchBot, ChatGPT-User (OpenAI)
- Claude-SearchBot, Claude-User (Anthropic)
- PerplexityBot, Perplexity-User (Perplexity)
- Googlebot, Bingbot, Applebot

Adımlar (Akamai imzası görüldü):
1. Bot Manager → Akamai'nin tanıdığı bilinen botlar: arama motoru ve yapay zekâ arama/asistan kategorilerinde eylemi "Allow" yapın.
2. Bu kategoriler için challenge ya da tarpit eylemi tanımlı olmasın.
3. Eğitim botları için ayrı karar verebilirsiniz; arama ve kullanıcı ajanlarını açık tutun.

Kimlik: yalnızca User-Agent'a güvenmeyin; sağlayıcıların yayımladığı IP aralıkları ya da ters DNS ile doğrulayın.
Kötü niyetli trafiği CAPTCHA yerine hız sınırıyla (HTTP 429 + Retry-After) yavaşlatın.
(Menü adları sağlayıcının arayüz sürümüne ve planına göre değişebilir.)

DataDome

Konu: Doğrulanmış yapay zekâ ajanlarına izin (example.com)

Ajan hazırlık testi, bot korumamızın otomatik istekleri durdurduğunu gösterdi.
Arama ve alışveriş ajanlarının ürün sayfalarımızı okuyabilmesi için şu botlara izin verelim:
- OAI-SearchBot, ChatGPT-User (OpenAI)
- Claude-SearchBot, Claude-User (Anthropic)
- PerplexityBot, Perplexity-User (Perplexity)
- Googlebot, Bingbot, Applebot

Adımlar (DataDome imzası görüldü):
1. Bot Protection → izin listesi (good bots / allowlist): OpenAI, Anthropic ve Perplexity arama ve kullanıcı ajanlarını "Allow" yapın.
2. Doğrulanmış botlar için CAPTCHA kuralının devre dışı olduğunu kontrol edin.

Kimlik: yalnızca User-Agent'a güvenmeyin; sağlayıcıların yayımladığı IP aralıkları ya da ters DNS ile doğrulayın.
Kötü niyetli trafiği CAPTCHA yerine hız sınırıyla (HTTP 429 + Retry-After) yavaşlatın.
(Menü adları sağlayıcının arayüz sürümüne ve planına göre değişebilir.)

Imperva

Konu: Doğrulanmış yapay zekâ ajanlarına izin (example.com)

Ajan hazırlık testi, bot korumamızın otomatik istekleri durdurduğunu gösterdi.
Arama ve alışveriş ajanlarının ürün sayfalarımızı okuyabilmesi için şu botlara izin verelim:
- OAI-SearchBot, ChatGPT-User (OpenAI)
- Claude-SearchBot, Claude-User (Anthropic)
- PerplexityBot, Perplexity-User (Perplexity)
- Googlebot, Bingbot, Applebot

Adımlar (Imperva imzası görüldü):
1. Bot Management → istemci sınıflandırması: arama botları ve yapay zekâ ajanları "iyi bot" olarak izinli olsun.
2. Security Rules'ta bu sınıflar için challenge (JavaScript/CAPTCHA) uygulanmasın.

Kimlik: yalnızca User-Agent'a güvenmeyin; sağlayıcıların yayımladığı IP aralıkları ya da ters DNS ile doğrulayın.
Kötü niyetli trafiği CAPTCHA yerine hız sınırıyla (HTTP 429 + Retry-After) yavaşlatın.
(Menü adları sağlayıcının arayüz sürümüne ve planına göre değişebilir.)

HUMAN (PerimeterX)

Konu: Doğrulanmış yapay zekâ ajanlarına izin (example.com)

Ajan hazırlık testi, bot korumamızın otomatik istekleri durdurduğunu gösterdi.
Arama ve alışveriş ajanlarının ürün sayfalarımızı okuyabilmesi için şu botlara izin verelim:
- OAI-SearchBot, ChatGPT-User (OpenAI)
- Claude-SearchBot, Claude-User (Anthropic)
- PerplexityBot, Perplexity-User (Perplexity)
- Googlebot, Bingbot, Applebot

Adımlar (HUMAN / PerimeterX imzası görüldü):
1. Bot Defender → politika: bilinen iyi botlar (known bots) listesinde arama ve yapay zekâ ajanlarını "Allow" yapın.
2. Bu ajanlara "Press & Hold" sınaması gösterilmediğini kontrol edin.

Kimlik: yalnızca User-Agent'a güvenmeyin; sağlayıcıların yayımladığı IP aralıkları ya da ters DNS ile doğrulayın.
Kötü niyetli trafiği CAPTCHA yerine hız sınırıyla (HTTP 429 + Retry-After) yavaşlatın.
(Menü adları sağlayıcının arayüz sürümüne ve planına göre değişebilir.)

Sucuri

Konu: Doğrulanmış yapay zekâ ajanlarına izin (example.com)

Ajan hazırlık testi, bot korumamızın otomatik istekleri durdurduğunu gösterdi.
Arama ve alışveriş ajanlarının ürün sayfalarımızı okuyabilmesi için şu botlara izin verelim:
- OAI-SearchBot, ChatGPT-User (OpenAI)
- Claude-SearchBot, Claude-User (Anthropic)
- PerplexityBot, Perplexity-User (Perplexity)
- Googlebot, Bingbot, Applebot

Adımlar (Sucuri imzası görüldü):
1. Firewall → Access Control: ajan sağlayıcılarının yayımladığı IP aralıklarını izin listesine ekleyin.
2. User-Agent'a göre değil, IP doğrulamasıyla izin verin; bu IP'lere doğrulama sayfası gösterilmesin.

Kimlik: yalnızca User-Agent'a güvenmeyin; sağlayıcıların yayımladığı IP aralıkları ya da ters DNS ile doğrulayın.
Kötü niyetli trafiği CAPTCHA yerine hız sınırıyla (HTTP 429 + Retry-After) yavaşlatın.
(Menü adları sağlayıcının arayüz sürümüne ve planına göre değişebilir.)

Örnek değerler (example.com, ürün adı, fiyat) yer tutucudur; kendi sitenizinkilerle değiştirin.

Kendiniz nasıl doğrularsınız?

Güvenlik katmanında doğrulanmış AI botlarına izin verin (Cloudflare’de AI Crawl Control, Akamai/Imperva’da bot listesi) ve testi yeniden çalıştırın. Aşağıdaki notu güvenlik ekibinize gönderebilirsiniz.

Bir yapay zekâ kodlama ajanıyla düzeltin

Bunu mağazanızın kodu üzerinde çalışan Claude Code, Cursor ya da başka bir kodlama ajanına yapıştırın. Yayına almadan önce değişikliği gözden geçirin.

Mağazamın sitesi üzerinde çalışıyorsun. Specoria’nın ajan hazırlık testi aşağıdaki maddeyi kontrol ediyor. Yapay zekâ alışveriş ajanları mağazayı okuyabilsin ve işlem yapabilsin diye bunu düzelt.

## 1. Bot koruması ajanlara açık mı? (waf_access)
Hedef: Bot koruması yalnızca kötü niyetli trafiği durdurur; doğrulanmış arama ve kullanıcı ajanları normal sayfayı (HTTP 200) görür. Her adımda CAPTCHA yerine risk bazlı doğrulama ve hız sınırı (HTTP 429 + Retry-After) kullanılır.
Örnek düzeltme (bu kod tabanına ve altyapıya uyarla; örnek değerler yer tutucudur):
```
Konu: Doğrulanmış yapay zekâ ajanlarına izin (example.com)

Ajan hazırlık testi, bot korumamızın otomatik istekleri durdurduğunu gösterdi.
Arama ve alışveriş ajanlarının ürün sayfalarımızı okuyabilmesi için şu botlara izin verelim:
- OAI-SearchBot, ChatGPT-User (OpenAI)
- Claude-SearchBot, Claude-User (Anthropic)
- PerplexityBot, Perplexity-User (Perplexity)
- Googlebot, Bingbot, Applebot

Adımlar (bot koruması sağlayıcısı tespit edilmedi):
1. Bot ya da WAF panelinde "doğrulanmış botlar" (verified / known good bots) izinli olsun.
2. Yukarıdaki arama ve kullanıcı ajanları için istisna kuralı ekleyin; eğitim botlarını (GPTBot, ClaudeBot) isterseniz kapalı tutun.
3. Ürün, sepet ve politika sayfalarında doğrulama sayfası (challenge) yerine hız sınırı kullanın.

Kimlik: yalnızca User-Agent'a güvenmeyin; sağlayıcıların yayımladığı IP aralıkları ya da ters DNS ile doğrulayın.
Kötü niyetli trafiği CAPTCHA yerine hız sınırıyla (HTTP 429 + Retry-After) yavaşlatın.
(Menü adları sağlayıcının arayüz sürümüne ve planına göre değişebilir.)
```
Kaynak: https://specoria.com/tr/yontem/kontroller/waf-access/

## Kurallar
- Önce kod tabanını incele ve hiçbir şeyi değiştirmeden hangi dosya ya da şablonları değiştireceğini bana söyle.
- Yalnızca bu kontrollerin gerektirdiğini değiştir; görünen sayfa ile yapısal veri aynı şeyi söylesin.
- Fiyat, stok, kargo ya da iade koşulu, yorum ve ürün kimliği (GTIN) uydurma: mağazanın gerçek verisinden al ya da bana sor.
- Gerçek ziyaretçileri engelleme ya da yavaşlatma; izleme kodu ekleme.
- Yayına aldıktan sonra https://specoria.com/tr/ adresindeki ücretsiz testi yeniden çalıştırıp düzeltmeyi doğrula.

Şartname ve rehberler

OpenAI: crawlers and user agents ↗

Kontrol bu açık kaynaklara dayanır; bağlantılar yayımcının kendi sayfalarıdır.

196 kriterlik çerçevedeki karşılığı

Bu kontrolün sonucu, hazırlık çerçevesindeki şu maddeler için kanıt sayılır:

1.5 Yeni nesil ajan tarayıcıları
1.6 WAF / bot yönetimi

Çerçeve ve kaynağı →

Ücretsiz testi çalıştır Örnek raporu görün →