Arama ve kullanıcı ajanlarına izin (robots.txt)

Nasıl ölçüyoruz?

robots.txt okunur ve kök adres ile bulunan ürün sayfasının yolu şu ajanlar için denenir: arama botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot, Applebot) ve kullanıcı ajanları (ChatGPT-User, Claude-User, Perplexity-User, Google-Agent). Herhangi birinin engellenmesi kontrolü düşürür; OAI-SearchBot ya da Googlebot engeli kritik engeldir. robots.txt yoksa geçer, okunamıyorsa (sunucu hatası, zaman aşımı) doğrulanamadı olur. Eğitim botları (GPTBot, ClaudeBot, Google-Extended, CCBot) ve diğer AI botları (Applebot-Extended, Meta-ExternalAgent, Amazonbot, MistralAI-User, Bytespider) puana girmez, bilgi satırında gösterilir; ajana özel bir grubun genel (*) kuralları gölgelemesi ve Content-Signal beyanı da bilgi olarak yazılır.

Otel ve hizmet sitelerinde bu kontrol ürün sayfası yerine ana sayfada ölçülür.

Sonuç sayfasında ne yazar?

Test sonucundaki cümleler bunlardır; “…” yerine sitenizde bulunan değer gelir.

• Geçtirobots.txt; OAI-SearchBot, ChatGPT-User, Claude, Perplexity, Googlebot, Google-Agent, Bingbot ve Applebot’u ana sayfada ve ürün sayfasında engellemiyor.
• Kaldırobots.txt şu ajanları engelliyor: …. Bu ajanlar mağazanızı okuyamaz ve öneremez.

Nasıl düzeltilir?

Hedef: Arama ve kullanıcı ajanlarına açıkça izin verilir; eğitim botlarını (GPTBot, ClaudeBot, Google-Extended) isterseniz ayrıca engelleyebilirsiniz, bu görünürlüğü kesmez.

Örnek kod

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Eğitim botları isteğe bağlı:
User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Örnek değerler (example.com, ürün adı, fiyat) yer tutucudur; kendi sitenizinkilerle değiştirin.

Kendiniz nasıl doğrularsınız?

robots.txt’yi güncelleyip testi yeniden çalıştırın; Google Search Console robots.txt raporuna da bakın.

Bir yapay zekâ kodlama ajanıyla düzeltin

Bunu mağazanızın kodu üzerinde çalışan Claude Code, Cursor ya da başka bir kodlama ajanına yapıştırın. Yayına almadan önce değişikliği gözden geçirin.

Mağazamın sitesi üzerinde çalışıyorsun. Specoria’nın ajan hazırlık testi aşağıdaki maddeyi kontrol ediyor. Yapay zekâ alışveriş ajanları mağazayı okuyabilsin ve işlem yapabilsin diye bunu düzelt.

## 1. Arama ve kullanıcı ajanlarına izin (robots.txt) (bots_search)
Hedef: Arama ve kullanıcı ajanlarına açıkça izin verilir; eğitim botlarını (GPTBot, ClaudeBot, Google-Extended) isterseniz ayrıca engelleyebilirsiniz, bu görünürlüğü kesmez.
Örnek düzeltme (bu kod tabanına ve altyapıya uyarla; örnek değerler yer tutucudur):
```
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Eğitim botları isteğe bağlı:
User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml
```
Kaynak: https://specoria.com/tr/yontem/kontroller/bots-search/

## Kurallar
- Önce kod tabanını incele ve hiçbir şeyi değiştirmeden hangi dosya ya da şablonları değiştireceğini bana söyle.
- Yalnızca bu kontrollerin gerektirdiğini değiştir; görünen sayfa ile yapısal veri aynı şeyi söylesin.
- Fiyat, stok, kargo ya da iade koşulu, yorum ve ürün kimliği (GTIN) uydurma: mağazanın gerçek verisinden al ya da bana sor.
- Gerçek ziyaretçileri engelleme ya da yavaşlatma; izleme kodu ekleme.
- Yayına aldıktan sonra https://specoria.com/tr/ adresindeki ücretsiz testi yeniden çalıştırıp düzeltmeyi doğrula.

Şartname ve rehberler

• RFC 9309: Robots Exclusion Protocol ↗
• OpenAI: crawlers and user agents ↗

Kontrol bu açık kaynaklara dayanır; bağlantılar yayımcının kendi sayfalarıdır.

196 kriterlik çerçevedeki karşılığı

Bu kontrolün sonucu, hazırlık çerçevesindeki şu maddeler için kanıt sayılır:

• 1.1 robots.txt içinde OAI-SearchBot açık

Çerçeve ve kaynağı →

Ücretsiz testi çalıştır Örnek raporu görün →