Ajan amacı: tanım ve formül

Tanıdığımız 26 yapay zekâ ve arama botu: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Googlebot, Googlebot-Image, Googlebot-Video, Googlebot-News, Storebot-Google, GoogleOther, GoogleOther-Image, GoogleOther-Video, Google-Agent, bingbot, Applebot, Amazonbot, Meta-ExternalAgent, Meta-ExternalFetcher, Bytespider, CCBot, DuckAssistBot, MistralAI-User.

model eğitimi · yapay zekâ arama dizini · kullanıcı adına getirme · klasik arama motoru

Amaç her sağlayıcının kendi belgesinden. Kimlikler User-Agent başlığından okunur ve doğrulanmadıkça beyandır.

• Model eğitimi: GPTBot, ClaudeBot, GoogleOther, GoogleOther-Image, GoogleOther-Video, Amazonbot, Meta-ExternalAgent, Bytespider, CCBot
• Yapay zekâ arama dizini: OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot
• Kullanıcı adına getirme: ChatGPT-User, Claude-User, Perplexity-User, Google-Agent, Meta-ExternalFetcher, MistralAI-User
• Klasik arama motoru: Googlebot, Googlebot-Image, Googlebot-Video, Googlebot-News, Storebot-Google, bingbot, Applebot

Amaç, bir ziyaretin neye yol açabileceğini söyler. Eğitim botları model eğitimi için sayfa toplar. Yapay zekâ arama dizini botları, asistanın cevap verirken aradığı dizini kurar. Kullanıcı adına getirenler, bir kişi asistana sorduğu anda sayfayı açar. Klasik arama motorları normal arama için dizin kurar.

Trafik raporumuzda yapay zekâ istekleri eğitim, yapay zekâ araması ve kullanıcı adına getirmedir; klasik arama motoru botları listelenir ama yapay zekâ toplamlarına ve Crawl-to-refer hesabına girmez.

Sağlayıcının belgesi tam bir karşılık vermediğinde en yakın sınıfı kullanırız: araştırma ve tek seferlik taramalar için kullanılan GoogleOther eğitim sayılır. Bytespider’ın resmî belgesi yoktur ve eğitim olarak listelenir.

• İsteği gerçekte kimin gönderdiğini: kimlikler User-Agent başlığından okunur ve beyan olarak kalır (Beyan edilen kimlik). Sağlayıcı IP aralıklarını yayımlıyorsa rapor adresleri onlarla karşılaştırabilir; bazı sağlayıcılar hiç yayımlamaz. Ters DNS ya da imza kontrolü yapmayız.
• Tablomuzun dışındaki botları: yapay zekâ sayılmazlar; genel otomasyon izi taşıyan istekler de insan sayfa açılışı sayılmaz (İnsan sayfa açılışı).
• Verinin sonunda ne için kullanıldığını: amaç, sağlayıcının beyan ettiği amaçtır.

• Bot adına göre robots.txt kuralları amaçlara farklı davranmanızı sağlar, örneğin yapay zekâ aramasına ve kullanıcı adına getirenlere izin verip eğitimi reddetmek. Bir kuralı robots.txt testi ile deneyin, bir botu bot tanıma aracı ile bulun.
• Arama ve kullanıcı ajanlarına izin (robots.txt) sayfasında adı geçen ajanları engellemek ücretsiz testte kritik engeldir.

Ayrıca: Bir botu kullanıcı ajanından tanıyın

Ajan trafiği (sunucu kayıtlarınızdan): Bir erişim kaydı yüklediğinizde, proje panelinde ya da ücretsiz crawl-to-refer aracında saydıklarımız.

• Beyan edilen kimlik
• İnsan sayfa açılışı
• Yapay zekâdan gelen ziyaret
• Crawl-to-refer
• Yalnızca eğitim sayfası

Ücretsiz testi çalıştırın →Sözlükteki bütün terimler →