AI Tarayıcılarını ve Arama Botlarını Kontrol Etme

KI Tarayıcıları ve Arama Botlarını Kontrol Etme

Crawlers sekmesi, sitenizi indekslemesine izin verilen otomatik ziyaretçileri denetler ve bunlar arama motorları, yapay zeka yanıt motorları, SEO araçları ve sosyal önizleme botları olarak gruplandırılır. Bu kılavuz her grubun ne yaptığını, Kapsule'nin varsayılan olarak neye izin verdiğini ve engellemenin gerçekte size ne mal olduğunu açıklar.

Tarayıcı Ayarlarının KPanel'de Nerede Olduğu

1. KPanel oturumuna giriş yapın.
2. Sol kenar çubuğunda Websites (Web Siteleri) öğesine ve ardından siteye tıklayın.
3. Sitenin sekme şeridinde Performance (Performans) öğesini açın ve ardından Crawlers (Tarayıcılar) öğesini açın.

Doğrudan adres /websites/<site-id>/crawlers şeklindedir.

Bu Sayfa Aslında Ne Değiştirir

Bir grubu değiştirmek sitenizin robots.txt dosyasını yeniden yazar. Bu dosya, iyi davranışlı otomatik ziyaretçilere yapılan yayınlanan bir istektir ve büyük tarayıcılar buna uymaktadır.

İki sonuç ortaya çıkar ve her ikisi de önemlidir.

Bu bir istek, bir duvar değildir. robots.txt dosyasını yok sayan bir tarayıcı, bu sayfadaki hiçbir şeyden etkilenmez. Sorununuz, kendini dürüstçe tanımlamayan bir şey tarafından kazınmasıysa, bu yanlış araçtır: bunun yerine sitenin Security (Güvenlik) sayfasında IP engel listesini veya ülke filtrelemesini kullanın. Site Security (Site Güvenliği) ve Country Blocking for a Site (Bir Site için Ülke Engelleme) bölümüne bakın.

Tarama işlemini kontrol eder, zaten indekslenmişi değil. Bir tarayıcıyı engellersek gelecekteki getirişleri durdurur. Zaten bir dizinde bulunan içerik zamanla genellikle dışarı çıkar, ancak anında değil.

Değişiklikler bir anahtarı değiştirme anında kaydedilir. Sayfa Saving (Kaydediliyor) öğesini gösterir, sonra Saved, robots.txt updated (Kaydedildi, robots.txt güncellendi) öğesini gösterir.

Dört Grup

Arama motorları. Sıradan arama sonuçlarının arkasında olan geleneksel tarayıcılar: Googlebot, Bingbot, DuckDuckBot, Applebot ve YandexBot.

Yapay zeka araması ve yanıt motorları. İçeriğinizi yapay zeka tarafından oluşturulan yanıtlar ve arama genel görünümüne dahil eden sistemler için tarayıcılar: OpenAI'den gelen GPTBot ve OAI-SearchBot, Anthropic'ten gelen ClaudeBot ve anthropic-ai, PerplexityBot, Google-Extended, Cohere, Meta ve Diffbot.

SEO ve analitik araçları. Siteleri denetlemek için kullanılan platformlardan tarayıcılar: AhrefsBot, SemrushBot, MJ12bot, DotBot ve Baiduspider.

Sosyal medya ve önizleme. Birisi bir bağlantıyı paylaştığında bir önizleme kartı alan tarayıcılar: Twitterbot, Facebook önizleme getirici, LinkedInBot, Slackbot ve Discordbot.

Her grup kartı, sahibiyle birlikte içindeki her tarayıcıyı listeler, böylece bir anahtarı çevirmeden önce tam olarak neyi kapsadığını görebilirsiniz.

Kapsule'nin Varsayılanı: Yapay Zeka Tarayıcılarına İzin Verilir

Tüm gruplar varsayılan olarak izin verilir, yapay zeka tarayıcıları da dahil olmak üzere ve bu kasıtlı bir konumdur, bir gözden kaçırma değil.

Bir dizi barındırıcı kendi müşterileri adına yapay zeka tarayıcılarını sessizce engeller. Biz yapmayız, çünkü bu sizin trafiğiniz ve sizin kararınız ve varsayılan olarak size görünürlük maliyeti vardır. Yapay zeka arama sonuçları gerçek ve artan bir yönlendirme kaynağıdır. Yapay zeka sistemlerinin okuyamadığı bir site bu yanıtlarda görünmez, yani bu trafiği almaz.

Bunları engellemeyi istiyorsanız, denetim buradadır. Biz basitçe bunu size söylemeden bu seçimi sizin için yapmayız.

Her Grup için Karar Verme

Arama motorları. Site gerçekten özel değilse izin verilmeyen durumda bırakın; bu durumda şifre koruması yine de doğru araçtır. Password-Protecting a Site (Bir Siteyi Şifre Koruması) bölümüne bakın.

Yapay zeka araması ve yanıt motorları. Bu sayftaki gerçek kararıdır.

Yapay zeka yanıtlarından trafik ve alıntı istiyorsanız bunlara izin verin. Bu neredeyse tüm ticari siteler, yayıncılar ve hizmet işletmeleri için geçerlidir.

İçeriğiniz ürününüz ise ve özeti almak ziyaret etme nedenini ortadan kaldırırsa, içeriğin nasıl yeniden kullanılacağına ilişkin sözleşmesel veya lisanslama kısıtlamalarınız varsa veya yapay zeka eğitimi hakkında kasıtlı bir editöryal seçim yaptıysanız engellemeyi göz önünde bulundurun.

Ticaretin gerçeğini kabul edin. Engelleme, sitenizin yapay zeka tarafından oluşturulan arama genel görünümlerinden ve yanıtlarından kaybolması anlamına gelir ve bu teorik bir risk değil, ölçülebilir kayıp trafikdir.

SEO ve analitik araçları. Engellemek için en savunulabilir grup. Size doğrudan hiçbir şey sağlamaz: başkasına sitenizi denetlemesine izin verir ve büyük bir sitede gerçek tarama yükü ekleyebilirler. Bunları engellersek siteniz rakiplerin araştırma araçlarında daha az görünür hale gelir. Bazıları bunu bir özellik olarak kabul eder. Maliyet, kendi SEO araçlarınızın da siteniz hakkında veri kaybetmesidir.

Sosyal medya ve önizleme. Hiçbir zaman bağlantı önizlemesi istemiyor olmadıkça izin verilmeyen durumda bırakın. Bunları engellersek sosyal platformlarda ve sohbet uygulamalarında sitenize paylaşılan bağlantılar başlık, açıklama veya resim olmadan çıplak URL'ler olarak görünür. Bu, tıklama hızını ölçülebilir şekilde azaltır.

Tüm Yapay Zeka Tarayıcılarını Bir Kerede Engelle

Sayfanın altında tehlikeli bir bölge kartı, Block all AI crawlers (Tüm Yapay Zeka Tarayıcılarını Engelle) vardır. Bir eylemde AI grubundaki her tarayıcı için engelleme kuralları ekler.

Tıklamak önce onay ister ve onay sonucu açıkça belirtir: siteniz yapay zeka arama genel görünümlerinden kaybolur ve bu gerçek trafik maliyeti vardır.

Eylem geri alınabilir. AI grubunu geri açın ve engelleme kuralları bir sonraki kayıtta kaldırılır. Daha sonra bir dizine geri dönme zaman alır.

Bunu Değiştirebilecek Kişi

Tarayıcı ayarlarını değiştirmek site yazma izni gerektirir. Salt okunur rolü olan kişi için anahtarlar devre dışıdır ve birinin üzerine geldiğinde neden olduğunu açıklar. Değişikliği yapması veya rolünüzü ayarlaması için bir hesap sahibinden isteyin.

Sorun Giderme

Bir grubu engellediğim ancak tarayıcı yine de ziyaret ediyor. İyi davranışlı tarayıcılar robots.txt dosyasını her istekten önce değil periyodik olarak yeniden okur, bu yüzden zaman verin. Asla durmaz ise tarayıcı dosyaya uymaz ve bunun yerine bir erişim kontrolü gerekir. Site Security (Site Güvenliği) bölümüne bakın.

Sayfalarım engellendikten sonra hala arama sonuçlarında. Engelleme gelecekteki taramasını durdurur. Mevcut dizin girişleri zamanla sona erer. İçeriği hızlı kaldırmak için arama motorunun kendi kaldırma aracını kullanın.

Bağlantı önizlemeleri çalışmayı durdurdu. Sosyal grup engellendi. Bunu geri açın.

SEO aracımın sitem için verisi yok. SEO grubu engellendi, bu da herkesin araçlarını etkiler.

Burada bir şey değiştirdikten sonra trafik düştü. Hangi grupların engelleneceğini kontrol edin. Arama veya yapay zeka kapalıysa, bu neden ve bunu geri açmak kurtarmayı başlatır.

Önemsediğim bir tarayıcı listelenmiyor. Gruplar ana adlandırılmış tarayıcıları kapsar. Listelenmeyen hiçbir şey dosyanın üst kısmındaki genel izin kuralı altına düşer ve bu anahtarlar tarafından engellenmez.

Sitime hiç dizin oluşturulmıyor ve burada her şeye izin veriliyor. Başka bir şey bunu engelliyor. Tüm siteye şifre korumasının açık olup olmadığını, ülke filtrelemesinin tarayıcının bölgesini engelleyip engellemediğini veya sitenin kendi etki alanınız yerine paylaşılan bir adres üzerinde olup olmadığını kontrol edin.

İlgili Sayfalar

• Site Traffic Analytics (Site Trafik Analitikleri): tarayıcı trafiğinin isteklerde ve bant genişliğinde gerçekte size ne mal olduğunu görmek için.
• Site Security (Site Güvenliği): IP engelleme ve diğer gerçek erişim denetimleri için.
• Country Blocking for a Site (Bir Site için Ülke Engelleme): coğrafya tabanlı filtreleme için.
• Password-Protecting a Site (Bir Siteyi Şifre Koruması): bir siteyi her şeyin dışında gizlemek için, tarayıcılar dahil.