Cloudflare arama botlarını engelliyor mu?
robots.txt erişim tercihini belirtir; güvenlik katmanı isteği ayrıca engelleyebilir. Arama, eğitim ve kullanıcı adına erişen botların amaçlarını ayırın. Bir engeli değiştirmeden önce hangi kuralın çalıştığını doğrulayın.
Hangi botu açmak istiyorsunuz?
Arama için kullanılan botla eğitim için kullanılan bot aynı amaca sahip değildir. OpenAI da OAI-SearchBot, GPTBot ve ChatGPT-User rollerini ayrı açıklar. Mağazanızın görünürlüğü için seçtiğiniz erişim politikasını ilgili botun amacıyla eşleştirin.
Yanıtı güvenlik kaydıyla karşılaştırın
Normal isteğinizi ve seçtiğiniz bot user-agent bilgisiyle yaptığınız isteği karşılaştırın. Farklı bir yanıt araştırılması gereken bir bulgudur; doğrulanmış botun gerçek isteğiyle aynı davranışın kanıtı değildir.
curl -I -A "OAI-SearchBot" https://siteniz.com/
İlgili kuralı bulun
Cloudflare Security Settings içindeki AI bot tercihlerini ve AI Crawl Control kayıtlarını inceleyin. Bot engeli ve WAF kurallarını amacınıza göre değerlendirin. Sadece tarayıcı sayfasının açılması bot erişimini kanıtlamaz.
Değişiklikten sonra yeniden kontrol edin
Yanıt durumunu, sayfa içeriğini ve güvenlik kaydını yeniden kontrol edin. Engel kalkması yeniden taranmayı veya AI yanıtlarında anılmayı garanti etmez.
Sık sorulan sorular
robots.txt'te Disallow yok ama botlar yine engelleniyor, normal mi?
Evet ve en sık karşılaşılan gizli sorundur — robots.txt sadece beyandır; Cloudflare gibi edge katmanları ondan bağımsız engeller.
Cloudflare kullanmıyorum ama aynı sorun olabilir mi?
Evet — diğer CDN'ler, hosting WAF'ları ve Wordfence gibi CMS güvenlik eklentileri de benzer engeller üretir. Doğrulama komutu aynıdır.
Engeli kaldırınca hemen AI'da çıkar mıyım?
Hemen değil — botların sitenizi yeniden keşfetmesi ve motorların içeriği işlemesi zaman alır. Engel kalkması ön şarttır, sonuç garantisi değildir.
Bu rehberler teknik kontrolleri açıklar. Kontrollerin geçmesi arama sıralaması veya AI yanıtlarında yer alma garantisi vermez.