robots.txt ve AI Crawler Erişimi: Siteniz ChatGPT'ye Kapalı mı?

robots.txt AI crawler erişimi neden önemli?

Çünkü bir AI motoru sayfanızı okuyamazsa cevabında sizi anamaz. robots.txt, hangi AI botunun sitenize girebileceğini belirleyen ilk kapıdır.

Klinik sahipleri bize genelde şu cümleyle geliyor: "Google'da ilk sayfadayız ama ChatGPT bizi hiç önermiyor." İlk baktığımız yer içerik değil. Sitenin kök dizinindeki /robots.txt dosyası.

Bu dosya, sitenize gelen otomatik ziyaretçilere hangi bölümlere girebileceklerini söyleyen bir metin dosyası. Kuralları RFC 9309 ile standartlaştırılmış. Arama motoru botları onlarca yıldır bu dosyayı okuyor. AI motorlarının botları da aynı dosyayı okuyor.

Fark şurada: SEO tarafında robots.txt'i genelde birisi bilinçli yönetiyor. AI botları ise 2023 sonrasında ortaya çıktı ve çoğu sitenin robots.txt dosyası o tarihten önce yazıldı. Kimse geri dönüp bakmadı.

Hangi AI botları sitenizi okumaya çalışıyor?

Her büyük AI sağlayıcısının kendi botu var ve çoğunun birden fazla botu var. Her botun işi farklı: kimi eğitim verisi toplar, kimi canlı arama yanıtı için sayfayı getirir.

En sık karşılaştığımız botlar ve işlevleri şöyle. İsimler zaman içinde değişebiliyor, bu yüzden son hâlini her sağlayıcının kendi dokümanından teyit edin.

Güncel listeler için OpenAI bot dokümanı ve Google crawler dokümanı birincil kaynaktır. Bir bot adını ezberden yazmayın, kopyalayın.

GPTBot'u engellemek ChatGPT'de görünmemek demek mi?

Hayır. GPTBot eğitim verisi toplar. ChatGPT'nin arama yanıtlarında anılmak ayrı bir botun erişimine bağlıdır. İkisini ayrı değerlendirmek gerekir.

Bu ayrım, sahada en pahalı yanlış anlamalardan biri. 2023-2024 arasında pek çok ajans müşterisine "içeriğinizi AI çalmasın" gerekçesiyle GPTBot'u engelletti. O karar telif tarafında savunulabilir. Ama aynı satır, kliniğin arama görünürlüğünü kapattığı sanılarak genişletildiğinde iş değişiyor.

Pratik sonuç: eğitim verisine kapalı olmak ile AI aramanın cevabında kaynak olarak anılmamak aynı şey değil. Bir klinik için ikincisi doğrudan hasta kaybıdır. Birincisi çoğu klinik için nötr bir tercihtir.

Kliniğinizde bu ayrımın nasıl sonuç ürettiğini Google'da var ama ChatGPT önermiyor yazısında altı teknik nedenle birlikte ele aldık.

Google-Extended'i kapatmak AI Overviews'ı etkiler mi?

Etkilemez. Google-Extended Gemini tarafını yönetir. Arama içindeki AI Overviews, sıradan Googlebot erişimine bağlıdır ve ayrı bir yüzeydir.

Burası kafa karışıklığının en yoğun olduğu nokta. Google arama sonuçlarının üstünde çıkan AI özeti ile Gemini uygulaması aynı kapıdan beslenmiyor.

Bunun operasyonel karşılığı net: Google-Extended'i kapatarak arama sayfasındaki AI özetinden çıkamazsınız. O yüzeyden çekilmek istiyorsanız kullanacağınız araçlar snippet kontrolleridir ve bu araçlar klasik arama snippet'inizi de etkiler. Yani bedeli, normal organik görünürlüğünüzden ödersiniz.

Çoğu klinik için doğru karar, her ikisine de açık kalmak. Görünürlüğü kısıtlamak isteyen bir klinik henüz görmedik. Karar vermeden önce iki yüzeyin ayrı olduğunu bilmek gerekiyor.

robots.txt izin veriyor ama AI yine giremiyorsa?

Genellikle güvenlik duvarı veya CDN bot koruması engeller. robots.txt bir tavsiyedir; asıl kapıyı sunucu ve WAF kuralları tutar.

Yaptığımız GEO denetimlerinden birinde tam olarak bu tabloyla karşılaştık: robots.txt dosyası bütün AI botlarına açıktı, kimse bir şey engellememişti. Buna rağmen hiçbir AI motoru siteyi okuyamıyordu. Sebep, güvenlik katmanının tanımadığı user-agent isimlerini otomatik olarak reddetmesiydi. Site sahibinin bundan haberi yoktu, ajansının da.

robots.txt bir kilit değil, tabela. Botun uyması beklenir, uymaya zorlanamaz. Tersi de doğru: tabelada "buyurun" yazsa bile kapıdaki güvenlik görevlisi botu içeri almayabilir. Bazı CDN ve güvenlik duvarı sağlayıcıları AI botlarını varsayılan olarak engelliyor.

Bu yüzden robots.txt'i okumak tek başına yetmez. Sunucu loglarında botun gerçekten gelip 200 yanıt alıp almadığına bakmak gerekir. Bir kliniğin robots.txt'i açık, sunucusu kapalı olabilir ve dışarıdan bakınca ikisi aynı görünür.

Engelleme yoksa açıkça izin vermeye gerek var mı?

Teknik olarak gerek yok. Hiçbir kural yoksa erişim zaten açıktır. Yine de açık izin satırları niyeti belgeler ve sonraki şablon değişikliklerinde korur.

Önce doğru olanı söyleyelim: robots.txt'te sizi engelleyen bir Disallow satırı yoksa botlar zaten girebilir. Açıkça Allow yazmak bu durumda bir şeyi değiştirmez.

Buna rağmen açık izin blokları yazmayı öneriyoruz. Sebep teknik değil, kurumsal: altı ay sonra siteye dokunan bir geliştirici genel bir engelleme satırı eklediğinde, ismi geçen botlar için niyetin ne olduğu dosyada yazılı olur.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Dikkat: bu bloklar yalnızca izin veriyor. Bir bot adını yanlış yazarsanız satır işlevsiz kalır, zarar vermez. Aynı hatayı Disallow tarafında yaparsanız sonuç sessiz bir kayıptır. Engelleme satırlarını asla ezberden yazmayın.

llms.txt bu işi çözmüyor mu?

Bugün için kanıt yok. Büyük arama motorlarının llms.txt kullandığına dair yayımlanmış bir doğrulama bulunmuyor. Önce robots.txt erişimini düzeltin.

Son bir yılda "AI için llms.txt ekleyin" tavsiyesi hızla yayıldı. Dosyayı eklemenin zararı yok. Ama bir AI motorunun bu dosyayı okuduğuna ve sizi bu yüzden daha çok andığına dair yayımlanmış bir kanıt görmüş değiliz.

Mobixo olarak llms.txt satmıyoruz. Ölçülebilir kaldıraçları satıyoruz: bot erişimi, sunucu tarafında okunabilir içerik, schema ve marka bahsi. Bunların hangisinin sizde eksik olduğu ölçülebilir bir sorudur.

Ajansınız bu ayrımı yapamıyorsa, SEO ajansım GEO yapamıyor yazısındaki üç soruyla yeterliliği test edebilirsiniz.

Kliniğiniz bunu 20 dakikada nasıl kontrol eder?

Tarayıcıda robots.txt dosyanızı açın, engelleme satırı arayın, sonra sunucu loglarında AI botlarının gerçekten yanıt alıp almadığını doğrulatın.

Bunun için geliştirici olmanız gerekmiyor. İlk iki adımı kendiniz yapabilirsiniz.

1. Dosyayı açın. Tarayıcıya siteniz.com/robots.txt yazın. Dosya açılmıyorsa bu da bir bulgudur, ajansınıza sorun.
2. Engelleme arayın. Metinde Disallow geçen satırlara bakın. Yukarıdaki tablodaki bot isimlerinden biri bir Disallow: / satırının üstündeyse, o motora kapalısınız.
3. Sunucuya sorun. Ajansınızdan veya hosting sağlayıcınızdan son 30 günde bu botların siteye gelip 200yanıt alıp almadığını isteyin. Cevap gelmiyorsa engel robots.txt'te değil, güvenlik katmanında.
4. Sonucu ölçün. Erişim açıldıktan sonra AI motorlarında anılıp anılmadığınızı düzenli ölçün. Ölçmeden yapılan düzeltme, düzeltme sayılmaz.

Türkiye'de klasik SEO retainer'ları aylık 15-80 bin TL bandında seyrediyor (Mobixo pazar gözlemi). Bu bütçeyi ödeyen bir kliniğin, tek satırlık bir engelleme yüzünden AI aramada hiç görünmemesi sık rastladığımız bir tablo. Kontrolün maliyeti yirmi dakika.

Sık sorulan sorular

Bot erişimi, AI görünürlüğünün en ucuz ve en çok ihmal edilen katmanı. Kavramsal çerçeveyi GEO nedir, klasik SEO'dan farkı ne yazısında, çalışma biçimimizi GEO sayfamızda bulabilir, diğer yazıları okuyabilirsiniz.