Web sitelerine gelen trafiğin yarısına yakını insanlardan değil, otomatik yazılımlardan (botlardan) oluşur. Arama motoru dizinleyicileri gibi iyi botlar sitenizin bulunabilirliği için şartken; fiyatları ve içerikleri kazıyan, sızdırılmış parolaları deneyen, sepet stoklarını kilitleyen ve form spam'i yapan kötü botlar hem sunucu kaynağını tüketir hem de ticari zarar verir.
Geçmişte bir botu engellemek için `.htaccess` dosyasına User-Agent adını veya tek bir IP adresini yazmak yeterliydi. Bugün ise gelişmiş botlar bu basit kontrolleri kolayca aşar.
Modern bir kötü niyetli bot, HTTP isteğinin `User-Agent` başlığına en güncel Chrome veya Safari tarayıcısının kimliğini birebir kopyalar. Hatta tek bir veri merkezi IP'si yerine, konut (residential) proxy ağları veya mobil operatör IP havuzları üzerinden her isteği farklı bir ev kullanıcısının IP adresinden geliyormuş gibi gönderir.
Öte yandan, "tüm şüpheli trafiği engelleyeyim" diyerek aşırı sert kurallar koyduğunuzda bu kez Googlebot, Bingbot, yapay zeka arama motorları, sosyal medya önizleme botları (WhatsApp, LinkedIn, X kart oluşturucuları), çalışma süresi izleme araçları (Uptime Kuma) ve ödeme sistemi bildirimleri 403 hatası almaya başlar. Gerçek bot yönetimi, sahte tarayıcıyı yakalarken doğrulanmış iyi botlara yeşil ışık yakan mimaridir.
| Bot Kategorisi | Örnekler | Sunucu ve İş Üzerindeki Etkisi | Doğru Politika |
|---|---|---|---|
| Doğrulanmış Arama Motoru Botları | Googlebot, Bingbot, YandexBot, Applebot | Sayfaları dizine ekler, organik trafik getirir. | rDNS/IP doğrulamasıyla her zaman izin ver (Allow). |
| Entegrasyon ve İzleme Botları | Sanal POS webhook, çalışma süresi izleme, RSS okuyucular | Ödeme onayı ve sistem sağlığı bildirimi sağlar. | Sabit IP veya gizli başlık jetonuyla beyaz listeye al. |
| İçerik ve Fiyat Kazıyıcılar (Scrapers) | Rakip fiyat botları, ilan/makale kopyalayıcılar | Veritabanı yükünü artırır, özgün içeriği ve ticari veriyi çalar. | Davranışsal bot skoru + hız sınırı + yönetilen sınama. |
| Hesap Ele Geçirme (Credential Stuffing) | Sızdırılmış e-posta/parola listelerini deneyen botlar | Müşteri hesaplarını ele geçirir, giriş servisini kilitler. | Giriş ucunda katı rate limit + sızdırılmış parola WAF kuralı + 2FA. |
| Stok Kilitleme ve Kart Deneme (Carding) | Sepete ürün ekleyip stok bitiren, çalıntı kart deneyen botlar | Gerçek müşterinin satışını engeller, sanal POS hesabını riske sokar. | Sepet/ödeme adımlarında görünmez sınama ve oturum bütünlüğü. |
Ters vekil sınır ağında çalışan bir bot yönetim motoru, isteğin yalnızca ne söylediğine (HTTP başlıklarına) değil, bağlantıyı nasıl kurduğuna bakar.
Bir istemci HTTPS bağlantısı başlatırken (Client Hello), desteklediği TLS sürümlerini, şifre takımlarını (cipher suites) ve uzantıları belirli bir sırayla gönderir.
Puppeteer, Playwright veya Selenium gibi başsız (headless) tarayıcıları tespit etmek için istemci tarafında sessiz ortam kontrolleri çalıştırılır.
İsteğin geldiği otonom sistem numarası (ASN) ve oturum boyunca sayfalar arası gezinme örüntüsü makine öğrenimi modelleriyle puanlanır.
Klasik görsel bulmacalar (trafik lambası veya yaya geçidi seçtiren ekranlar) gerçek kullanıcıların dönüşüm oranını düşürür ve erişilebilirliği zorlaştırır.
Yeni nesil ters vekil ve bot koruma mimarisinde her isteğe 1 ile 99 arasında bir "Bot Skoru" atanır (1 = kesin otomasyon/bot, 99 = kesin insan kullanıcı). Güvenlik politikaları bu skora ve hedef URL'nin kritiklik derecesine göre kademeli uygulanır:
İletişim, teklif, kayıt ve giriş formlarında sunucu tarafında doğrulanan görünmez veya tek tıklamalı modern sınama bileşenleri kullanılmalıdır. Önemli kural: form doğrulama bileşenini yalnızca HTML sayfasına eklemek yetmez; form POST edildiğinde sunucu tarafındaki PHP/uygulama kodu, gönderilen tek kullanımlık doğrulama jetonunu (token) doğrulama API'sine sorarak geçerliliğini teyit etmelidir. Jeton doğrulanmadan veritabanına kayıt yazılmamalı ve e-posta tetiklenmemelidir.
Emlak portalları, e-ticaret siteleri, rehberler ve medya platformları için en büyük yüklerden biri tüm veritabanını sayfa sayfa çeken kazıyıcı botlardır.
Kendi işlettiğimiz yüksek trafikli veri ve içerik portallarından edindiğimiz deneyimle, kazıma saldırılarını durdurmak için şu dört katmanı birlikte kuruyoruz:
Savunma tek bir ayarla değil, katmanların birlikte çalışmasıyla kurulur. Hosting ve Sunucu Güvenliği Ana Rehberi üzerinden tüm mimariyi görebilir ya da aşağıdaki alt rehberlere ve sunucu hizmetlerimize geçebilirsiniz.
Hayır. robots.txt yalnızca kurallara uyan iyi niyetli arama motoru botları için bir beyandır. Veri kazıyan, zafiyet tarayan veya parola deneyen kötü botlar robots.txt dosyasını dikkate almaz; aksine orada "Disallow: /admin" gibi satırları okuyarak gizli dizinlerinizi keşfetmek için kullanırlar. Kötü botlar WAF ve ters vekil katmanında teknik olarak engellenmelidir.
Kötü yapılandırılmış, sadece IP veya ülke bazlı kör engelleme yapan sistemler Googlebot'u engelleyip sıralamayı düşürebilir. Ancak ters DNS ve resmi ASN doğrulaması (Verified Bots) yapan sınır ağı kurallarında arama motoru botları tüm sınamalardan muaf tutulur; hatta kötü botların sunucuyu yavaşlatması önlendiği için Googlebot'un tarama bütçesi ve sayfa hızı (Core Web Vitals) iyileşir.
İki yaygın nedeni vardır: Birincisi, formun arka uç kodu (PHP/Node vb.) captcha jetonunu sunucu tarafında doğrulamadan doğrudan veritabanına kaydediyordur; botlar HTML formunu hiç açmadan doğrudan POST isteği atar. İkincisi, düşük hacimli spam insan tıklama çiftlikleri veya gelişmiş çözücülerle yapılıyordur; bunun için honeypot alanı (`company_site` gibi gizli input), IP başına saatlik hız sınırı ve içerik filtresi birlikte kullanılmalıdır.
Başsız tarayıcılar gerçek bir tarayıcı motoru çalıştırdığı için basit JS testlerini geçebilir. Ancak TLS el sıkışma detayları, WebGL/Canvas parmak izi, `navigator.webdriver` özellikleri, veri merkezi IP'sinden gelmeleri ve sayfa içi insan etkileşimi (fare/kaydırma ritmi) üretmemeleri sayesinde davranışsal bot yönetimi tarafından tespit edilirler.
Siteniz yalnızca Türkiye'ye hizmet verse bile tüm yurt dışı trafiği tamamen kapatmak genellikle yanlıştır; çünkü Googlebot ve Bingbot ağırlıklı olarak ABD IP adreslerinden tarama yapar, ayrıca yurt dışındaki Türk ziyaretçiler erişemez. Bunun yerine yurt dışı trafiğe sadece `/admin`, `/login` veya form POST uçlarında "Yönetilen Sınama" uygulamak çok daha güvenli ve SEO dostudur.
Mevcut sunucu yapınızı ve yaşadığınız güvenlik veya performans ihtiyacını birkaç cümleyle yazın; altyapınıza uygun mimariyi birlikte kuralım.
Telefon: +90 555 966 44 00
E-posta: destek@e-veri.com