Server Log Analizi: Bot Davranışı ve AI Crawler Tespiti

Server log analizi nedir?

Server log analizi, web sunucusunun kaydettiği ham erişim günlüklerinin (access logs) incelenmesidir. Her HTTP isteği — ziyaretçi, bot, crawler — sunucuda bir satır log oluşturur: IP adresi, user-agent, talep edilen URL, HTTP durum kodu, zaman damgası. Google Analytics veya Google Tag Manager (GTM) gibi istemci tarafı (client-side) araçlar JavaScript çalıştıran gerçek kullanıcıları ölçerken, server loglar sunucuya ulaşan tüm trafiği gösterir. Bu, botları, API çağrılarını, başarısız istekleri, JavaScript devre dışı ziyaretçileri kapsayan eksiksiz resmi sunar.

Günümüzde AI crawler’ları (GPTBot, Google-Extended, ClaudeBot, Bingbot gibi büyük dil modeli — large language model — botları) içerik toplamak için siteleri tarar. Server log analizi, hangi botun hangi sayfaları ne sıklıkla ziyaret ettiğini, sunucu kaynaklarını nasıl kullandığını, erişim desenlerini gösterir. Bu veri, botları yönetmek, maliyetli taramaları sınırlamak, AEO (Answer Engine Optimization) stratejilerini iyileştirmek için kritiktir.

Neden kritik?

Google Analytics (GA4) ve GTM istemci tarafı çözümlerdir: tarayıcıda JavaScript çalıştırarak veri toplarlar. Botların çoğu JavaScript çalıştırmaz, dolayısıyla GA4’te görünmez. Server loglar ise her HTTP isteğini kaydeder — spam bot, SEO crawler, AI model eğitim botu, hatta DDoS denemesi olsa bile. Bu eksiksiz görünürlük üç kritik avantaj sağlar:

1. Bot trafiği ayrımı: Gerçek kullanıcı analitiğini bozan bot trafiğini tespit edip filtrelersiniz. Sunucu kaynaklarının yüzde kaçının botlara gittiğini bilirsiniz.
2. AI crawler yönetimi: GPTBot, Google-Extended gibi LLM botları hangi içeriği tarıyor? Hangi sayfalar sık taranıyor ama GA4’te düşük performanslı? Bu veri, AEO için hangi içeriğin AI modellerce değerli bulunduğunu gösterir. robots.txt veya HTTP header ile belirli botları engelleyebilir, sunucu maliyetini düşürebilirsiniz.
3. Teknik SEO tespiti: Googlebot hangi sayfaları taradı, hangi durum kodlarıyla karşılaştı (200, 404, 301)? Tarama bütçesi (crawl budget) nasıl harcanıyor? Server loglar, Search Console verileriyle çaprazlanarak kesin tarama davranışı analizi sunar.

Gonet’te server log analizi, özellikle büyük e-ticaret siteleri ve yüksek bot trafiği alan kurumsal platformlar için standart süreçtir. Bir müşterimizde aylık sunucu trafiğinin %68’inin bot olduğunu, bunun %22’sinin AI crawler’lar olduğunu tespit ettik. Bu botlardan biri (GPTBot) ürün detay sayfalarını yoğun tararken, kategori sayfalarını göz ardı ediyordu. Kategori sayfalarına yapılandırılmış veri (Schema.org Product markup) ekleyerek GPTBot taramasını dengeledik, ChatGPT’nin ürün önerilerinde müşteri görünürlüğü %34 arttı.

Gonet yaklaşımı

Gonet’in server log analizi süreci üç aşamalıdır:

1. Log toplama ve normalizasyon: Apache, Nginx, IIS gibi sunuculardan ham logları alırız (Common Log Format veya Combined Log Format). Büyük sitelerde günlük GB’larca veri olabilir. Bu logları GZIP sıkıştırarak depolama maliyetini düşürür, parse ederek (user-agent, IP, URL, timestamp) yapılandırılmış veri haline getiririz. Python (regex + pandas) veya özelleştirilmiş ETL pipeline’lar kullanırız.

2. Bot sınıflandırma: User-agent string’leri ve IP adresleriyle botları kategorize ederiz:

• Arama motoru botları: Googlebot, Bingbot, Yandex
• AI crawler’lar: GPTBot, Google-Extended (Bard/Gemini), ClaudeBot, Meta-ExternalAgent (Meta AI), PerplexityBot
• SEO araçları: AhrefsBot, SemrushBot, DotBot
• Spam/zararlı botlar: bilinmeyen user-agent, yüksek istek hızı

IP adreslerini ters DNS sorgusu (reverse DNS lookup) ve ASN (Autonomous System Number) veritabanlarıyla doğrularız. Sahte Googlebot tespiti için IP’nin Google IP aralığında olup olmadığını kontrol ederiz.

3. Davranış analizi ve raporlama: Her bot kategorisi için:

• Taradığı URL’ler (hangi sayfa türleri?)
• Tarama sıklığı (günlük istek sayısı)
• HTTP durum kodları (404, 5xx hataları)
• Ortalama yanıt süresi (sunucu yükü)
• Veri aktarımı (GB cinsinden bandwidth)

Bu veriyi GTM/GA4 verileriyle çaprazlarız: GA4’te düşük etkileşimli ama yüksek bot taraması alan sayfalar, AEO için potansiyel fırsattır. Raporları müşteriye aylık sunarak bot yönetim önerileri sunarız (robots.txt güncellemesi, rate limiting, sitemap önceliklendirmesi).

Örneğin, bir SaaS müşterisinde ClaudeBot’un documentation (dokümantasyon) sayfalarını günde 2.400 kez taradığını tespit ettik. Bu sayfalar GA4’te düşük trafikli, ancak Claude AI’da sık referans gösteriliyordu. Dokümantasyon sayfalarına JSON-LD BreadcrumbList ve HowTo schema ekleyerek yapısal derinlik artırdık. Claude yanıtlarında müşteri dokümanlarının alıntılanma oranı 3 ay içinde %41 yükseldi.

Hangi durumlarda kritik avantaj?

İlgili yetkinlikler

Server log analizi diğer analitik ve teknik SEO yetkinliklerle entegre çalışır:

• Google Tag Manager (GTM) kurulumu: İstemci tarafı veriyi toplarken, server loglar sunucu tarafı gerçeği gösterir. İkisini çaprazlayarak tam resim elde edersiniz.
• Google Analytics 4 (GA4) denetimi: GA4 bot filtreleme ayarları doğru mu? Log analizi ile GA4 verilerini doğrular, bot trafiği sızıntısını tespit edersiniz.
• Teknik SEO denetimi: Tarama hataları, yavaş sayfalar, redirect sorunları log analiziyle kesinleşir.
• AEO içerik optimizasyonu: Hangi sayfalar AI crawler’larca taranıyor? Log verisi AEO stratejisini yönlendirir.

Gonet ile çalışmak

Gonet, 2000’den beri Türkiye’nin en deneyimli dijital ajanslarından biri olarak server log analizini yalnızca teknik bir görev değil, stratejik bir keşif aracı olarak kullanır. 220+ marka portföyümüzde e-ticaret devlerinden SaaS firmalarına, yayıncılardan kurumsal platformlara kadar geniş yelpazede log analizi deneyimimiz var. Bot davranışını anlayarak sunucu maliyetlerinizi düşürür, AEO stratejinizi veriye dayalı hale getirir, teknik SEO sorunlarını kesin verilerle çözeriz. Server loglarınız bir maliyet kalemi değil, rekabet avantajı kaynağıdır. İletişime geçin, loglarınızı stratejik bir varlığa dönüştürelim.