Crawl Budget Optimizasyonu ve Log Analizi ile Arama Performansı

Crawl budget + log analizi nedir?

Crawl budget (tarama bütçesi), arama motorlarının belirli bir zaman diliminde sitenizde tarayabileceği sayfa sayısıdır. Google’ın botları sınırsız kaynaklara sahip olmadığı için her siteye ayırdığı tarama süresi ve kaynak sınırlıdır. Log analizi ise sunucu log dosyalarınızı (access.log, server.log) inceleyerek Googlebot’un sitenizde nasıl hareket ettiğini, hangi sayfaları ne sıklıkta ziyaret ettiğini ve nerede sorun yaşadığını anlamak için yapılan teknik SEO sürecidir.

Bir e-ticaret sitesinde 50.000 ürün sayfası olabilir, ancak Googlebot günde sadece 10.000 URL tarayabiliyorsa ve bu taramaların %40’ı filtre sayfalarına, eski kampanya sayfalarına veya düşük değerli içeriğe gidiyorsa, kritik ürün sayfalarınız güncellenmemiş kalır. Log analizi bu verimsizliği gösterir, crawl budget optimizasyonu çözer.

Gonet, 2018’den beri Screaming Frog Log File Analyser, Botify, OnCrawl ve özel Python scriptleri ile log analizi yapıyor. Büyük e-ticaret siteleri, haber portalları ve B2B platformları için crawl budget yönetimi uzmanlığımız, indeksleme hızını %200-300 artıran projeler üretmiştir.

Neden kritik?

Google’ın tarama bütçesi üç faktöre bağlıdır: site otoritesi (backlink profili, domain yaşı), sunucu performansı ve içerik kalitesi. Büyük sitelerde crawl budget’ı optimize etmezseniz:

Yeni içerik geç indekslenir. Günlük onlarca ürün ekleyen bir e-ticaret sitesinde, yeni ürünler haftalarca arama sonuçlarına girmeyebilir. Rakibiniz aynı ürünü daha hızlı indeksletirse trafik kaybedersiniz.

Kritik güncellemeler gözden kaçar. Fiyat düşüşü, stok güncellemesi veya içerik iyileştirmesi yaptığınız sayfa Googlebot’un bir sonraki ziyaretine kadar bekler. High-frequency tarama gerektiren sayfalarınızı belirlemezseniz fırsatlar kaybolur.

Kalitesiz sayfalara kaynak harcanır. Faceted navigation (filtre kombinasyonları), session ID’li URL’ler, eski PDF dosyaları veya boş tag arşivleri crawl budget’ın %30-60’ını tüketebilir. Log analizi olmadan bu kara deliği göremezsiniz.

Teknik hatalar maskelenir. Googlebot bir sayfaya ulaşamıyorsa (timeout, 503 hatası), Google Search Console yalnızca toplam hata sayısı gösterir. Log dosyaları hangi sayfaların, hangi saatlerde, hangi IP’lerden erişildiğini saniye saniye gösterir. Sunucu yükünüz 14:00-16:00 arası Googlebot trafiğinden mi kaynaklanıyor? Bunu ancak log analizi ile anlarsınız.

2023’te bir e-ticaret müşterimiz günlük 200.000 tarama isteği alıyordu, ancak bunun %47’si robots.txt ile engellenmesi gereken filtre sayfalarına gidiyordu. robots.txt + internal link düzenlemesi sonrası ürün sayfalarına tarama %190 arttı, 6 hafta içinde organik trafik %34 yükseldi.

Gonet yaklaşımı

Gonet’in crawl budget optimizasyonu dört aşamalı bir süreçtir:

1. Log dosyası toplama ve normalizasyon: Apache/Nginx/IIS log dosyalarını 90-180 gün geriye dönük topluyoruz. CDN kullanıyorsanız (Cloudflare, Akamai) origin server logları ile birleştiriyoruz. User-agent bazlı filtreleme ile Googlebot, Googlebot-Mobile, Googlebot-Image trafiğini ayırıyoruz.

2. Tarama davranış analizi: Hangi URL’ler ne sıklıkla taranıyor? Hangi sayfa grupları (kategori, ürün, blog) ne kadar crawl budget alıyor? HTTP durum kodları (200, 301, 404, 503) dağılımı nasıl? Ortalama yanıt süresi bot trafiği için normal kullanıcıdan farklı mı? Bu soruları Screaming Frog Log File Analyser ve özel Python scriptleri (pandas, matplotlib) ile yanıtlıyoruz.

3. Önceliklendirme matrisi: Hangi sayfalar yüksek sıklıkta taranmalı? E-ticarette: stok ve fiyat değişkenliği yüksek ürünler, yeni eklenen içerik, yüksek conversion değerli kategoriler. Haber sitelerinde: son 24 saat içindeki içerik, trend konular. Bu sayfaları internal link yapısında öne çıkarıyoruz (homepage, category hub’lardan doğrudan link).

4. Engelleme ve yönlendirme stratejisi: Düşük değerli sayfaları robots.txt ile engelliyoruz (faceted navigation parametreleri, session ID’ler, gereksiz PDF’ler). Canonical tag’ler ve noindex direktifleri ile duplicate content’i konsolide ediyoruz. XML sitemap’i yalnızca taranmasını istediğimiz URL’lerle sınırlıyoruz.

Bir B2B platformu için 2022’de yaptığımız analizde, 850.000 URL’den sadece 120.000’i iş değeri taşıyordu. Gereksiz 730.000 URL’i robots.txt + noindex ile kapattık. 8 hafta içinde kritik sayfalara tarama %340 arttı, 12 hafta içinde organik lead sayısı %28 yükseldi.

Gonet ayrıca Google Search Console (Crawl Stats raporu) ile log analizini çapraz doğrular. GSC’deki tarama isteği sayısı, ortalama yanıt süresi ve host durumu metrikleri log verisiyle tutarlı mı kontrol ederiz.

Hangi durumlarda kritik avantaj?

İlgili yetkinlikler

• Teknik SEO denetimi: Crawl budget optimizasyonu teknik SEO’nun alt kümesidir, site hızı, mobil uyumluluk, yapısal veri ile birlikte yürür.
• JavaScript SEO + rendering stratejileri: Client-side rendering kullanıyorsanız, Googlebot’un rendering bütçesi ayrı bir katmandır. Log analizi rendering isteklerini de gösterir.
• International SEO + hreflang: Çok dilli sitelerde her dil/bölge versiyonu ayrı crawl budget alır. Log analizi hangi bölgelerin yetersiz tarandığını gösterir.
• Kurumsal SEO stratejisi: Crawl budget yönetimi büyük kurumsal sitelerin omurgasıdır, birden fazla alt domain ve milyonlarca sayfa söz konusuysa zorunludur.

Gonet ile çalışmak

Gonet, log analizi ve crawl budget optimizasyonu için özel dashboardlar (Google Data Studio/Looker Studio entegrasyonu) kurar, aylık izleme raporları sunar. 26 yıllık deneyimimizle büyük ölçekli sitelerde tarama verimliliğini artırıyor, indeksleme hızını ölçülebilir şekilde yükseltiyoruz. Crawl budget sorunlarınızı tespit edip çözmek için iletişime geçin.