Sunucu günlükleri SEO için neden önemlidir?

Web sitesi operatörlerinin çoğu, web sunucusu günlüklerinin öneminin farkında değildir. Kayıt yapmazlar, web sitelerinin sunucu günlüklerini analiz etmezler. Özellikle büyük markalar, sunucu günlük analizinden faydalanmakta başarısız oluyor ve kaydedilmemiş sunucu günlük verilerini geri alınamaz bir şekilde kaybediyor.

Devam eden SEO çabalarının bir parçası olarak sunucu günlük analizini benimsemeyi seçen kuruluşlar, genellikle Google Arama'da başarılı olur. Web siteniz 100.000 veya daha fazla sayfadan oluşuyorsa ve sunucu günlüklerinin nasıl ve neden muazzam bir büyüme fırsatı oluşturduğunu öğrenmek istiyorsanız okumaya devam edin.

Sunucu günlükleri neden önemlidir?

Bir bot, bir web sunucusunda barındırılan bir URL'yi her istediğinde, süreçte değiş tokuş edilen bilgileri yansıtan bir günlük kaydı girişi otomatik olarak oluşturulur. Uzun bir süreyi kapsadığında, sunucu günlükleri alınan taleplerin ve geri verilen yanıtların geçmişini temsil eder.

Sunucu günlük dosyalarında tutulan bilgiler tipik olarak istemci IP adresini, istek tarih ve saatini, istenen sayfa URL'sini, HTTP yanıt kodunu, sunulan bayt hacmini ve ayrıca kullanıcı aracısını ve yönlendireni içerir.

Kullanıcı tarayıcı istekleri de dahil olmak üzere bir web sayfasının istendiği her durumda sunucu günlükleri oluşturulurken, arama motoru optimizasyonu yalnızca bot sunucusu günlük verilerinin kullanımına odaklanır. Bu, GDPR/CCPA/DSGVO gibi veri koruma çerçevelerine değinen yasal hususlarla ilgilidir. SEO amaçları için hiçbir kullanıcı verisi dahil edilmediğinden, ham, anonimleştirilmiş web sunucusu günlük analizi, aksi takdirde potansiyel olarak geçerli yasal düzenlemeler tarafından engellenmeden kalır.

Google Arama Konsolu Tarama istatistiklerine dayalı olarak bir dereceye kadar benzer içgörülerin mümkün olduğunu belirtmekte fayda var. Bununla birlikte, bu numuneler, kapsanan hacim ve zaman aralığı bakımından sınırlıdır. Yalnızca son birkaç ayı yansıtan verileriyle Google Search Console'un aksine, uzun vadeli SEO trendlerini ana hatlarıyla açıklayan net, büyük bir resim sağlayan yalnızca sunucu günlük dosyalarıdır.

Sunucu günlüklerindeki değerli veriler

Bir bot sunucuda barındırılan bir sayfayı her istediğinde, aşağıdakiler de dahil olmak üzere bir dizi veri noktasını kaydeden bir günlük örneği oluşturulur:

• İstekte bulunan istemcinin IP adresi.
• İsteğin tam zamanı, genellikle sunucunun dahili saatine bağlıdır.
• İstenen URL.
• İstek için HTTP kullanıldı.
• Yanıt durum kodu döndürüldü (ör. 200, 301, 404, 500 veya diğer).
• İstekte bulunan varlıktan kullanıcı aracısı dizesi (ör. Googlebot/2.1 gibi bir arama motoru bot adı).

Tipik bir sunucu günlük kaydı örneği şöyle görünebilir:

150.174.193.196 - - [15/Dec/2021:11:25:14 +0100] "GET /index.html HTTP/1.0" 200 1050 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)" "www.example.ai"

Bu örnekte:

• 150.174.193.196 , istekte bulunan varlığın IP'sidir.

• [15/Dec/2021:11:25:14 +0100] , isteğin yanı sıra saat dilimidir.

• "GET /index.html HTTP/1.0" kullanılan HTTP yöntemidir (GET), istenen dosyadır (index.html) ve kullanılan HTTP protokolü sürümüdür.

• 200 , döndürülen sunucu HTTP durum kodu yanıtıdır.

• 1050 , sunucu yanıtının bayt boyutudur.

• "Googlebot/2.1 (+http://www.google.com/bot.html)" , istekte bulunan varlığın kullanıcı aracısıdır.

• "www.example.ai" , yönlendiren URL'dir.

Sunucu günlükleri nasıl kullanılır?

SEO açısından bakıldığında, web sunucusu günlüklerinin benzersiz içgörüler sağlamasının üç ana nedeni vardır:

1. Googlebot, Bingbot veya YandexBot gibi meşru botlardan kaynaklanan istenen arama motoru bot trafiğinden SEO önemi olmayan istenmeyen bot trafiğini filtrelemeye yardımcı olmak.
2. Tarama önceliğine ilişkin SEO içgörüleri sağlamak ve böylece SEO ekibine tarama bütçe yönetimini proaktif olarak ince ayar yapma ve ince ayar yapma fırsatı sunar.
3. Arama motorlarına gönderilen sunucu yanıtlarının izlenmesine ve takip kaydının sağlanmasına izin verilmesi.

Sahte arama motoru botları can sıkıcı olabilir, ancak web sitelerini nadiren etkilerler. İstenmeyen bot trafiğini yönetmeye yardımcı olabilecek Cloudflare ve AWS Shield gibi bir dizi özel hizmet sağlayıcı vardır. Web sunucusu günlüklerini analiz etme sürecinde, sahte arama motoru botları ikincil bir rol oynama eğilimindedir.

Bir web sitesinin büyük arama motorları dışında hangi bölümlerine öncelik verildiğini doğru bir şekilde ölçmek için, bir günlük analizi yapılırken bot trafiğinin filtrelenmesi gerekir. Hedeflenen pazarlara bağlı olarak, odak noktası Google, Apple, Bing, Yandex veya diğerleri gibi arama motoru botları olabilir.

Özellikle içerik tazeliğinin önemli olduğu web siteleri için, bu sitelerin ne sıklıkta yeniden tarandığı, kullanıcılar için kullanışlılıklarını önemli ölçüde etkileyebilir. Diğer bir deyişle, içerik değişiklikleri yeterince hızlı bir şekilde alınmazsa, kullanıcı deneyimi sinyalleri ve organik arama sıralamalarının tam potansiyellerine ulaşması olası değildir.

Google, mevcut tüm bilgileri taramaya ve zaten bilinen URL modellerini düzenli olarak yeniden taramaya meyilli olsa da, tarama kaynakları sınırsız değildir. Bu nedenle, yüz binlerce açılış sayfasından oluşan büyük web siteleri için yeniden tarama döngüleri, Google'ın tarama önceliklendirme tahsis algoritmalarına bağlıdır.

Bu tahsis, özellikle hızlı bir deneyim için optimize edilmiş, güvenilir çalışma süresi, yüksek düzeyde yanıt veren web hizmetleri ile olumlu bir şekilde teşvik edilebilir. Bu adımlar tek başına SEO için elverişlidir. Bununla birlikte, yalnızca uzun bir süreyi kapsayan eksiksiz sunucu günlüklerini analiz ederek, tüm taranabilir açılış sayfalarının toplam hacmi arasındaki örtüşme derecesini belirlemek mümkündür; bu, tipik olarak daha az sayıda alakalı, optimize edilmiş ve dizine eklenebilir SEO açılış sayfasıdır. site haritası ve Google'ın tarama, dizine ekleme ve sıralama için düzenli olarak neye öncelik verdiği.

Teknik bir SEO denetiminin ayrılmaz bir parçası olarak böyle bir günlük analizi ve tarama bütçesi israfının derecesini ortaya çıkarmak için tek yöntem. Ve taranabilir filtreleme, yer tutucu veya yalın içerik sayfaları, açık bir hazırlama sunucusu veya web sitesinin diğer eski bölümleri, taramayı ve nihayetinde sıralamaları bozmaya devam ediyor. Planlı bir geçiş gibi belirli koşullar altında, genellikle geçiş için başarı ve başarısızlık arasındaki farkı yaratan, sunucu günlük analizi de dahil olmak üzere bir SEO denetimi yoluyla elde edilen içgörülerdir.

Ek olarak, günlük analizi, büyük web siteleri için kritik SEO bilgileri sunar. Google'ın tüm web sitesini ne kadar süreyle yeniden taraması gerektiğine dair bir yanıt sağlayabilir. Bu yanıt kesin olarak uzun sürerse - aylar veya daha uzun - dizine eklenebilir SEO açılış sayfalarının tarandığından emin olmak için işlem yapılması garanti edilebilir. Aksi takdirde, web sitesinde yapılan herhangi bir SEO iyileştirmesinin, yayınlandıktan sonra potansiyel olarak aylarca arama motorları tarafından fark edilmeme riski vardır ve bu da kötü sıralamalar için bir reçetedir.

Sunucu yanıtları, harika Google Arama görünürlüğü için kritik öneme sahiptir. Google Search Console, son sunucu yanıtlarına önemli bir bakış sunsa da, Google Search Console'un web sitesi operatörlerine sunduğu tüm veriler, temsili ancak sınırlı bir örnek olarak kabul edilmelidir. Bu, korkunç sorunları belirlemek için yararlı olsa da, bir sunucu günlük analizi ile, sıralamaları tehlikeye atabilecek nicel olarak alakalı 200 olmayan OK yanıtları da dahil olmak üzere tüm HTTP yanıtlarını analiz etmek ve belirlemek mümkündür. Olası alternatif yanıtlar, aşırıysa performans sorunlarının göstergesi olabilir (örneğin, 503 Hizmet Kullanılamıyor planlanmış kapalı kalma süresi).

nereden başlamalı

Sunucu günlük analizinin sunduğu potansiyele rağmen, çoğu web sitesi operatörü sunulan fırsatlardan yararlanmaz. Sunucu günlükleri ya hiç kaydedilmiyor ya da düzenli olarak üzerine yazılıyor ya da eksik. Web sitelerinin ezici çoğunluğu, herhangi bir anlamlı süre boyunca sunucu günlük verilerini saklamaz. Bu, rakiplerinin aksine, arama motoru optimizasyonu için sunucu günlük dosyalarını toplamak ve kullanmak isteyen tüm operatörler için iyi bir haber.

Sunucu günlük verilerinin toplanmasını planlarken, verilerin kullanılabilir olması için sunucu günlük dosyalarında en az hangi veri alanlarının tutulması gerektiğine dikkat etmek önemlidir. Aşağıdaki liste bir kılavuz olarak kabul edilebilir:

• istekte bulunan varlığın uzak IP adresi.
• istekte bulunan varlığın kullanıcı aracısı dizesi.
• istek şeması (örneğin, http veya https veya wss veya başka bir şey için HTTP isteği miydi).
• istek ana bilgisayar adı (örneğin, HTTP isteğinin hangi alt etki alanı veya etki alanı için olduğu).
• istek yolu, genellikle bu, göreceli bir URL olarak sunucudaki dosya yoludur.
• istek yolunun bir parçası olabilen istek parametreleri.
• tarih, saat ve saat dilimi dahil olmak üzere istek saati.
• istek yöntemi.
• yanıt http durum kodu.
• yanıt süreleri.

İstek yolu göreli bir URL ise, sunucu günlük dosyalarında genellikle ihmal edilen alanlar, ana bilgisayar adının ve isteğin şemasının kaydıdır. Bu nedenle, ana bilgisayar adı ve şemanın da sunucu günlük dosyalarına kaydedilmesi için istek yolunun göreli bir URL olup olmadığını BT departmanınızla kontrol etmeniz önemlidir. Kolay bir geçici çözüm, istek URL'sinin tamamını şema, ana bilgisayar adı, yol ve parametreleri tek bir dizede içeren tek bir alan olarak kaydetmektir.

Sunucu günlük dosyalarını toplarken, CDN'lerden ve web sitesinin kullanıyor olabileceği diğer üçüncü taraf hizmetlerinden kaynaklanan günlükleri dahil etmek de önemlidir. Günlük dosyalarının düzenli olarak nasıl çıkarılacağı ve kaydedileceği konusunda bu üçüncü taraf hizmetlerine danışın.

Sunucu günlük analizinin önündeki engellerin üstesinden gelmek

Sunucu günlük verilerinin acil olarak tutulması ihtiyacını karşılamak için genellikle iki ana engel öne sürülür: maliyet ve yasal kaygılar. Her iki faktör de nihai olarak bütçeleme ve yasal yargı yetkisi gibi bireysel koşullar tarafından belirlenirken, ikisinin de ciddi bir barikat oluşturması gerekmez.

Bulut depolama uzun vadeli bir seçenek olabilir ve fiziksel donanım depolamanın da maliyeti karşılaması muhtemeldir. 600 USD'nin altındaki yaklaşık 20 TB sabit disk için perakende fiyatlandırma ile donanım maliyeti ihmal edilebilir düzeydedir. Depolama donanımının fiyatının yıllardır düşüşte olduğu göz önüne alındığında, sonuçta depolama maliyetinin sunucu günlük kaydı için ciddi bir zorluk oluşturması pek olası değildir.

Ek olarak, günlük analiz yazılımıyla veya hizmeti sunan SEO denetim sağlayıcısıyla ilişkili bir maliyet olacaktır. Bu maliyetlerin bütçeye dahil edilmesi gerekirken, sunucu log analizinin sunduğu avantajlar ışığında bir kez daha haklı çıkarmak kolaydır.

Bu makale, SEO için sunucu günlük analizinin doğasında bulunan faydaları özetlemeyi amaçlasa da, yasal bir öneri olarak görülmemelidir. Bu tür hukuki tavsiyeler, yalnızca yasal çerçeve ve ilgili yargı yetkisi bağlamında nitelikli bir avukat tarafından verilebilir. GDPR/CCPA/DSGVO gibi bir dizi yasa ve yönetmelik bu bağlamda geçerli olabilir. Özellikle AB'den faaliyet gösterirken, gizlilik büyük bir endişe kaynağıdır. Ancak, SEO için bir sunucu günlüğü analizi amacıyla, kullanıcıyla ilgili herhangi bir verinin hiçbir önemi yoktur. IP adresine göre kesin olarak doğrulanamayan kayıtlar göz ardı edilecektir.

Gizlilik endişeleri ile ilgili olarak, doğrulamayan ve onaylanmış bir arama motoru botu olmayan günlük verileri kullanılmamalıdır ve bunun yerine ilgili yasal önerilere dayalı olarak belirli bir süre sonra silinebilir veya anonim hale getirilebilir. Bu denenmiş ve test edilmiş yaklaşım, en büyük web sitesi operatörlerinden bazıları tarafından düzenli olarak uygulanmaktadır.

Ne zaman başlamalı

Geriye kalan asıl soru, sunucu günlük verilerini toplamaya ne zaman başlanacağıdır. Cevap şimdi!

Sunucu günlük verileri yalnızca anlamlı bir şekilde uygulanabilir ve yeterli miktarda mevcutsa uygulanabilir tavsiyelere yol açabilir. Sunucu günlüklerinin kritik kütlesi SEO denetimleri için kullanışlılığı, bir web sitesinin ne kadar büyük olduğuna ve tarama önceliklendirme sinyallerine bağlı olarak, genellikle altı ila otuz altı ay arasında değişir.

Kaydedilmemiş sunucu günlüklerinin daha sonraki bir aşamada alınamayacağını unutmamak önemlidir. Bugün başlatılan sunucu günlüklerini tutma ve koruma çabalarının, ertesi yıl gibi erken bir tarihte meyve vermesi ihtimali vardır. Bu nedenle, sunucu günlük verilerinin toplanması mümkün olan en erken zamanda başlamalı ve web sitesi çalıştığı sürece ve organik aramada iyi performans göstermeyi amaçladığı sürece kesintisiz devam etmelidir.

Bu makalede ifade edilen görüşler konuk yazara aittir ve mutlaka Search Engine Land değildir. Personel yazarları burada listelenir.