Google Siteleri Nasıl Tarar ve İndeksler

Google bir siteyi tam olarak nasıl tarar?

Google bir siteyi, Googlebot adı verilen otomatik bir tarayıcıyla, bilinen URL'lerden başlayıp sayfa içindeki bağlantıları takip ederek tarar. Süreç kabaca üç aşamadan oluşur: keşif (crawling), işleme (rendering) ve dizine ekleme (indexing). Bu yazıda ağırlıklı olarak ilk aşamaya, yani tarama sürecine odaklanacağız; çünkü bir sayfa taranmadan ne işlenebilir ne de dizine eklenebilir. Kısacası tarama, organik görünürlüğünüzün başladığı yerdir ve Google nasıl tarar sorusunun cevabı doğrudan trafiğinizi etkiler.

Googlebot işe bir URL kuyruğuyla başlar. Bu kuyruk; XML site haritanızdan, daha önce keşfedilmiş sayfalardan, harici sitelerin verdiği bağlantılardan ve sitenizin iç bağlantı yapısından beslenir. Bot bir sayfayı çektiğinde HTML'i okur, içindeki <a href> bağlantılarını çıkarır ve bu yeni URL'leri kuyruğa ekler. Bu yüzden bir sayfaya hiçbir yerden bağlantı verilmemişse, Google'ın o sayfayı bulması neredeyse imkânsız hâle gelir. Pratikte 10.000 sayfalık bir sitede, ana menüden ve kategori sayfalarından hiç bağlantı almayan içerikler çoğu zaman aylarca keşfedilmeden kalır.

Googlebot her sayfayı çektikten sonra sunucunuzun verdiği yanıt koduna bakar. 200 yanıtı içeriğin alındığını, 301 kalıcı bir yönlendirmeyi, 404 ise sayfanın bulunamadığını gösterir. Botun gördüğü her yönlendirme zinciri veya kırık bağlantı, hem tarama kaynaklarını boşa harcar hem de keşif hızını yavaşlatır. Örneğin bir ürün sayfasına giden iç bağlantı önce 301, sonra tekrar 301 üzerinden hedefe ulaşıyorsa, Googlebot üç ayrı isteği bir sayfa için harcamak zorunda kalır.

Tarama tek seferlik bir olay değildir; Google sitenizi sürekli ve döngüsel olarak ziyaret eder. Sık güncellenen, sık bağlantı alan ve hızlı yanıt veren sayfalar daha sık taranır. Nadiren değişen, derinlerde gömülü ve yavaş açılan sayfalar ise haftalarca, hatta aylarca yeniden ziyaret edilmeyebilir. Bu ritmi anlamak, hangi sayfalarınızın Google gözünde "canlı", hangilerinin "unutulmuş" olduğunu görmenizi sağlar.

İç bağlantılar tarama sürecinde neden bu kadar belirleyici?

İç bağlantılar, Googlebot'un sitenizde dolaşırken kullandığı yollardır; bu yüzden tarama sürecinin belkemiğini oluştururlar. Bir sayfa ne kadar çok ve ne kadar güçlü iç bağlantı alırsa, Google o sayfayı o kadar önemli sayar ve o kadar sık ziyaret eder. Google nasıl tarar sorusunun en pratik cevabı burada gizlidir: bot, bağlantıların gösterdiği yolu izler ve bağlantı verilmeyen yere ulaşamaz. Dolayısıyla iç bağlantı mimariniz, doğrudan Googlebot'un yol haritasıdır.

İç bağlantılar aynı zamanda sayfalar arasında otorite aktarır. Buna çoğu zaman dahili PageRank denir: ana sayfanız ve en çok bağlantı alan kategori sayfalarınız en yüksek otoriteye sahiptir ve verdikleri her bağlantıyla bu değerin bir kısmını hedef sayfaya taşırlar. Örneğin ana sayfadan tek tıkla ulaşılan bir rehber sayfası, beş tık derinlikte gömülü bir sayfadan çok daha fazla dahili otorite alır ve çok daha hızlı taranıp dizine girer. Bu nedenle stratejik sayfalarınızı yüzeye yakın tutmak, taranabilirliği doğrudan artırır.

Bağlantı metni, yani anchor text, Google'a hedef sayfanın konusunu anlatır. "Buraya tıklayın" gibi anlamsız bağlantı metinleri Googlebot'a hiçbir bağlamsal ipucu vermezken, "kış lastiği bakım rehberi" gibi açıklayıcı bir metin hem kullanıcıya hem de bota sayfanın ne hakkında olduğunu net biçimde iletir. Tutarsız veya yanıltıcı anchor metinleri ise, Google'ın sayfayı yanlış konularla ilişkilendirmesine yol açabilir. Bu yüzden anchor metinlerinizin denetimi, çoğu sitenin gözden kaçırdığı önemli bir tarama optimizasyonudur.

İç bağlantı yapınızdaki sorunları gözle takip etmek, birkaç yüz sayfayı geçtiğinizde imkânsız hâle gelir. LinkJuice gibi bir araç, Screaming Frog taramanızı tarayıcıda analiz ederek dahili PageRank dağılımını, hangi sayfaların hiç iç bağlantı almadığını ve hangi anchor metinlerinin zayıf olduğunu görünür kılar. Bu sayede Googlebot'un sitenizi nasıl gezdiğini varsayım yerine veriyle değerlendirebilirsiniz.

Tarama derinliği nedir ve neden önemlidir?

Tarama derinliği (crawl depth), bir sayfaya ana sayfadan kaç tıklamayla ulaşıldığını ifade eder; bu sayı arttıkça sayfanın taranma olasılığı ve sıklığı genellikle düşer. Ana sayfa 0. derinlik kabul edilir; ana sayfadan bağlantı verilen sayfalar 1. derinlik, onlardan bağlantı alanlar 2. derinlik olur ve bu böyle devam eder. Google nasıl tarar açısından kritik nokta şudur: bir sayfa ne kadar derindeyse, Googlebot ona ulaşmak için o kadar çok ara adım atmak zorundadır ve o sayfa o kadar düşük öncelikli görünür.

Pratikte 3 tıktan daha derinde kalan sayfaların taranma ve dizine girme oranı belirgin biçimde düşer. Büyük bir e-ticaret sitesinde, kategori > alt kategori > sayfalandırma > ürün şeklinde kurgulanmış bir yapı, popüler ürünleri bile 5-6 tık derinliğe itebilir. Bu durumda, satışta en iyi performansı gösteren ürünler Google tarafından en seyrek taranan sayfalar hâline gelebilir; bu da güncel fiyat ve stok bilgilerinin arama sonuçlarına geç yansıması demektir.

Derinliği azaltmanın en etkili yolu, düz (flat) bir mimari kurmaktır. Önemli sayfalara ana sayfadan, gezinme menüsünden veya yüksek otoriteli merkez sayfalardan doğrudan bağlantı vererek onları yüzeye taşıyabilirsiniz. Örneğin en çok gelir getiren 50 ürünü ana sayfadaki bir "öne çıkanlar" bölümünden veya ilgili rehber içeriklerden bağlayarak, bu sayfaların derinliğini 5'ten 2'ye düşürebilir ve tarama sıklıklarını ölçülebilir biçimde artırabilirsiniz.

Tarama derinliğini düzenli olarak izlemek, sorunları büyümeden yakalamanızı sağlar. Bir crawl raporunda her derinlik seviyesindeki sayfa sayısına baktığınızda, sitenizin gerçek şeklini görürsünüz: sağlıklı bir sitede sayfaların çoğu ilk üç derinlik seviyesinde toplanır. Eğer binlerce sayfanız 5. derinlikten sonra başlıyorsa, bu Googlebot'un o bölgeye nadiren ulaştığının güçlü bir işaretidir.

Tarama bütçesi (crawl budget) gerçekte ne anlama gelir?

Tarama bütçesi, Google'ın belirli bir zaman diliminde sitenizde taramaya istekli ve muktedir olduğu sayfa sayısıdır. Bu bütçe iki bileşenden oluşur: tarama kapasitesi sınırı (sunucunuzun yorulmadan kaldırabileceği eşzamanlı istek miktarı) ve tarama talebi (Google'ın içeriğinizi ne kadar çok güncel görmek istediği). Küçük siteler için tarama bütçesi nadiren bir sorundur; ancak on binlerce URL'li sitelerde bu kavram doğrudan kaç sayfanızın gerçekten dizine girdiğini belirler.

Tarama bütçesini en çok israf eden şey, değeri olmayan URL'lerdir. Sonsuz filtre kombinasyonları, oturum kimlikli URL'ler, takvim sayfaları, kopya içerikler ve bitmek bilmeyen yönlendirme zincirleri, Googlebot'un kaynaklarını gerçek içeriğe ulaşmadan tüketir. Örneğin 5.000 gerçek ürün sayfası olan bir sitede, filtre parametreleri yüzünden 500.000 taranabilir URL kombinasyonu oluşmuşsa, Google zamanının büyük bölümünü işe yaramaz varyasyonlara harcar ve asıl ürün sayfalarınız geç taranır.

Bütçeyi korumanın yolu, Googlebot'u önemli olana yönlendirmek ve önemsiz olandan uzak tutmaktır. Düşük değerli URL'leri robots.txt ile engellemek, parametreli sayfaları kanonik etiketlerle birleştirmek, kırık bağlantıları ve yönlendirme zincirlerini temizlemek ve XML site haritanızı yalnızca dizine girmesini istediğiniz 200 yanıtlı sayfalarla sınırlamak bunun temel adımlarıdır. Bu temizlik, aynı sunucu kapasitesiyle Google'ın daha fazla değerli sayfaya ulaşmasını sağlar.

Tarama bütçesini doğrudan satın alamazsınız, ancak sitenizin teknik sağlığını iyileştirerek dolaylı olarak büyütebilirsiniz. Hızlı yanıt veren bir sunucu, Google'ın tarama kapasitesi sınırını yükseltir; güçlü iç bağlantılarla beslenen güncel içerik ise tarama talebini artırır. Yani sayfa hızınızı iyileştirmek yalnızca bir kullanıcı deneyimi meselesi değil, aynı zamanda Googlebot'un daha fazla sayfa taramasını sağlayan teknik bir kazançtır.

Yetim sayfalar ve tarama tuzakları taramayı nasıl sabote eder?

Yetim sayfalar (orphan pages), site içinde hiçbir iç bağlantı almayan ve bu nedenle Googlebot'un normal gezinmeyle ulaşamadığı sayfalardır. Bu sayfalar var olur, sunucuda durur, hatta tarayıcıda açılır; ama tarama yol haritasında görünmezler. Google nasıl tarar mantığını hatırlayın: bot bağlantıları takip eder, dolayısıyla bağlantısız bir sayfa onun için pratikte yoktur. Yetim sayfalar ancak site haritasında listelenirlerse veya harici bir bağlantı alırlarsa keşfedilebilir, o da çok zayıf bir taranma sinyali yaratır.

Yetim sayfalar genellikle sessizce birikir. Eski kampanya sayfaları, silinen kategorilerden artakalan ürünler, CMS göçleri sırasında bağlantıları kopan içerikler ve manuel olarak yüklenmiş ama hiçbir yere bağlanmamış sayfalar bunun tipik örnekleridir. Orta ölçekli bir sitede yapılan denetimlerde çoğu zaman yüzlerce yetim sayfa ortaya çıkar; bunların bir kısmı aslında değerli içeriktir ve sırf bağlantısız oldukları için organik trafikten tamamen mahrum kalmıştır.

Tarama tuzakları (crawl traps) ise tersi bir sorundur: Googlebot'u sonsuz sayıda anlamsız URL üreten döngülere sokarlar. Filtreli liste sayfaları, sonu gelmeyen takvimler, yanlış yapılandırılmış sayfalandırma ve oturum parametreleri, botun aynı içeriğin sayısız varyasyonunu taramasına yol açar. Bu tuzaklar tarama bütçenizi tüketirken, aynı anda gerçek içeriğinizin keşfedilmesini geciktirir; yani hem israf hem gecikme üretirler.

Bu iki sorunu da çıplak gözle bulmak zordur, çünkü ikisi de "görünmez" niteliktedir. Burada bir crawl analizi devreye girer: LinkJuice ile Screaming Frog taramanızı karşılaştırdığınızda, hangi sayfaların hiç iç bağlantı almadığını ve hangi URL desenlerinin kontrolsüz çoğaldığını net biçimde görebilirsiniz. Yetim sayfaları yeniden bağlamak ve tuzakları engellemek, çoğu sitenin en hızlı tarama kazançlarından birini sağlar.

Googlebot'un sitenizi verimli taraması için ne yapmalısınız?

Googlebot'un sitenizi verimli taraması için en temel ilke şudur: önemli her sayfaya net, mantıklı ve mümkün olduğunca kısa bir bağlantı yolu sunun. Bu, sağlam bir gezinme menüsü, anlamlı kategori yapısı ve ilgili içerikler arasında kurulan bağlamsal iç bağlantılarla başlar. Google nasıl tarar sorusunun cevabını içselleştirdiyseniz, atacağınız her adımın aslında "Googlebot'un bu sayfaya ulaşmasını kolaylaştırıyor muyum?" sorusuna hizmet ettiğini görürsünüz.

Teknik temeller de en az iç bağlantı kadar önemlidir. Güncel ve temiz bir XML site haritası sunun, robots.txt dosyanızın yanlışlıkla kritik bölümleri engellemediğinden emin olun, sunucunuzun hızlı ve kararlı yanıt verdiğini kontrol edin ve yönlendirme zincirlerini tek adımlı yönlendirmelere indirin. Örneğin üç basamaklı bir 301 zincirini doğrudan hedefe giden tek bir 301'e dönüştürmek, hem tarama kaynaklarını korur hem de aktarılan otoritenin sızmasını önler.

Bu çalışmayı sürdürülebilir kılmanın yolu, taramayı tahmin etmek yerine ölçmektir. Düzenli aralıklarla tam bir crawl çalıştırarak tarama derinliğini, yanıt kodlarını, yetim sayfaları ve anchor metin tutarlılığını izleyin. LinkJuice bu noktada tarayıcı içinde, hiçbir veri yüklemeden çalışarak Screaming Frog çıktınızdan dahili PageRank, yetim sayfa tespiti ve yönlendirme zinciri analizini çıkarır; böylece teknik kararlarınızı somut verilere dayandırırsınız.

Son olarak, taranabilirliği bir kerelik proje değil sürekli bir disiplin olarak görün. Siteniz büyüdükçe yeni yetim sayfalar oluşur, yeni yönlendirme zincirleri birikir ve derinlik sessizce artar. Ayda bir yapılan kısa bir tarama denetimi, bu sorunları küçükken yakalamanızı ve Googlebot'un sitenizi her zaman temiz, hızlı ve mantıklı bir yapı üzerinden taramasını sağlamanızı mümkün kılar. Tutarlı bir tarama hijyeni, uzun vadede organik görünürlüğünüzün en sağlam temellerinden biridir.