Bir web sitesinin Google'da indekslenmesi, sayfaların önce taranması, sonra işlenmesi ve son olarak arama dizinine eklenmesi sürecidir. Yayına alınmış bir site otomatik olarak dizine girmez. Google'ın sayfayı bulması, okuyabilmesi ve dizine almaya uygun görmesi gerekir.
Yapay zekâ araçlarıyla üretilen sitelerde bu süreç sık aksar. Aksamanın kaynağı genellikle içerik kalitesi olmaktan çok teknik yapılandırmadır. Aşağıdaki akış, indekslemenin nasıl kurulacağını sırayla ele alır.
Taramanın önündeki engellerin kaldırılması
Tarama, arama motoru robotunun sayfayı ziyaret etmesidir. Önizleme ortamlarında üretilen siteler çoğu zaman robotlara kapalı gelir. Bu kapalılık iki yerden kaynaklanır. Birincisi robots dosyasındaki engelleme kaydı. İkincisi sayfa başlığındaki noindex etiketi.
Yayına almadan önce her iki ayarın da temizlenmesi gerekir. Bu ayarlar yerinde kaldığında site teknik olarak kusursuz olsa bile dizine giremez. Uygulamada en sık karşılaşılan indeksleme sorunu budur.
Search Console kaydı ve alan adı doğrulaması
Google Search Console, sitenin arama üzerindeki durumunu gösteren ücretsiz yönetim panelidir. Kurulum, mülk oluşturma ve sahiplik doğrulama adımlarından oluşur. Alan adı düzeyinde mülk oluşturmak tercih edilir, çünkü bu yöntem alt alan adlarını ve her iki protokolü birlikte kapsar. Doğrulama, alan adı sağlayıcısına eklenen bir TXT kaydıyla tamamlanır.
Site haritasının hazırlanması ve gönderilmesi
Site haritası, sitedeki adreslerin listelendiği bir XML dosyasıdır. Google'a hangi sayfaların bulunduğunu ve en son ne zaman güncellendiğini bildirir. Dosya site kökünde yer alır ve robots dosyasından da referans verilir.
Site haritasında dikkat edilmesi gereken üç nokta bulunur. Yalnız dizine girmesi istenen adresler listelenir. Yönlendirilen ya da hata veren adresler dışarıda bırakılır. Son güncelleme bilgisi gerçek değişiklikleri yansıtır.
Sayfaların sunucu tarafında oluşturulması
Arama motoru robotları sayfayı okurken JavaScript çalıştırma kapasitesi sınırlıdır. İçerik tarayıcıda sonradan oluşturuluyorsa robot boş bir sayfa görebilir. Bu durum, yapay zekâ araçlarıyla üretilen tek sayfa uygulamalarında sık görülür.
Çözüm, içeriğin sunucu tarafında ya da derleme aşamasında hazır HTML olarak üretilmesidir. Kontrol için sayfanın kaynak kodu görüntülenir. Metin kaynak kodda görünmüyorsa robot da göremez.
İlk taramanın hızlandırılması
Yeni bir sitenin taranması zaman alır. Süreci hızlandırmak için aşağıdaki adımlar uygulanır.
- Adres denetimi. Search Console içindeki URL denetleme aracıyla ana sayfa sorgulanır ve dizine ekleme talebi gönderilir.
- Öncelikli sayfalar. Ticari değeri yüksek sayfalar için aynı talep tek tek iletilir.
- Dış bağlantı. Sitenin adresi, kurumsal sosyal medya profillerine ve mevcut dizin kayıtlarına eklenir.
- İç bağlantı. Ana sayfadan alt sayfalara giden bağlantıların tamamı kurulur.
- Takip. Sayfalar raporu bir hafta sonra kontrol edilir ve hariç tutulan adreslerin gerekçesi okunur.
Sık karşılaşılan hariç tutma gerekçeleri
Search Console, dizine alınmayan sayfalar için gerekçe bildirir. Bu gerekçelerin okunması sorunun kaynağını doğrudan gösterir. Taranmadı gerekçesi genellikle iç bağlantı eksikliğine işaret eder. Kopya sayfa gerekçesi, aynı içeriğin birden fazla adresten sunulduğunu gösterir ve kanonik etiketle çözülür. Noindex etiketiyle hariç tutuldu gerekçesi, sayfa başlığındaki engelleme kaydının hâlâ yerinde olduğunu bildirir.
Kanonik adres ve kopya içerik
Kanonik etiket, aynı içeriğin birden fazla adresten sunulduğu durumlarda hangi adresin asıl kabul edileceğini bildirir. Yapay zekâ araçlarıyla üretilen sitelerde bir sayfaya çoğu zaman birden fazla yoldan erişilebilir. Sonundaki eğik çizgiyle ve onsuz, www ile ve www olmadan, büyük ve küçük harfle yazılmış adresler teknik olarak farklı sayfalar sayılır.
Bu çokluk giderilmediğinde arama motoru tarama bütçesini aynı içeriği tekrar tekrar okumak için harcar. Her sayfaya kendi asıl adresini bildiren bir kanonik etiket eklenmesi, bu dağılmayı önler ve dizine alma kararını hızlandırır.
Tarama bütçesi ve site büyüklüğü
Tarama bütçesi, arama motorunun bir sitede belirli bir sürede ziyaret ettiği sayfa sayısıdır. Yeni ve otoritesi düşük alan adlarında bu bütçe sınırlıdır. Bütçenin verimli kullanılması için değeri düşük sayfaların taramaya kapatılması önerilir. Filtre kombinasyonları, arama sonuç sayfaları ve yönetim panelleri bu gruba girer.
İndeksleme ile sıralama arasındaki fark
Dizine girmek, arama sonuçlarında üst sıralarda çıkmak anlamına gelmez. İndeksleme bir eşiktir ve sayfanın yarışa katılmasını sağlar. Sıralama ise içerik derinliği, kullanıcı davranışı ve alan adı otoritesi gibi ölçütlerle belirlenir. Yeni yayına alınan sitelerde bu iki kavramın karıştırılması gerçekçi olmayan beklentilere yol açar.
Teknik Temelin Dört Ayağı
Google'da indekslenme, doğru kurgulanmış teknik bir temel üzerinde kendiliğinden ilerleyen bir süreçtir. Robots ayarları, Search Console kaydı, site haritası ve sunucu tarafında oluşturulan içerik bu temelin dört ayağını oluşturur. Bu dört ayak kurulduğunda tarama birkaç gün içinde başlar.
Toganworks, markaların dijital görünürlüğünü marka stratejisinin bir uzantısı olarak ele alan stratejik marka danışmanlığı ofisidir. Arama görünürlüğünün marka konumlandırmasıyla ilişkisi dijital pazarlama rehberinde ayrıntılı biçimde incelenir.