Google'ı Engelleme

Google'ın arama sonuçlarında görünmesini istemediğiniz sayfalarınız veya başka içeriğiniz varsa bu konuda çeşitli seçeneklerden yararlanabilirsiniz.

• Sitenizde gizli içerik barındırmanız gerekiyorsa bu içeriği şifre korumalı bir dizine kaydedin. Googlebot ve diğer örümcekler bu içeriğe erişemez. Bu, Googlebot'un ve diğer örümceklerin sitenizdeki içeriği taramasını ve dizine eklemesini engellemenin en basit ve en etkili yoludur. Apache Web Sunucusu'nu kullanıyorsanız .htaccess dosyanızı, sunucunuzdaki dizini şifreyle koruyacak şekilde düzenleyebilirsiniz. Web'de, bunu kolayca yapmanızı sağlayacak pek çok araç bulabilirsiniz.


• Sitenizdeki dosya ve dizinlere erişimi kontrol etmek için bir robots.txt kullanın. robots.txt dosyası, elektronik bir "Dikkat Köpek Var" işaretine benzer. Googlebot'a ve diğer tarayıcılara, sunucunuzdaki dosya ve dizinlerden hangilerinin taranmaması gerektiğini bildirir.

  Bir robots.txt dosyası kullanmak için ana makinenizin köküne erişebilmeniz gerekir (emin değilseniz, web barındırıcınızdan bunu öğrenebilirsiniz). Alanınızın köküne erişiminiz yoksa, tek tek sayfalarda robots meta etiketini kullanarak erişimi kısıtlayabilirsiniz.

  Sitenizdeki içeriğin örümcekler tarafından taranmasını önlemek için bir robots.txt dosyası kullansanız bile Google sitenizi başka şekilde bulabilir ve dizine ekleyebilir. Örneğin başka siteler hala sitenize bağlantı verebilir. Sonuç olarak, sayfanın URL'si ve büyük olasılıkla herkesin kullanımına açık olan site bağlantılarındaki metin veya Açık Dizin Projesi'nden bir başlık gibi diğer bilgiler Google arama sonuçlarında görünebilir. Ayrıca, saygın robotların tümü bir robots.txt dosyasındaki yönergeleri gözetse de bazı robotlar yönergeleri farklı yorumlayabilir. Ancak, bir robots.txt dosyası dayatılamaz ve bazı spam göndericilerle diğer kötü amaçlı kişiler bu dosyayı göz ardı edebilir. Bu nedenle, gizli bilgilerin şifreyle korunmasını öneriyoruz (yukarı bakın).

  robots.txt dosyanızı Tarayıcı erişimi sayfasının Engellenen URL'ler (robots.txt)sekmesinde test edebilirsiniz.

• Belirli bir içeriğin arama sonuçlarımızda görünmesini engellemek için bir noindex meta etiketini kullanın. Bir sayfada noindex meta etiketi gördüğümüzde, Google söz konusu sayfayı, diğer sayfalardan o sayfaya bağlantı olsa bile, arama sonuçlarımızdan tamamen çıkarır. İçerik o sırada dizinimizde bulunuyorsa, dizini bir sonraki taramamızdan sonra içeriği kaldırırız. (Kaldırma işlemini hızlandırmak için Google Web Yöneticisi Araçları'nda URL'leri kaldır aracını kullanabilirsiniz.) Ancak diğer arama motorları bu yönergeyi farklı bir şekilde yorumlayabilir. Sonuçta, bu arama motorlarının arama sonuçlarında o sayfa için bir bağlantı görünmeye devam edebilir.

  noindex etiketini görmek için sayfanızı taramamız gerektiğinden, küçük bir olasılık da olsa, Googlebot noindex meta etiketini görmeyebilir ve bu durumda etiketi dikkate alamaz (örneğin, siz etiketi eklediğinizden beri sayfayı taramadıysak bu durumla karşılaşabiliriz).