User Agent | Blog ve Wolkanca

Ücretli siteler ya da üyelik gerektiren sitelerin bir çoğu Google arama motoruna ayrıcalık tanırlar ve bu sayede Google örümceği üye olmadan tüm siteyi tarar. Bu ücretli özel içeriği biz normalde siteye girdiğimizde göremeyiz, üye olmalı ya da parasını ödemeliyiz. Şimdi aşağıda okuyacağınız yöntemle internet tarayıcınızı Googlebot olarak tanıtıp (user agent) nasıl ücretli ve üyelik gerektiren siteleri sömürebileceğimiz öğreneceğiz.
Öncelikle her zaman tavsiye ettiğimiz gibi Firefox tarayıcının bu iş en iyi seçenek olduğunu belirteyim ve tabiki tüm tarayıcılarda da olabilir ama öncelik Firefox diyorum.
User Agent nedir onu da açmak gerekirse kısaca giriş yapılan siteye kimin giriş yaptığı hakkında bilgi veren bir sistem. Bizde bu User Agent değeri ile oynayıp yani değiştirip ücretli, üyelik gerektiren sitelerin Googlebot’a verdiği ayrıcalıkları, kendi User Agent değerimizi değiştirip o siteyi sömürmek için kullanacağız.
(more…)

Arama motorlarında üst sıralarda çıkmak ile ilgili çok yerde makaleler yazılır ama bu arama motorlarında indexlemeyi yapan örümcekler ( web robotları) hakkında fazla yerde bilgi yok. Bir arkadaşımın bu açığı görerek yazdığı makaleden aynen buraya aktarıyorum. Ayrıca arama motorlarında hedeflenen kelimelerde üst sıralarda çıkmak yani seo ile ilgili yazılarımıda blogda okuyabilirsiniz.

Web’in dinamik yapılı içeriğini otomatik olarak tekrar tekrar dolaşan ve bunları veritabanlarında tutan programlara Web robotları yada Arama motoru örümcekleri diyoruz. Web tarayıcıları robot değillerdir. Web robotlarından bazı yerlerde Web Wanderers, Web Crawlers veya Spiders olarak da sözedilmektedir. Robotların siteleri gezerken bir virüs gibi kendilerini gezdikleri serverlara kopyalayıp zarar verdikleri düşünülmektedir. Oysa robotlar birer virüs değildir. Sadece ziyaret ettikleri sitenin bilgilerini almakla görevlidirler. Şu adres mevcut tüm robotların listesini göstermektedir.
(more…)