‘Dreamhost’ olarak etiketlenmiş içerik

Sunucu kaynaklarını sömüren botlar / crawler

09 Mart 2008 tarihinde, Blog kategorisinde wolkanca yazdı, 5 adet yorum yapıldı. »

Daha önce kendi sunucusunda yazacak arkadaşlar için önerilerde bulunmuştum, kendi sunucunda bir blogu kurarak yazmak isteyen veya yazmayı sürdürenlerin bloglarının yazı, etiket, kategori vs. çoğaldıkça ve bunun yanında ziyaretçi trafiği yükseldikçe pişmiş tavuğun başına gelmeyenler onun başına gelebiildiğini bizzat yaşamış ve yazmıştım.

Buradaki maceramda 3 faklı firması ile çalıştım, ilki Arif beyin Tescilet.net firması idi, bu firmada doğduk diyebilirim, ikincisi Dreamhost ve şu anda Seçkin Bey'in yönettiği Hostcin ile çalışıyoruz, mutluyuz.

Tecrübelerime dayanarak web sitelerinin kaynaklarını o siteye giriş yapan insanlardan çok (indeksleyici) yani arama veya her neyse o şey onlara ait 'lar sömürüyor diyebilirim.
Burada bu botları engellememiz tabiki mümkün diyebilirsiniz, fakat diğer taraftan , Yahoo, Msn gibi arama motorlarının botlarının veya sadece bloglar ve rss akışı olan siteler özel olan botları engeller isek bu sefer blogunuz oradan gelen ziyaretçilerden mahrum kalabilir. Engellemezseniz blogunuzun bulunduğu sunucunun tüm kaynakları bu botlar tarafından sömürülüp diğer okurlara ve hatta size blogsuz bir hayat kalabiliyor, ya firmanız size "koçum bu seni kesmez daha büyük bir kirala" diyecek veya direk sizin blogunuzu veya hesabınızı kapatacaktır, o da olmadı bir diğer ihtimal siz ve ziyaretçiler dakikalarca sayfanızın açılışını beklemek zorunda kalacaksınız, çok keyifsiz bir hal alacaktır yazmak.


Sunucu kaynaklarını sömüren botlar crawler

Tüm bunları yazmamdaki neden benim gibi bu problemlerle karşılaşacak arkadaşlara faydalı olmak, benim tavsiyem , Yahoo ve Msn harici diğer tüm arama motoru larını engellemeniz, sunucunuzda iyi bir araştırma yapın ve istatistiklerden blogunuza en çok bağlantı yapılan adreslerini kontrol edip o adreslerinin hangi firmaya veya hangi ülkeye ait olduklarını tespit edin. Örneğin adreslerini araştırdığımda bu bloga 'den çok kaynaklı adreslerinin bağlandığını keşfedince çok şaşırmıştım, bu adresleri tahmin edeceğiniz gibi , vb. servislere ait idi.

Ben çok fazla robot engelledim bunların arasında en berbat olanı aşağıdaki, sizde sunucunuzda bir yavaşlık hissediyorsanız hemen istatistikleri konrol edebiliyorsanız edin veya hizmeti veren firmanıza bu konuda danışın;

Twiceler crawls from the following addresses:
38.99.13.121 38.99.44.101 64.1.215.166 208.36.144.6
38.99.13.122 38.99.44.102 64.1.215.162 208.36.144.7
38.99.13.123 38.99.44.103 64.1.215.163 208.36.144.8
38.99.13.124 38.99.44.104 64.1.215.164 208.36.144.9
38.99.13.125 38.99.44.105 64.1.215.165 208.36.144.10
38.99.13.126 38.99.44.106

Kısacası kendi sunucunuzda yazacaksanız eğer kaynaklarını lara, botlara ve kötü niyetli makinelere yedirmeyin, dikkatli olun ve her şeyi firmasına bırakmayın, çünkü onlar çalıştıkları diğer yüzlerce web sitesi gibi sizin blogunuzuda sıradan bir site gibi görecektir, pek fazla ilgilenmeyecektir, oysa sizin blogunuz size özel ve sizin için önemlidir.

Eğer kendi sunucunuzda blog yazcaksanız

31 Ocak 2008 tarihinde, Blog, internet kategorisinde wolkanca yazdı, 27 adet yorum yapıldı. »

Ücretsiz kullanılabilen servisleri, Blogger, Wordpress.com, Blogcu vb. hizmetleri kullanmaktansa kendi sunucunuza bir WordPress kurup ciddi ciddi tutmaya karar verdiyseniz ve eğer yazmayı ciddiye alıyor, önem veriyorsanız bu işe veya hobiye o halde sizin için en önemli husus hostingdir. İlk zamanlarda satın aldığınız veya sponsor olarak temin ettiğiniz web paketi tabiî ki yeterli gelecektir, ama iş büyümeye başladığında, blogunuzda bulunan yazı sayısı, yorum sayısı, üye sayısı ve gün geçtikçe artan ziyaretçi saysı sayesinde artık hiç bir paketi sizin blogunuza yetmeyebiliyor (: Tıp ki benim bu blogum gibi. Geçen günkü gibi yine Dreamhost firması bir uyarı göndererek ..com blogunun sunucularının kaynaklarını tamamen tükettiğini, diğer müşterilere hizmet veremez hale geldiklerini bu yüzden hesabımı kapatmak zorunda kalacaklarını yazmışlardı bana ve bildiğiniz gibi 2 gündür bloga erişemiyorsunuz bloglarının en büyük dez avantjı, otu boku veritabanından çekmesi, girdiler, yorumlar, etiketler, üyeler çoğaldıkça bu Mysql sorguları baş döndürücü bir şekilde fazlalaşıyor dolayısıyla blogun bulunduğu sunucudaki işlemciyi, ram i resmen sömürüyor. Nankörlük gibi olmasın ama 1 senedir çektiğim şu problemlerini yazmaya başladığımda bilseydim, veya tahmin etseydim asla te yazmazdım. gibi bir servis dururken şu anda kendi sunucusuna kurup yazan kişi bana göre çok büyük hata yapıyor, ileride çok pişman olabilir aynen benim gibi.
(more…)

Dreamhost beni kovdu

04 Ocak 2008 tarihinde, Blog, Wolkanca kategorisinde wolkanca yazdı, 36 adet yorum yapıldı. »

DreamhostDün gece çok erken ve huzurlu yattım havada bir hayli soğuktu kar başlamış öyle güzel uyumuşum ki sorma gitsin (: Sabah tabiki erkenden kalktım ve her zamanki gibi ilk iş kahvemi alıp Outlook u gönder al yapıp elektronik postalarımı kontrol edeyim dedim. Aboow ne göreyim, sayısı 10 dan fazla arkadaş "volkan olm senin yok lan", "şişş blogu naaptın" gibi postaları görünce, dedim yine bir şeyler oluyor. Dreamhost dan Justin ki Justin'in kadın mı erkek mi gerçek mi robot mu olduğunu bilmem (: sadece da bir yetkili yakinen tanımam yani, Justin'in postasını gördüm ve okumaya başladım, şöyle yazmış;

Hello, I wrote you 2 days ago about your adtabase wp_yeni, today again it was causing huge server issues. This database is disabled, you must find more powerful for your busy database. If you do not have a backup you can write me at justin@.com.

Ve ben alelacele paneline gidip veritabanıma nooldu lan! Diyerek gittim ne göreyim veritabanı yok (: Herfiler illah etmiş benden ve geçenlerde yorumlara kapamamı istedikleri gibi bu sefer blogu komple kapamamı istememişler direk kapatmışlar. Dediklerine göre ..com un veritabanı iflah olmaz bir işlemci canavarı ve kısaca şunu demişler biz sana yetmiyoruz Volkan, git kendine daha güçlü bir makine al. Daha sonra ben onlara şöyle bir cevap yazdım, lütfen veritabanının yedeğini bana gönderin ve bir süre verin bana vs. Ondan sonra bana Justin den gelen cevap şöyleydi;

The website coding, database, etc as per our terms of service is the responsibility of the customer. Being shared we can only offer so much CPU, memory and service for the shared , and when a customer starts to use more than their fair share of resources we must have this be fixed by the customer or the database/site/ must be moved to more powerful . This database has caused problems the last 2 days, it is very busy, inefficient and it is causing most of the server resources. It is too busy and big to work on shared . I have provided you a backup of the database in the ftp directory "" called wp_yeni.sql. Please look into more powerful . We do not offer any more powerful but our partner .com does or there are many other companies doing VPS and dedicated.

WorPress.Com  - wolkanca2 yedek
(more…)