Sunucu kaynaklarını sömüren botlar / crawler | Blog ve Wolkanca

Daha önce kendi sunucusunda blog yazacak arkadaşlar için önerilerde bulunmuştum, kendi sunucunda bir WordPress blogu kurarak yazmak isteyen veya yazmayı sürdürenlerin bloglarının yazı, etiket, kategori vs. çoğaldıkça ve bunun yanında ziyaretçi trafiği yükseldikçe pişmiş tavuğun başına gelmeyenler onun başına gelebiildiğini bizzat yaşamış ve yazmıştım.

Buradaki blog maceramda 3 faklı hosting firması ile çalıştım, ilki Arif beyin Tescilet.net firması idi, bu firmada doğduk diyebilirim, ikincisi Dreamhost ve şu anda Seçkin Bey'in yönettiği Hostcin ile çalışıyoruz, mutluyuz.

Tecrübelerime dayanarak web sitelerinin sunucu kaynaklarını o siteye giriş yapan insanlardan çok crawler (indeksleyici) yani arama veya her neyse o şey onlara ait bot'lar sömürüyor diyebilirim.
Burada bu botları engellememiz tabiki mümkün diyebilirsiniz, fakat diğer taraftan Google, Yahoo, Msn gibi arama motorlarının botlarının veya sadece bloglar ve rss akışı olan siteler özel olan botları engeller isek bu sefer blogunuz oradan gelen ziyaretçilerden mahrum kalabilir. Engellemezseniz blogunuzun bulunduğu sunucunun tüm kaynakları bu botlar tarafından sömürülüp diğer okurlara ve hatta size blogsuz bir hayat kalabiliyor, ya hosting firmanız size "koçum bu seni kesmez daha büyük bir sunucu kirala" diyecek veya direk sizin blogunuzu veya hesabınızı kapatacaktır, o da olmadı bir diğer ihtimal siz ve ziyaretçiler dakikalarca blog sayfanızın açılışını beklemek zorunda kalacaksınız, çok keyifsiz bir hal alacaktır blog yazmak.

Tüm bunları yazmamdaki neden benim gibi bu problemlerle karşılaşacak arkadaşlara faydalı olmak, benim tavsiyem Google, Yahoo ve Msn harici diğer tüm arama motoru crawler larını engellemeniz, sunucunuzda iyi bir araştırma yapın ve istatistiklerden blogunuza en çok bağlantı yapılan ip adreslerini kontrol edip o ip adreslerinin hangi firmaya veya hangi ülkeye ait olduklarını tespit edin. Örneğin ip adreslerini araştırdığımda bu bloga Türkiye'den çok ABD kaynaklı ip adreslerinin bağlandığını keşfedince çok şaşırmıştım, bu ip adresleri tahmin edeceğiniz gibi Feedburner, Google vb. servislere ait idi.

Ben çok fazla robot engelledim bunların arasında en berbat olanı aşağıdaki, sizde sunucunuzda bir yavaşlık hissediyorsanız hemen istatistikleri konrol edebiliyorsanız edin veya hosting hizmeti veren firmanıza bu konuda danışın;

Twiceler crawls from the following IP addresses:
38.99.13.121 38.99.44.101 64.1.215.166 208.36.144.6
38.99.13.122 38.99.44.102 64.1.215.162 208.36.144.7
38.99.13.123 38.99.44.103 64.1.215.163 208.36.144.8
38.99.13.124 38.99.44.104 64.1.215.164 208.36.144.9
38.99.13.125 38.99.44.105 64.1.215.165 208.36.144.10
38.99.13.126 38.99.44.106

Kısacası kendi sunucunuzda blog yazacaksanız eğer sunucu kaynaklarını crawler lara, botlara ve kötü niyetli makinelere yedirmeyin, dikkatli olun ve her şeyi hosting firmasına bırakmayın, çünkü onlar çalıştıkları diğer yüzlerce web sitesi gibi sizin blogunuzuda sıradan bir site gibi görecektir, pek fazla ilgilenmeyecektir, oysa sizin blogunuz size özel ve sizin için önemlidir.

Bazen blogumuzla ilgilenemediğimiz zamanlar olabilir, böyle zamanlarda bir kaç girdi ekleyip ileri tarihe zamanlarız / planlarız. Bu ileri tarihe planlayıp yazdığımız girdiler biz blogumuzla ilgilenemediğimiz zamanlarda otomatik olarak bizim belirlediğimiz tarihlerde yayınlanır.

Bu şey WordPress de yazarken yazı tarih bilgisini düzenle diyerek yapılabiliyor, peki ya Blogger?

Blogger'da WordPress gibi sürekli geliştirilen bir servis elbette. Dünyanın en çok kullanılan, arkasında Google gibi bir devin olduğu bir servis olan Blogger da artık yazılarınızı ileri bir tarihe planlayabilirsiniz. Bunu yazı yazma ekranında yazınızı yazdığınız kısmın hemen altında bulunan "Yazı seçenekleri"nden istediğiniz tarihi belirleyerek yapabilirsiniz.

Böylece Blogger'da olmadığı söylenen ve Blogger kullanmayı istememe bahanesi olarak gösterilen bir maddeyi daha yok etmiş olduk.
Afiyet olsun. [via]
Yazının tamamını okuyun »

Bir blog yazarıysanız eğer aynı zamanda siz blog okurusunuz da. Bende bir çok blog geziyorum, bloglara göz gezdirirken en çok sıkıntı çektiğim durum, içeriği arka plana itebilecek kadar çok olan ıvır zıvır. Bu ıvır zıvırlar, genelde blogların yan menülerinde olan uzayıp giden şeyler olur veya daha farklı bir çok şey. Ben rss den veya bir arama vasıtası ile o içerik, o başlık için gelmişimdir o sayfaya ama sırf o içerik için gelmiş olmama rağmen bütün bu ıvır-zıvırla karşılaşmak zorunda bırakılmışımdır. Bu büyük bir hatadır, bloglarda okurun içeriğe ulaşması ya da başka bir deyim ile okurun konforu her zaman ön planda olmalıdır, okur rss akışından, bir arama sonucundan o başlığa geldiğinde var olan, okurun geldiği görmek istediği içeriği gölgede bırakacak kadar fazla ıvır zıvır olmamalıdır. Bu şekilde hem okuru yormamış ona konforlu bir blog seyahati sunmuş oluruz, hem de Google vb. gibi arama motorlarının da gerçek içeriğinizi daha değerli kılar ve sonuçlarını görürsünüz.


Yazının tamamını okuyun »

Bu tarz Blog ahkamlarını daha önce çok defa kestik. Çoğu aslında yabancı kaynakların Türkçeye çevrilmesiydi, tabi üzerine kendi yorumlarımızı da eklemeyi unutmadık. BlogOhblog isimli blogun yazarı Jai oturmuş ve bizim için popüler bir blog için kendince 50 madde sıralamış;
Yazının tamamını okuyun »

Blogosfer, blog camiası veya bloglar alemi, ya da her neyse o şey, bu alemde alıntılara takan blogger(blogcu) lara üzülüyorum. Bir blogger yazdıklarının başkaları tarafından alıntılanmasından neden kaygılanır ki? Ortalamaya göre eski bir blogger olarak bana çok saçma geliyor bu kaygı ve inanın 3 yıl önce beni tanıyan birine sorun şu an ne düşünüyorsam o zamanda aynısını düşünüyordum. Bana göre bir blogger yazdıklarının başka bloglarda yayınlanmasına üzülmek bir yana bundan keyif duymalı, çünkü zaten sizin yazdıklarınız özde sizden bir şeyler taşıyorsa, daha doğrusu üslup ve tarz olarak size özel, size ait ise bu nerede yayınlanırsa yayınlansın sizindir, bunu olduğu gibi yayınlayan varsa ve kendi yorumunu getirmemiş ise bu içeriğe, o işi yapan bir zaman sonra sıkılacak ve devam edemeyecektir, internet tarihinin sayfalarında gömülüp kaybolacaktır. Oysa siz ve o yazınız o etik olamayan alıntı işini yapan arkadaşın da yardımı ile internette veya blog okurlarının aklında kalacaksınızdır.
Alıntı sadece bloglara özel bir şey değildir, alıntı diğer yazılı meslek alanlarında, medyada, basında vb. bir çok alemde vardır, kötü bir şey asla değildir, sadece yöntemi tartışılabilir.
Bir blogcu arkadaş tam da benim aklımda olan belki bir vakit yazmak istediğim bir konu hakkında benim gibi düşünmüş ve yazmış diyelim, şimdi ben bu konuda yazmaktan vazgeçmeli miyim? Hayır. Ben bu arkadaşın beğendiğim yazısını, fikrini, onun üzerine kendi yorumumu getirip yazabilirim. Yani MÖ. 427-347 yılları arasında yaşamış Plato KARANLIKTAN KORKAN BİR ÇOCUĞU KOLAYLIKLA HOŞ GÖREBİLİRİZ. YAŞAMDAKİ ASIL TRAJEDİ, YETİŞKİNLERİN AYDINLIKTAN KORKMASIDIR. demiş ise benim suçum ne? Benim tek şansızlığım ya da Plato nun şansı benden önce yaşamış olması, Plato bunu demeseydi mutlaka birileri derdi, kimse dememiş olsaydı ben derdim. Plato ya katılmakla birlikte bunun üzerine bir şeyler ekleme hakkım yok mu? Elbette var. İşte alıntı mevzusu ile blogculuğa felsefik bir yaklaşımda daha bulunmuş oldum böylece.

Yazının tamamını okuyun »

Bloglar hızla gelişiyor, buna dünyada Blogosfer / Blogosphere deniyor. Okurlar, blog yazarlarına gün geçtikçe dergi veya gazetedeki bir köşe yazarı ile aynı gözle bakıyor, örneğin benim ve arkadaşlarımın yazdığı bu blogu yüze yakın blog okurum bir dergi gibi gördüklerini belirtiyorlar. Blog yazmak veya, genel anlamda okurlara yönelik yazmanın tabiki belli prensipleri var, öncelikle yazmak için çok iyi bir okur olmamız şart, yazarken kullanabileceğimiz, deyim yerindeyse okurun anlamasını istediğimiz şeyi tam iki gözünün ortasından vurabilecek kelimeler veya sözleri edinmek için en iyi kaynak, en iyi yöntem veya belkide tek yol okumaktır. Ne kadar çok okuyan biriysek o kadar etkili yazılar yazabiliriz. Tabii ki bu bir yöntem ve birazdan aşağıda Tükçe çevirisini okuyacağınız şu arkadaşın sıraladığı 15 maddelik ip ucu gibi bir öneridir, asıl kuralı, asıl kendine has yöntemi siz belirleyeceksinizdir. Benim aşağıda sıralanmmış kurallara ekleyebileceğim veya katkıda bulunabileceğim bir şey varsa, o da samimyetdir, samimi ve satır aralarında espirili bir dil kullanırsanız eğer, okur o uzun kasfetli yazıdan korkmayacak, ondan keyif alacaktır, ve hoşuna giderse zaten bir sonraki yazıyı merakla bekleyecektir. Hata yapmaktan korkmayın, birileri yazdıklarınızı okuyorsa ancak sizin yazdığınız yazının biçimsel hatalarını bilebilir, okumazsa bunu bilemez, bu yüzden onları, hatalarınızı size bildiren okurlarınızı sevin.

İşte iyi bir yazar olmak için 15 ipucu; / 15 Fantabulous Tips to Better Writing

Yazının tamamını okuyun »

Bloglarla ilgili okuyan, yazan biriyseniz hemen her blogda bu tarz mimleşme vakaları ile karşılaşmışınızdır. Bloglar arasında bu mim denen olay kısaca, bir blogger ın blogunda bir konuda yazdıktan sonra bu konuyu yorumlaması için başka bir blogger ın blogunu hedef göstermesidir diyebiliriz. Bloggerlara göre değişen mim anlayışı tabiki var, birine göre bu sadece teknik açıdan bloguna backlink alarak arama motorları nezdinde faydalı olması, diğerine göreyse arkadaş kazanma, tanışma kaynaşma veya daha bir çok farklı yorum getirilebilir. İşte şu anda okuduğunuz mim bu konu üzerine bir mim, ben şimdi kendi mim anlayışımı, bana göre mim nedir onu yazmaya çalışacağım.
Dünkü yazımı bir alışveriş merkezinde yazdım, şu anda da Yeşilyurt da bir börekçideyim az önce kahvaltımı yaptım ve sigaramı tüttürürken bu yazıyı yazmaya çalışıyorum, yazımda hatalar olursa şimdiden affola, daha müsait bir zamanda bunları düzeltirim.
Bana göre mim tek kelime ile "kaynaşmadır". Bloglar ve onların okurları arasında bir dönüşümü hedefler, bir blogun okurları o mim ile mimlenmiş ve mimlemiş blogları da tanır bu sayede okurlar arası bir dönüşüm, çok verimli bir okurlar, yazarlar, bloglar arası kaynaşma oluşur. Bloglar arası mimler ile birlikte tabiî ki arama motorlarında dürtmüş oluruz fakat asıl amaç tabiki bu değildir, bu sadece faydalarından biri olabilir. Bir diğer durum, bloggerlar, blogcular arasındaki arkadaşlık ve dostluğun pekişmesi mimleyen blogun mimlediği blogun yazarının o konuda ne düşündüğünü merak etmesi ve mim sayesinde merakını gidermesidir. Toplumumuzun çoğu kesimi tarafından internet hala asosyalleştiren bir iletişim biçimidir, bunun yanlış hatalı bir kanı olduğunu belirginleştiren, altını çizen en etkili araçlardan biri de bloglardır. Bloglar ile gelişen iş ilişkileri, verimli iş sohbetleri, ortaklıklar, arkadaşlıklar ve hatta evliliğe bile giden ilişkiler, toplumumuzun büyük kesiminin interneti öcü olarak görmesinin ne kadar hatalı bir düşünce olduğunu ziyadesiyle ortaya koyuyor.

Yazının tamamını okuyun »

WordPress blogunda standart title da sayfaları değiştirdiğinizde sayfa numaraları gösterilmez bütün sayfalarda kategori, etiketler dahil <title>kategori/etiket - blog adı</title> olarak görünür.
Sayfalar değişince titile da sayfa numaralarını aşağıdaki kodu kullanarak gösterebiliriz. Örnek: . Aşağıdaki örnek kod da değiştirebileceğiniz yerleri italik yaptım.

<?php $sayfano = get_query_var('paged'); if ($sayfano) { echo "Sayfa: $sayfano // "; } ?>

blog.wolkanca.com’un titile şu şekilde;

<title><?php $sayfano = get_query_var('paged'); if ($sayfano) { echo "Sayfa: $sayfano // "; } ?><?php if (is_tag()) { ?><?php single_tag_title(); ?><?php echo ' | '; ?><?php bloginfo('name'); ?><?php } else { ?><?php wp_title(''); ?><?php if(wp_title('', false)) { echo ' | '; } ?><?php bloginfo('name'); ?><?php } ?> <?php if ( is_home() ) { ?>- işim gücüm blog!<?php } ?></title>

Yazının tamamını okuyun »

Bir iş veya bir hobi olsun, hayatta yaptığım her şeyin en iyisini yapmaya çalışmak benim prensibimdir. Hobi olarak blog yazıyorsunuz diye bunun en iyi olmasını istemek kötü bir şey değil, en iyi derken özen gösterip, insanların beğenisine bir şeyler yapmaktan bahsediyorum. Satranç oynamak beni hobimdir, hobi olması satranç oynamamı önemsizleştirmiyor, aksine arkadaşlara yenilmemek için daha çok çalışıyorum, belki mesleki alanımdan çok her fırsatta satranç oynayıp alıştırma yapıyorum. Blog da öyle, blog yazmak satranç oynamaktan daha kolay hatta, yapman gereken sadece canın istediğinde yazmak, ama iyi yazmak.
Blogların bir takım yerlerde sıralamaya konmasından hoşlanmayan biriyim, çünkü bu sıralamaları yapanlar bizim çok önem verdiğimiz bu hobimizden çok anlamayan, blog yazmanın ve okumanın zevkini almayan kişiler, bu kişiler blog yazsa da bir yazımda bahsettiğim gibi beyaz blog yazanlardır. Oysa blogosferin gerçek blogcuları bildiğiniz gibi siyah blogculardır.

Blogları en iyiden, kötüye sıralamayı yapan zihniyetleri esefle kınıyorum hiç tasvip etmiyorum, motive edici de olsa bu sıralamalar esasında blog yazarına hiç bir fayda sağlamaz, asıl amaç bir şeyler yazmak ve yazdıklarının ciddiye alındığını, okunduğunu görmek ise eğer, bu sırlamalarda bulunup o sıralamayı yapan kişi veya kişiler tarafından üst sıralarda olmanın bir anlamı yok. Ben sıralamada olmak için yazmıyorum ki? Sıralamaların anlamı yok yani, kısaca. İllaki bir sıralama olacaksa bu da sizin gibi sizin alanınızda yazan blogcular arasında olabilir, ama bu sıralamada öyle en iyiden kötüye değil daha farklı bir biçimde olmalı.
Blogculara bu sıralamalar hakkında bir uyarım var, arkadaşla bu tür sıralamalar sizin yani blogcuların, blogların potansiyelini kullanarak rant, para her neyse o şey onu kazanma amacı taşıyor, bun alet olmayın, o sıralamada olmamanız ya da o sıralamada sizi alt sıralara layık gördüler diye de üzülmeyin, burnunuzun dikine gidin, bildiğiniz yoldan şaşmayın, yazın abi, belki gün gelir sıralama yapan kuruma siz sıralarsınız kelimelerinizi yazdıklarınızla ve bu büyük etki eder [bknz]
Yazının tamamını okuyun »

Extended Comment Options eklentisi, esasında geçen bir yazımda bahsettiğim o manuel oalrak yaptığım tüm yazıları trackback (geri izleme) ve yorumlara kapatma dalgasını otomatik ve daha ayrıntılı ayarlarla yapabilmemize olanak tanıyan bir eklenti. Elbette bu eklentiye ihtiyaç duyan bir blog yazarı benim gibi çok uzun süredir yazan bir bloggerdır.
Extended Comment Options eklentisi ile blogumuzdaki istediğimiz tarih aralığındaki yazıları yorumlara ve geri izlemelere bir tık ile kapatmamız veya bit tık ile açmamız mümkün. Eklenti hakkında daha uzun bilgi ingilizce olarak geliştirici arkadaşın blogunda yazılı. [via]
Yazının tamamını okuyun »