Cara Setting Robots.txt di Blogger dan Webmaster 2012

Kalian mungkin para blogger sudah tahu yang namanya Robots.txt, dan mungkin sudah menggunakannya. Tetapi alangkah baiknya kalian perhatikan lagi dan cek kembali apakah settingan Robots.txt-nya sudah benar apa belum.
Apabila kita salah Setting dengan yang satu ini maka FATAL akibatnya, karena apabila kalian salah setting maka Blog/Situs kalian akan MENGHILANG dari INDEKS Search Engine, baikGoogle, Altavista, Yandex, Bing, dll.
Namun apabila tidak disetting Robots.txt juga ada pengaruhnya, seperti Indeks yang lamban, dan Search Engine tidak terlalu mempertajan Referernya.

Ingat! Cara yang saya tampilakan harus diperhatikan benar-benar, karena APABILA SALAH,FATAL AKIBATNYA pada Blog/Situs kalian. Ini sudah diperingatkan saat kalian akan melakukan setting nanti :

Baca pesan diatas benar-benar, karena apabila terjadi kesalahan saya tidak dapat berlaku apa-apa.

Baiklah langsung kita masuk ke Tutorial. Ini hanya ada pada Blogger New Interface. Dan saya harap semuanya sudah menggunakan New Interface tersebut.

1. Setting pada Blogger

Masuk ke Setting > Search Preferences :

Click image For complete view

Pada "Custom robots.txt" klik Edit. Kemudian masukan teks berikut : Tulislah agar tidak salah point.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Allow: /

Sitemap: www.alamatsitus/blogkamu.com/feeds/posts/default?orderby=updated

teks yang berwarna kuning diatas gantilah dengan alamat Situs/Blog kamu. Apabila Situs/Blog kamu menggunakan domain berbayar seperti com, net, org, dll, maka masukan dengan menggunakan "www" tanpa "http://" tapi apabila menggunakan domain gratis seperti blogspot, maka tulis tanpa "www" tetapi menggunalan "http://".

Lalu pastekan pada kotak yang tersedia disana, sehingga akan tampak seperti ini:

Click image for complete view

Lalu klik "Save"

Maka langkah setting di blogger selesai.

2. Setting pada Webmaster

Silakan pergi menuju Webmaster Google kamu (versi bahasa Indonesia), Langsung klik pada tab "Kesehatan" > "URL yang Dicekal". Maka akan ada dua kotak seperti gambar dibawah, lalu pastekan lagi teks Robots.txt tadi pada kotak yang atas :

Click image for complete view

Kotak yang kedua (dibawah) kamu isi dengan URL yang dicoba, disini saya memasukan URL saya sendiri yaitu : http://unlimitsoft.blogspot.com karena apabila mencoba dengan URL yang lain hasilnya nihil dan sudah saya coba.

Pada Agen-Pengguna : Silakan pilih yang mana saja, disini saya menggunakan Googlebot Mobile.

Kalau sudah kamu masukan keduanya, Klik tombol "Tes". Maka hasil yang saya peroleh adalah :

Click image for complete view

URL saya telah diindeks oleh Googlebot dan Googlebot Mobile. Apakah ini berarti robots.txt telah berhasil?           

Untuk memperjelas apakah robots.txt ini mengindeks dan mengizikan blog/situs dalam pencarian maka saya mencoba cek dengan salah satu tools SEO, dan hasilnya seperti ini :

Ini adalah teks robots.txt yang kita gunakan tadi :

Click image for complete view

Dan ini hasil untuk teks setting robots.txt diatas :

Click image for complete view

Maka selesailah sudah dengan ini setting Robots.txt pada Blogger dan Webmaster. Semoga ini bisa dipelajari oleh para pengguna Blogger baru, dan lebih teliti lagi juga lebih memperhatikan efek-efeknya.

Sekali lagi, pasanglah Robots.txt apabila kalian sudah mahir dengan bahasa-bahasa rahasia ataupun teks, md5, script, hash, dll. Misalkan pada teks robots.txt disana tertulis :

"User-agent: *"  dan ada juga  "Allow: /" 

Tanda yang saya beri warna merah seperti bintang (*) adalah supaya semua diperbolehkan akses/indeks secara global. Sedang slash (/) supaya melakukan blok tertentu atau indeks. Itupun sepengetahuan saya, apabila ada kesalahan silakan dibenarkan diform komentar, karena saya juga bukan manusia yang tahu. (red)

Sumber :http://unlimitsoft.blogspot.com