Thursday, June 20, 2013

Penjelasan dan Cara Setting Custom Robot.txt di Blogger

Penjelasan dan Cara Setting Custom Robot.txt di Blogger
Penjelasan dan Cara Setting Custom Robot.txt di Blogger - Robot.txt di blogger (Blogspot) hanyalah berupa virtual file yang dapat disetting melalui pengaturan secara OnPage, karena kita tidak diberikan akses ke root direktory seperti pada blog atau situs yang menggunakan self hosting. Fungsi dari robots.txt ini adalah untuk mengoptimasi search engine (SEO) halaman blogger yang termasuk di dalamnya postingan, archived dan homepage sehingga postingan bisa terindeks lebih akurat di search engine, atau bisa diibaratkan rambu lalulintas bagi crawler mesin pencari seperti googlebot saat sedang meng-crawl konten atau isi blog kita.

File robots.txt memungkinkan kita untuk mengontrol dan memberikan izin bagi crawler search engine, mana konten blog yang boleh di akses dan mana konten blog yang tidak boleh diakses. Pada pengaturan file robots.txt ini hanya dikenal dua macam perintah yaitu DISALLOW untuk perintah larangan peng-indexan dan ALLOW untuk perintah mengizinkan peng-indexan.

Sebagai contoh bagi setiap blog yang menggunakan platform Blogger rata-rata akan menggunakan robots.txt seperti berikut:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

penjelasan dari robot.txt diatas :

Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah mengubahnya maka iklan yang ditayangkan tidak akan menyesuaikan dengan konten Anda.

Baris berikutnya adalah untuk semua robot yang ditandai dengan tanda bintang (*). Pada konfigurasi defaultnya jelas terlihat bahwa label dari blog kita sudah disetting untuk tidak terindeks dengan menulis Disallow: /search.

Perlu di ingat bahwa tanda garis miring ( / ) di ibaratkan sebagai homepage Anda, jadi misalkan Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini Disallow: / karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda,
tapi menjadi seperti contoh di bawah ini:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblock robot di halaman tertentu, Anda cukup menulis seperti berikut:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /p/daftar-isi.html
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Note:
memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan pengaturan seperti berikut untuk memblock halaman paginasi:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi www.example.com/robots.txt.

Note :
- Ganti Example.com dengan domain Anda.
- Gunakan dengan hati-hati. Jika salah menggunakan fitur ini maka blog Anda bisa diabaikan oleh mesin pencari.

Demikian Artikel Penjelasan dan Cara Setting Custom Robot.txt di Blogger
Semoga Bermanfaat

3 comments:

  1. Hello,

    I frequently visit your site, and I am very impressed by your site’s quality content. I commend you on this, and I wish you further success in your activities.

    My name is Alec Mwali and I work at the marketing department at VPN4ALL ltd.
    VPN4ALL is a personal VPN service that encrypts all your data transmitted over the internet and tunnels your online communications through one of our secure server locations. It changes your visibility to the World IP address and protects you against online snoopers and intruders. All in one click!

    Since your website tutorblogger.com already caters to the traffic that is also immediately relevant to VPN4ALL services, I wanted to take a moment to reach out regarding an opportunity for us to partner together, whereby you’d be earning commission on sales your referrals make referred through an affiliate link in your website.

    The commission earnings start from 25 percent and go up depending on your performance with our affiliate program, plus you get to receive a,
    •A sign up bonus of $9.95 loaded into your Affiliate account once you sign up with us.
    •Enjoy Recurring commissions on every renewals your referrals make
    •Enjoy our VPN Client by becoming our VPN active member.

    Special offer: The first three orders you refer to us will qualify you for a $5 cash bonus (money deposited into your account on top of your regular commission) + a $10 gift certificate from VPN4ALL ltd to purchase any of our packages.

    To join (or learn more about) our program you may fill out the application here http://affiliate.vpn4all.com/
    If you’re not ready to join the affiliate program right away, I would still love to hear back from you: to see how/if we can still work together. I’m very much looking forward to your reply.

    Best Regards,
    Alec/Affiliate Manager,
    Email: alec.mwali@vpn4all.com
    http://www.vpn4all.com

    ReplyDelete
  2. terima kasih sudah memberi tahu tentang cara setting robot.txt. Hal ini penting, karena menyangkut kemampuan blog agar terindek oleh google.

    ReplyDelete
    Replies
    1. Sama sama ...smoga bisa jadi manfaat ya bro

      Delete