Cara Setting Optimal File Robot.txt

Sebagai webmaster sebuah situs, Anda tentu sudah mengerti dan mengetahui apa itu robot.txt dan kegunaannya kan? Ya…file robot.txt adalah sebuah file dengan format text yang diletakkan dalam root domain situs di server hosting kita. Ini berlaku jika kita menggunakan WordPress self hosting yang menggunakan hosting Anda sendiri alias bukan yang gratisan seperti menggunakan wordpress.com
File robot.txt digunakan untuk mengontrol indexing robot crawler mesin pencari untuk semua folder file situs Anda ataupun hanya postingan dalam blog Anda. Dalam postingan, fungsi terpentingnya adalah untuk menghindari duplikat konten dimana duplikat konten dalam satu situs sangat berbahaya dan cenderung kena penalti Google yang mengakibatkan blog Anda rawan sandbox atau banned.
Folder admin dalam file blog seharusnya tidak di index oleh robot crawler dengan menempatkan sebuah perintah tertentu dalam file robot.txt yang membatasi atau melarang spider robot menjelajahi folder tersebut.
Bagi pengguna WordPress, Anda bisa dengan mudah melakukan setting robot.txt ini yaitu dengan menginstal plugin kbrobots yang bisa langsung didownload di direktori plugin wordpress. Untuk cara manualnya, Anda bisa membuat memasukkan perintah dibawah ini dan menyimpannya dalam format.txt dengan menggunakan notepad kemudian upload menggunakan aplikasi FTP seperti Filezilla ke dalam root domain blog Anda.

sitemap: http://handokotantra.com/sitemap.xml
User-agent: *
Allow: /
User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /go/
Disallow: /archives/
disallow: /*?*
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /

Untuk setting robot.txt diatas adalah contoh penggunaan untuk blog saya ini, untuk menggunakannya buat blog Anda, silakan ganti nama domain untuk lokasi sitemapnya. Selanjutnya Anda bisa mengecek status robot.txt di Google Webmaster melalui Google webmaster tool > Under tools > Analyze robots.txt
Setting di atas akan mencegah robot menjelajahi file admin yang diikuti oleh feeds, trackbacks, comments feed, pages dan comments.

Selamat mencoba.

Sumber : http://handokotantra.com/cara-setting-optimal-file-robot-txt.html