OPTIMASI ROBOTS.TXT

Untuk sebuah alasan, mungkin anda tidak ingin web crawler, baik dari search engine ataupun jenis web robot lainya untuk mengakses seluruh atau sebagian website anda, maka robots.txt dapat digunakan untuk keperluan ini.
File robots.txt ini diletakkan pada root website anda (Contoh: domainanda.com/robots.txt), dan merupakan standar yang telah dikembangkan sejak 1994, saat web indexing mulai popular. Standar ini tidak menjadi jaminan bahwa web crawler akan mengikutinya, semuanya tergantung pada kerja sama web crawler untuk memperhatikan standar ini.
Jika ingin menginstruksikan web robot untuk tidak mengakses website anda sama sekali, cukup tuliskan instruksi berikut pada file robots.txt:

User-agent: *
Disallow: /

Baris user-agent: * berarti instruksi robots.txt berlaku untuk semua web robot. Anda dapat menggantinya dengan nama spesifik web robot, jika hanya ingin memberlakukan instruksi pada robots.txt untuk web robot tertentu. Sedangkan baris Dissalow: / berarti root direktori dan segala isinya tidak diperkenankan untuk diakses oleh web robot.
Jika ingin melindungi beberapa direktori atau file tertentu, penulisannya adalah sebagai berikut :

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /download/browse.php

Instruksi di atas berarti mengatakan kepada web robot untuk tidak mengakses direktori cgi-bin dan images (beserta isinya), juga tidak mengakses file /download/browse.php (tetapi boleh mengakses file selain browse.php pada direktori /download.