Apa itu Robots.txt , Pengertian Robots.txt

Apa itu Robots.txt ? apakah seperti layaknya Arnold schwarzenegger di film Terminator ? jawabannya salah besar . Yang dimaksud Robots.txt disini bukanlah Robot seperti yang ada di film2 melainkan sebuah file yg berguna untuk mengatur alur Robot mesin pencari (search engine) pada situs kita.
File ini bisa mengontrol mana yang akan di index mesin pencari dan mana yg tidak boleh di index oleh mesin pencari .
Sebenarnya Robots.txt hanya sebuah opsional dan tidak sepenting Title atau Url dalam masalah optimasi Search Engine , tapi dengan robots.txt kita bisa mengatur mana yang boleh di index dan mana yang tidak boleh. dan kita juga bisa menghindari duplikasi konten .

Alur dalam Robots.txt

File robots.txt sendiri hanya berupa file teks biasa tapi harus di beri nama robots.txt 
seperti ini contohnya :

User-agent: *     
Disallow: /cgi-bin

Dimana User-agent: adalah menentukan mesin pencari apa saja yang diizinkan 

mengindex halaman.

Tanda * berarti semua mesin pencari diizinkan atau bisa mengindex halaman web kita.

Disallow: adalah menentukan bagian yang tidak dapat di index .

Allow: adalah menentukan bagian yang bisa diindex.

jadi dalam hal itu Disallow: /cgi-bin adalah tidak mengizinkan mesin pencari untuk 

mengindex direktori cgi/bin pada direktori root domain untuk tidak diindex.

Jadi demikian tadi kurang lebih nya pengertian dari Robots.txt. 

semoga membantu dari penjelasan tadi .