Robots.txt itu memerlukan pengetahuan lengkap tentang kinerja crawler di internet. File yang ukurannya dibawah 1kB ini berfungsi untuk membatasi atau mencegah spiders atau bot search engine dalam mengakses file-file pada website/ blog, atau sederhananya robots.txt memberitahu spiders atau bot mana yang boleh diakses dan mana yang tidak boleh.
Lalu, pentingkah robots.txt ini untuk sebuah website / blog? Jawabnya? Tentu saja PENTING! Karena pembatasan akses yang dilakukan oleh robots.txt akan lebih mengarahkan bots untuk mengakses content-content yang dianggap penting saja atau yang tidak ingin dishare ke publik. Tutorialnya ada disini.
Jadi jika ingin buat website, tanya ke calon pembuatnya, dia mengerti tentang ROBOTS.txt ndak?
Kalau tidak mengerti, siap-siap website Anda akan sepi pengunjung..
