Perintah file robot txt

Perintah paling mendasar untuk robot yang meng crawl website / situs kita, dari sini kita bisa memberitahu robot atau crawler tentang bagaimana seharusnya mereka mengunjungi situs kita, apa yang boleh dan mana yang tidak boleh untuk di index maupun boleh untuk di index.

Memblok semua robot untuk mengindek maupun men crawl situs :

User-agent: *
Disallow: /

Memperbolehkan semua bot untuk meng crawl maupun mengindeks

User-agent: *
Disallow: 

atau demikian juga boleh; artinya sama dengan memperbolehkan semua bot ke arahan folder tertinggi atau semua isi didalam folder public html

User-agent: *
Allow: /