Mula2 kita fahamkan apa itu robot.txt? Robot.txt bermaksud ia text yang macam notepad tu by default diupload ada dalam server kita. Guna dia nak bagitahu kat search robot e.g. search engine yahoo, google, msn dll dan internal search button dalam blog kita tu supaya jangan visit sesatu URL dalam content blog kita.
Tujuan robot.txt ni bagus untuk.
1.Kalau kita set private content page tu kita bubuh password ker cari camnapun takleh masuk access.
2.By default ia bertujuan jugak untuk elakkan penalti dari SE sebab kes post duplicate content dan bertujuan SPAM.
Jadi by default akan diarahkan ke page 404 page not found. Page not found ni contoh kalau main domain kita alamat taip kat browser www.carigold.com kuar benda tu memang benganglah. Tapi kalau yang restricted(memang kita sendiri set block)tiba2 kuar pulak content private tu pun bengang jugak, so tu gunanya robot.txt.
Most case kalau error page 404 ni banyak sangat kuar kat report check balik permalink blog kita..Setting betulkan balik. Kalau kat wordpress pulak banyak sangat kuar report URL restricted by robots.txt tu mungkin tak sengaja anda terset wordpress--->dashbord--->setting--->Privacy
Lagi satu kalau visitor anda tersilap taip URL page post yg tak wujud akan ke page 404 gak. Dalam kes awak kat picture screen shot kat atas tu rasanya adalah visitor anda search guna search button disana cari sesuatu yg takda. e.g. Anda blog pasal gossip artis Malaysia tapi dia cari Algebra so kuarlah 404.