การสร้างไฟล์ robots.txt ในการทำ SEO
SEO การสร้างไฟล์ robots.txt ไว้ในเว็บของเรานั้น นอกจากเพื่อเป็นการบอกbotให้ทราบถึงสิทธิ์การเข้าถึงข้อมูลบนเว็บของเราแล้ว การมีอยู่ของไฟล์ robots.txt นั้นยังมีผลต่อการทำ SEO ของเราด้วย เจ้าของเว็บหรือ เว็บมาสเตอร์ หลาย ๆ ท่านเมินที่จะเขียนไฟล์ robots.txt โดยให้เหตุผลกับตัวเองว่า เว็บของเราไม่มีไฟล์หรือข้อมูลอะไรที่จะต้องปกปิด เลยไม่เขียนไฟล์ robots.txt เสียเลย ซึ่งความคิดข้างต้นก็ไม่ผิด แต่เป็นการมองข้ามการทำ SEO ไปอย่างน่าเสียดาย เพราะการมีไฟล์ robots.txt นั้น ช่วยสร้างความน่าเชื่อให้กับเว็บของเราได้
Read related article at FireFox กับงานด้าน SEO.