Home >> Website SEO >> Robots.txt คือ? / วิธีเขียนไฟล์ Robots.txt

Robots.txt คือ? / วิธีเขียนไฟล์ Robots.txt

บทความโดย :Administrator เขียนเมื่อ : 3 / มี.ค. / 2555

 

Robots.txt คือ? / วิธีเขียนไฟล์ Robots.txt

ไฟล์ Robots.txt คือไฟล์ที่ robot จะเข้ามาอ่านอันดับแรกสุดของเว็บเรา แต่ปัญหาในการที่ bot เข้ามาเก็บไฟลเดอร์ หรือ ไฟล์ ที่เราไม่ต้องการให้bot เจอเช่น โฟลเดอร์ Admin คุณลองคิดดูถ้าเรามีข้อมูลลับๆต่าง ไม่ว่าจะเป็น ที่อยู่ เบอร์โทร ข้อมูลส่วนตัว ที่เราไม่ให้ต้องการให้ข้อมูลเหล่านี้ติดบน search Engine เราก็สามารถกำหนด ดังนั้นเราสามารถเขียนไฟล์ .text จาก notepad ที่เรียกว่า “robots.txt” ซึ่งเป็นไฟล์ธรรมดาที่สามารถสื่อสารกับเจ้า bot ๆรู้เรื่อง การใช้งานนั้นไม่ยากเลยครับจะมีคำสั่งในการควบคุม bot ดั่งนี้ ตัวอย่าง robots.txt User-agent: * //คือการสั่งบอกทุกตัว ตัวอย่างเช่น User-agent: Googlebot // อนุญาติให้bot google เข้ามา Disallow: //คือคำสั่งไม่ให้เก็บข้อมูล ตัวอย่าง Disallow: /admin ไม่อะ ชุดคำสั่งที่นิยมใช้ 1 ถ้าต้องการไม่ให้ robots ทุกตัวเข้ามาเก็บ index เว็บเรา User-agent: * Disallow: / 2. ถ้าไม่ต้องการให้ bot เข้าไปเก็บโฟลเดอร์รูป และโฟลเดอร์ admin User-agent: * Disallow: /images Disallow: /folder/admin ในปี 2551 ที่ผ่านมา robots.txt สามารถกำหนดคำสั่ง sitemap ได้แล้ว
เช่น Sitemap: http://www.howto108.com/sitemap.xml.gz
หมายถึงเมื่อ bot เข้ามาอ่านแล้ว เจ้าตัว tag น็ก็จะบอกตำแหน่งของ sitemap ให้เจ้า bot ไต่ไปยัง sitemap ต่อจากการอ่านไฟล์ robots.tex
ตำแหน่งที่อยู่ของไฟล์ robots.txt ก็อยู่หน้า root สุดหรือ
http://www.howto108.com/robots.txt

ในขณะเดียวกันลองคิดดูเล่นๆ  ถ้าเราไม่ให้ bot มาเก็บ folder รูป แต่บ้างครั้งก็อาจมีทราฟฟิกมาจากรูปก็ได้อย่างบ้างคน เขา search รูปภาพ และ ถ้าเรา

Disallow:   /folder/admin
ก็เหมือนเป็นการบอกตำแหน่งของ admin ซึ่งอันตรายต่อการเจอ ผู้ไม่ประสงค์ร้ายไต่เข้าไปโจรกรรมข้อมูลได้

 

 

            
           


เรื่องเกี่ยวข้องกัน ที่คุณอาจจะสนใจก็ได้ ?


วิธีการอัพโหลดเว็บไซต์ขึ้นโฮสติ้ง ด้วย File Zilla
วิธีการอัพโหลดเว็บไซต์ขึ้นโฮสติ้ง ด้วย File Zilla
วิธีทำ sitemap /ขั้นตอนการส่งSitemapให้ google
sitemap,วิธีทำ sitemap,การสร้างsitemapมขั้นตอนการส
วิธีเช็คอายุโดเมนเนม whois Domain
วิธีเช็คอายุโดเมน วิธีดูอายุโดเมน whois
วิธีจดโดเมนกับ godaddy (มีรูปประกอบ)
วิธีจดโดเมนกับ godaddy ,ขั้นตอนการจดโดเมนกับ godad
Robots.txt คือ? / วิธีเขียนไฟล์ Robots.txt
Robots.txt,Robots.txt คือ สร้างไฟล์ Robots.txt ว
วิธีจัดการบล๊อกลิงค์ที่ไม่ต้องการมาไซต์เรา
เดี่ยวนี้สังคมออนไลน์น่ากลัวขึ้นจริงๆครับ สำหรับผม
วิธีใส่ comment facebook ในเว็บไซค์
วิธีติด comment facebook ในบทความ โดยแยกออกเป็นแต่
จัดการ url เสียออกจาก google search engine
บทความเกี่ยวกับการจัดการลิงค์เสัยให้ออกจาก search
วิธีปิด Auto Renew domain ของ Godaddy
วิธีการยืนของเงินคืน จาก Auto Renew Godaddy และการ
วิธีติดตั้ง appserv
วิธีการติ้งตั้งจำลองเชิฟเวอร์ โดยโปรแกรม appserv ซ