การเพิ่มประสิทธิภาพ Crawl Budget คือการทำให้ Googlebot ใช้ทรัพยากรกับหน้าที่มีมูลค่าอย่างมีประสิทธิภาพ โดยทำให้โครง URL สะอาด, ตั้งค่า sitemap/robots.txt ให้ถูกต้อง, ลดจำนวน 404 และรีไดเรกต์, จัดการพารามิเตอร์ซ้ำซ้อน, เร่งความเร็วเซิร์ฟเวอร์ และเชื่อม Internal Links อย่างมีบริบท

คู่มือ Crawl Budget Optimization: ทำให้บอทคลานครอบคลุม “หน้าเงิน” ก่อน

สำหรับเว็บไซต์ธุรกิจ/อีคอมเมิร์ซ/คอนเทนต์ขนาดกลาง–ใหญ่ เป้าหมายคือการให้เพจสำคัญถูกคลานและอัปเดตบ่อยขึ้น ลดการสิ้นเปลืองกับเพจซ้ำ/ช้า/ผิดพลาด และทำให้สัญญาณคุณภาพดีพอที่จะเพิ่มอัตราคลาน (crawl rate) ตามความสามารถของเซิร์ฟเวอร์

อาการ “สิ้นเปลือง Crawl” และวิธีแก้ที่ทำได้ทันที

HowTo: Optimize Crawl Budget ใน 7 ขั้น

1. ทำ URL Inventory: สกัด URL ทั้งหมดจาก sitemap.xml + log แล้วจัดหมวด “สำคัญ/รอง/ควรบล็อก”.
2. ลดความซ้ำของพารามิเตอร์: กำหนด canonical, ปิด index หน้าที่ไม่ใช่เวอร์ชันหลัก, บล็อกการคลานบางพารามิเตอร์ด้วย robots.txt เมื่อไม่ต้องคลาน.
3. แก้ 404/Redirect Chain: ทำ 301 mapping, อัปเดต internal links ให้ยิงตรงปลายทาง.
4. เร่งเซิร์ฟเวอร์: CDN, แคช/ETag, บีบอัด, ปรับ TTFB ให้ต่ำเพื่อให้บอทคลานต่อเนื่อง.
5. ย้ายงบคลานไปหน้าเงิน: เสริม internal links บริบทจากบทความ/หมวด ไปยังเพจบริการ/คอนเวอร์ชัน.
6. อัปเดต Sitemap: ให้ครบ, ไม่รวม URL บล็อก, ระบุ lastmod สมเหตุผล.
7. ติดตามผล: ดู Crawl stats ใน Search Console + เซิร์ฟเวอร์ log รายสัปดาห์ แล้วปรับซ้ำ.

ตัวอย่างโค้ด/การตั้งค่าที่ใช้บ่อย

robots.txt (ตัวอย่างสำหรับพารามิเตอร์ฟิลเตอร์/จัดเรียง)

User-agent: *
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?price_min=
Disallow: /*?page=*&view=all
# อย่าบล็อกหน้า canonical หลัก
Sitemap: https://www.example.com/sitemap.xml

สคีมา Canonical + noindex (สำหรับหน้าพารามิเตอร์)

<link rel="canonical" href="https://www.example.com/category/widget" />
<meta name="robots" content="noindex,follow" />

HTTP Caching (ตัวอย่างหัวข้อแนะนำ)

Cache-Control: public, max-age=3600
ETag: "abc123"

KPI & เครื่องมือที่ควรติดตาม