Blog
Optimize Crawl Budget
Crawl Budget Optimization: ทำให้ Googlebot เข้าเว็บเราบ่อยขึ้น
🔥 แค่ 5 นาที เปลี่ยนมุมมองได้เลย

Crawl Budget Optimization: ทำให้ Googlebot เข้าเว็บเราบ่อยขึ้น

By Tanakit Chaithip
July 1, 2025
ยาวไป อยากเลือกอ่าน?
Optimize Crawl Budget

Crawl Budget Optimization คือการจัดการทรัพยากรที่ Googlebot จัดสรรให้กับเว็บไซต์แต่ละเว็บ เพื่อให้บอทคลานและจัดทำดัชนีหน้าสำคัญก่อน โดยลดการคลานหน้าที่ไม่จำเป็น ผ่านการปรับ robots.txt, sitemap, ลด redirect chains, เพิ่มประสิทธิภาพ internal links และใช้ CDN ทำให้หน้าที่สร้างรายได้ถูกอัปเดตในผลการค้นหาเร็วขึ้นและครอบคลุมมากขึ้น

Crawl Budget คืออะไรและทำไมถึงสำคัญ

Crawl budget คือจำนวนหน้าที่ Googlebot ยินดีและสามารถคลานในช่วงเวลาหนึ่งๆ ซึ่งถูกกำหนดโดย:

  • Crawl rate limit: ความเร็วสูงสุดที่บอทคลานโดยไม่กระทบ server
  • Crawl demand: ความสนใจของ Google ในเนื้อหาของเว็บไซต์

สำหรับเว็บไซต์ขนาดกลาง-ใหญ่ (มากกว่า 1,000 หน้า) หรือเว็บไซต์ที่เปลี่ยนแปลงบ่อย เช่น e-commerce, portal ข่าว การจัดการ crawl budget ช่วยให้:

  • หน้าสินค้าใหม่ถูกจัดทำดัชนีเร็วขึ้น
  • หน้าที่แก้ไขเนื้อหาอัปเดตในผลการค้นหาทันเวลา
  • ประหยัด server resource และลดโอกาสโดน rate limit
  • เพิ่มโอกาสที่หน้าสำคัญจะปรากฏในผลการค้นหา
หมายเหตุ: เว็บไซต์ขนาดเล็ก (น้อยกว่า 500 หน้า, authority สูง) มักไม่มีปัญหา crawl budget เพราะ Googlebot คลานครบได้ง่าย

วิธีตรวจสอบ Crawl Budget ปัจจุบัน

1. Google Search Console

เข้าไปที่ Settings > Crawl stats เพื่อดู:

  • Total crawl requests: จำนวนครั้งที่คลานต่อวัน
  • Total download size: ปริมาณข้อมูลที่ดาวน์โหลด
  • Average response time: ความเร็วเฉลี่ยของ server
  • Host status: สถานะ HTTP (200, 404, 5xx, redirect)
Metric สิ่งที่บอก สัญญาณดี สัญญาณแย่
Crawl requests ต่อวัน ความสนใจของ Google เพิ่มขึ้นหลังเผยแพร่เนื้อหาใหม่ ลดลงต่อเนื่องโดยไม่มีเหตุผล
Response time ความเร็ว server < 200ms > 500ms
4xx error rate ลิงก์เสีย < 5% > 15%
5xx error rate ปัญหา server < 1% > 5%
Redirect rate Redirect chains < 10% > 20%

2. Log File Analysis

วิเคราะห์ server log เพื่อเห็นภาพที่ละเอียดกว่า GSC:

# ตัวอย่างคำสั่ง grep Googlebot จาก Apache/Nginx log grep "Googlebot" access.log | \ awk '{print $7}' | \ sort | uniq -c | \ sort -rn | \ head -50 > googlebot_top50.txt # ดูว่า Googlebot คลานหน้าไหนบ่อยที่สุด # ถ้าหน้าไม่สำคัญโดนคลานมาก = เสีย budget

Tools ที่ช่วย analyze:

  • Screaming Frog Log File Analyzer: ฟรี, เห็น URL ที่คลานและไม่ถูกคลาน
  • Botify: Enterprise-level, deep insights
  • OnCrawl: SaaS, real-time monitoring

สาเหตุที่ทำให้เสีย Crawl Budget

ปัญหา Impact ตัวอย่าง วิธีแก้
Duplicate content บอทคลานหน้าซ้ำหลายเวอร์ชัน ?sort=price, ?page=1, /amp/, /m/ Canonical tag, parameter handling
Infinite scrolls สร้าง URL pagination ไม่สิ้นสุด /products?page=9999 Paginated archives, rel="next"
Faceted navigation Filters สร้าง URL combinations มหาศาล /shop?color=red&size=M&price=low Robots.txt block, noindex, canonical
Session IDs ใน URL URL เดียวกันมีหลาย version ?sessionid=abc123 ใช้ cookie แทน URL parameter
Low-quality pages บอทเสียเวลากับหน้าที่ไม่มีคุณค่า Tag pages ที่มีแค่ 1-2 posts Noindex thin pages
Redirect chains บอทต้องกระโดดหลาย hop A → B → C → D Redirect ตรงจาก A → D
Slow server บอทคลานได้น้อยลงต่อวัน Response time > 1s CDN, caching, optimize code
Orphan pages หน้าไม่มี internal link มาหา หน้าสินค้าเก่าที่ไม่มีใครลิงก์มา เพิ่ม internal links, sitemap

กลยุทธ์ Crawl Budget Optimization

1. จัดการ robots.txt อย่างชาญฉลาด

ใช้ robots.txt บล็อกโฟลเดอร์หรือ URL pattern ที่ไม่ต้องการให้คลาน:

User-agent: Googlebot # บล็อก search และ filter parameters Disallow: /*?s= Disallow: /*?search= Disallow: /*?filter= Disallow: /*?sort= # บล็อกหน้า admin และ login Disallow: /wp-admin/ Disallow: /login/ Disallow: /checkout/ # บล็อก file types ที่ไม่เกี่ยวกับ SEO Disallow: /*.pdf$ Disallow: /*.doc$ Disallow: /*.xls$ # อนุญาตให้คลาน sitemap Allow: /sitemap.xml Allow: /sitemap_index.xml # Crawl-delay (ใช้ระวัง — อาจทำให้คลานช้าลง) # Crawl-delay: 1 Sitemap: https://example.com/sitemap.xml
ข้อควรระวัง: อย่าบล็อก CSS และ JS ใน robots.txt เพราะ Google ต้องใช้ render หน้าเว็บ การบล็อกอาจทำให้เข้าใจหน้าผิด

2. Sitemap ที่มีประสิทธิภาพ

Sitemap ที่ดีช่วยบอก Google ว่าหน้าไหนสำคัญและอัปเดตบ่อย:

Best Practice คำอธิบาย ตัวอย่าง
แยก sitemap ตามประเภท ง่ายต่อการจัดการและอัปเดต sitemap_products.xml, sitemap_blog.xml
ระบุ lastmod ให้ถูกต้อง Google รู้ว่าหน้าไหนเพิ่งอัปเดต <lastmod>2025-01-15</lastmod>
ใช้ priority เฉพาะหน้าสำคัญ บอก relative importance Homepage: 1.0, Product: 0.8, Blog: 0.6
ใส่เฉพาะ canonical URL ไม่ใส่ URL ที่มี parameter หรือ duplicate ใส่ /product แต่ไม่ใส่ /product?color=red
อัปเดต sitemap แบบ real-time เมื่อมีหน้าใหม่ ให้อัปเดตทันที ใช้ dynamic sitemap generation
Submit ผ่าน GSC แจ้ง Google ทุกครั้งที่อัปเดต GSC > Sitemaps > Add new sitemap
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://example.com/product/premium-widget</loc> <lastmod>2025-01-15</lastmod> <changefreq>weekly</changefreq> <priority>0.8</priority> </url> <url> <loc>https://example.com/blog/seo-guide-2025</loc> <lastmod>2025-01-10</lastmod> <changefreq>monthly</changefreq> <priority>0.6</priority> </url> </urlset>

3. ลด Redirect Chains

Redirect chain (A → B → C) ทำให้บอทเสียเวลาและมักจะหยุดคลานก่อนถึงปลายทาง:

# ตรวจสอบ redirect chains ด้วย curl curl -I -L https://example.com/old-page # ผลลัพธ์แย่: # HTTP/1.1 301 Moved Permanently # Location: /new-page # HTTP/1.1 301 Moved Permanently # Location: /newer-page # HTTP/1.1 200 OK # แก้ไข: redirect ตรงจาก /old-page → /newer-page

วิธีแก้:

  • Audit redirect ด้วย Screaming Frog หรือ Sitebulb
  • อัปเดต redirect ให้ชี้ไปยัง destination สุดท้ายโดยตรง
  • ลบ redirect ที่ไม่จำเป็นแล้ว (เก่ากว่า 1 ปี, ไม่มี traffic)

4. เพิ่มประสิทธิภาพ Internal Linking

Internal link ที่ดีช่วยให้บอทค้นพบหน้าใหม่เร็วและเข้าใจโครงสร้างเว็บไซต์:

เทคนิค ประโยชน์ การนำไปใช้
Link จากหน้าแรกไปหน้าสำคัญ PageRank ไหลไปหน้าเป้าหมาย ใส่ลิงก์ใน hero, featured section
Breadcrumb navigation ช่วยบอทเข้าใจ hierarchy Home > Category > Product
Related posts/products สร้างทางไปหน้าที่ orphan Widget "อ่านต่อ", "สินค้าที่เกี่ยวข้อง"
XML sitemap Fallback สำหรับหน้าที่ลิงก์น้อย Generate sitemap ครอบคลุมทุกหน้า
Hub pages รวมลิงก์ในหัวข้อเดียวกัน Category page, pillar content
เทคนิค: ใช้ crawl depth report ใน Screaming Frog เพื่อหาหน้าที่อยู่ลึกเกิน 3 คลิก จากนั้นเพิ่ม internal link เพื่อทำให้เข้าถึงง่ายขึ้น

5. จัดการ URL Parameters

Parameters เช่น ?color=red&size=M สร้าง URL หลายเวอร์ชันของหน้าเดียว:

# วิธีที่ 1: GSC Parameter Handling (เลิกใช้แล้ว — ใช้วิธีอื่นแทน) # วิธีที่ 2: Canonical Tag <link rel="canonical" href="https://example.com/product/shirt" /> # วิธีที่ 3: robots.txt Disallow: /*?color= Disallow: /*?size= Disallow: /*?sort= # วิธีที่ 4: URL Rewrite (แนะนำ) # แปลง /product?id=123 → /product/shirt-name-123 RewriteRule ^product/([a-z0-9-]+)$ /product.php?id=$1 [L]

6. ปรับปรุงความเร็ว Server

Server ที่เร็วทำให้บอทคลานได้มากขึ้นในเวลาเท่าเดิม:

  • CDN: Cloudflare, Fastly — ลด latency
  • Caching: Redis, Varnish — เสิร์ฟหน้าจาก cache
  • Database optimization: Index, query optimization
  • HTTP/2 หรือ HTTP/3: ลดจำนวน round trips
  • Lazy loading: โหลดแค่ส่วนที่จำเป็น (แต่ระวัง — อาจทำให้บอทมองไม่เห็น)
# ตัวอย่าง Nginx caching config proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=my_cache:10m max_size=1g inactive=60m use_temp_path=off; server { location / { proxy_cache my_cache; proxy_cache_valid 200 60m; proxy_cache_valid 404 10m; add_header X-Cache-Status $upstream_cache_status; proxy_pass http://backend; } }

7. Noindex หน้าที่ไม่สำคัญ

หน้าที่ไม่ต้องการให้อยู่ใน search results ควร noindex แทนที่จะบล็อกใน robots.txt:

<!-- ใช้เมื่อไม่ต้องการให้อยู่ใน index แต่บอทคลานได้ --> <meta name="robots" content="noindex, follow" /> <!-- ตัวอย่างหน้าที่ควร noindex --> - Thank you pages - Internal search results (/search?q=...) - Tag pages ที่มีแค่ 1-2 posts - Pagination ที่ลึกเกินไป (?page=50+) - Cart และ checkout pages

Crawl Budget Checklist

งาน วิธีตรวจสอบ เครื่องมือ ความถี่
ตรวจ crawl stats GSC > Settings > Crawl stats Google Search Console รายสัปดาห์
หา duplicate content Crawl เว็บไซต์ ดู title/description ซ้ำ Screaming Frog รายเดือน
ตรวจ redirect chains Crawl > Response Codes > Redirection (3xx) Screaming Frog รายเดือน
Analyze log files Grep Googlebot, ดู top crawled URLs SF Log Analyzer, Botify รายเดือน
ตรวจ orphan pages หน้าที่อยู่ใน sitemap แต่ไม่มี internal link GSC Coverage report รายเดือน
Audit sitemap ตรวจว่ามี URL ที่ไม่ควรอยู่ใน sitemap Manual review, XML validator รายไตรมาส
ทดสอบ server speed วัด TTFB, response time GTmetrix, WebPageTest รายเดือน

ตัวอย่างกรณีศึกษา: E-commerce Site

สถานการณ์

เว็บไซต์ e-commerce มีสินค้า 10,000 รายการ แต่ GSC แสดงว่ามีเพียง 3,000 หน้าถูกจัดทำดัชนี และหน้าสินค้าใหม่ใช้เวลา 2-3 สัปดาห์กว่าจะปรากฏในผลการค้นหา

การวินิจฉัย

จาก log file analysis พบว่า:

  • Googlebot คลาน faceted navigation URL มากกว่าหน้าสินค้าจริงถึง 5 เท่า
  • มี redirect chains จาก old URL → category → product
  • Orphan products ที่ไม่มีลิงก์จากหน้าอื่นมากกว่า 4,000 หน้า

การแก้ไข

ขั้นตอน การดำเนินการ ผลลัพธ์
1. บล็อก faceted navigation Disallow: /*?filter= ใน robots.txt ลด crawl waste 70%
2. แก้ redirect chains อัปเดต redirect ให้ชี้ตรงไปยัง final URL ลด redirect hops จาก 2.3 → 1.0
3. เพิ่ม internal links สร้าง "Related Products" widget Orphan pages ลดลง 80%
4. Sitemap แยกประเภท products.xml, categories.xml, blog.xml Indexing ใหม่เร็วขึ้น 60%
5. เพิ่ม CDN Cloudflare Pro TTFB ลดจาก 800ms → 150ms

ผลลัพธ์หลังปรับ 3 เดือน

  • Indexed pages เพิ่มจาก 3,000 → 8,500
  • หน้าสินค้าใหม่ปรากฏใน search ภายใน 2-3 วัน (จากเดิม 2-3 สัปดาห์)
  • Crawl requests ต่อวันเพิ่มขึ้น 40% แต่คลานหน้าที่มีคุณค่า
  • Organic traffic เพิ่มขึ้น 35%

เครื่องมือสำหรับ Crawl Budget Optimization

เครื่องมือ ฟีเจอร์หลัก ราคา เหมาะกับ
Google Search Console Crawl stats, coverage, indexing ฟรี ทุกเว็บไซต์
Screaming Frog SEO Spider Site crawl, redirect audit ฟรี (จำกัด 500 URL) / £149/ปี SME, agencies
Screaming Frog Log Analyzer Analyze server logs ฟรี Technical SEO
Sitebulb Visual crawl, technical audit $35-$600/เดือน Agencies, consultants
Botify Enterprise log analysis, AI insights Custom pricing Enterprise (10k+ pages)
OnCrawl Real-time crawl monitoring €49-€599/เดือน Medium-large sites
DeepCrawl (Lumar) Scheduled crawls, automation Custom pricing Enterprise

Advanced Tips

1. ใช้ If-Modified-Since Header

ช่วยให้บอทรู้ว่าหน้ายังไม่เปลี่ยนแปลง ไม่ต้อง download ซ้ำ:

# Apache .htaccess <IfModule mod_expires.c> ExpiresActive On ExpiresDefault "access plus 1 month" ExpiresByType text/html "access plus 0 seconds" </IfModule> # Nginx location ~* \.(jpg|jpeg|png|gif|ico|css|js)$ { expires 1y; add_header Cache-Control "public, immutable"; }

2. Soft 404 Cleanup

หน้าที่ return 200 แต่เนื้อหาว่างหรือบอกว่า "not found" ควรแก้เป็น 404 จริงๆ:

# ตรวจใน GSC # Coverage > Excluded > Soft 404 # แก้ไข: ส่ง HTTP 404 header header("HTTP/1.0 404 Not Found"); # หรือ 410 Gone ถ้าลบถาวร header("HTTP/1.0 410 Gone");

3. JavaScript Rendering Budget

Google ใช้ budget แยกสำหรับ render JavaScript ถ้าเว็บไซต์มี JS เยอะ ให้:

  • ใช้ server-side rendering (SSR) หรือ static site generation (SSG)
  • ทำ dynamic rendering สำหรับ bot
  • ใส่ข้อมูลสำคัญใน HTML ไม่ใช่โหลดด้วย JS อย่างเดียว

บทความแนะนำ

บริการที่เกี่ยวข้อง

อ้างอิงภายนอก

แชร์

Recent Blog

ทำไมการปรับปรุงเว็บไซต์ E-commerce ถึงช่วยเพิ่มยอดขายได้ทันที
ทำไมการปรับปรุงเว็บไซต์ E-commerce ถึงช่วยเพิ่มยอดขายได้ทันที

เว็บของคุณไม่สามารถสร้างยอดขาย? ปรับปรุงเว็บไซต์เพื่อแก้ปัญหานี้ และเรียนรู้วิธีที่ช่วยเพิ่มประสิทธิภาพทันที...

ดูเพิ่มเติม
5 เทคนิคการออกแบบเว็บไซต์สำหรับธุรกิจ Startups ที่ช่วยเพิ่มอัตราการแปลงลูกค้า
5 เทคนิคออกแบบเว็บไซต์ Startup ที่เพิ่มยอดขาย 2026

เคยรู้สึกไหมว่าเว็บไซต์ของคุณไม่สามารถดึงดูดลูกค้าได้? ลองศึกษา 5 เทคนิคที่ช่วยให้คุณสามารถปรับปรุงเว็บไซต์ให้ดียิ่งขึ้นและเพิ่มอัตราการแปลงลูกค้าได้อย่างแท้จริง อ่านต่อ...

ดูเพิ่มเติม
ทำไมเลือก Webflow Design Development เพื่อเว็บไซต์ที่ใช้งานง่าย?
ทำไมเลือก Webflow Design Development เพื่อเว็บไซต์ที่ใช้งานง่าย?

เคยรู้สึกหงุดหงิดเมื่อเว็บไซต์โหลดช้าใช่ไหม? ปัญหานี้สามารถแก้ไขได้ด้วยการออกแบบที่ถูกต้อง อ่านต่อเพื่อค้นหาวิธีที่คุณจะเปลี่ยนประสบการณ์ผู้ใช้!

ดูเพิ่มเติม