SEO Log File Analysis คือการวิเคราะห์บันทึกการเรียกหน้าเว็บจากบอทจริง (เช่น Googlebot) เพื่อหาเพจที่ถูกครอว์ลบ่อย/ไม่ถูกครอว์ล, ข้อผิดพลาด 4xx/5xx, วงจรรีไดเรกต์ และพารามิเตอร์เปลืองงบคลอว์ล จากนั้นจัดลำดับแก้ไขเพื่อเพิ่มประสิทธิภาพการจัดทำดัชนีและอันดับ
SEO Log File Analysis: วิเคราะห์ไฟล์ Log ให้ติดอันดับและใช้งบคลอว์ลอย่างคุ้ม
สำหรับทีม SEO/เว็บมาสเตอร์ จุดแข็งของวิธีนี้คือ “ข้อมูลจริงจากเซิร์ฟเวอร์” ทำให้เรารู้ว่า Googlebot เข้าเพจใดบ่อย/น้อย ผิดพลาดตรงไหน และงบคลอว์ลถูกใช้ไปกับ URL ที่ไม่สร้างคุณค่า (crawl waste) แค่ตั้งท่อข้อมูลให้ได้สม่ำเสมอและอ่านเป็น ก็เปิดโอกาสเพิ่มอันดับได้ไว
ตารางเมตริกที่ควรดูจากไฟล์ Log
| เมตริก |
วิธีอ่านจาก Log |
สัญญาณ/ปัญหา |
แนวทางแก้ |
เครื่องมือช่วย |
| Bot hits ต่อ URL |
นับจำนวน request ของ Googlebot ต่อ URL |
เพจเงินถูกครอว์ลน้อยเกินไป |
เพิ่ม internal links ไปเพจเงิน, อัปเดต sitemap, ปรับ IA |
BigQuery/SQL, Python, GSC Crawl Stats |
| 4xx/5xx rate |
สรุปสัดส่วนสถานะ 4xx/5xx ต่อ bot hits |
ลิงก์เสีย/โหลดล้มเหลว บอทสูญงบคลอว์ล |
แก้ 404, ลด 5xx, ตั้ง 301 ให้ถูกตำแหน่ง |
เซิร์ฟเวอร์/โฮสติง, Monitor/Alert |
| Redirect chains |
ตรวจชั้นของ 3xx จากต้นทางเดียวกัน |
โซ่รีไดเรกต์เปลืองงบ/หน่วงเวลา |
บีบโซ่ให้สั้น (ต้นทาง → ปลายทางเดียว) |
Curl批ตรวจ, รายงาน 3xx |
| Parameter traps |
นับ URL ที่มีคิวรี/พารามิเตอร์ซ้ำ |
crawl waste จาก faceted / tracking params |
canonical, noindex, กรองพารามิเตอร์, ปรับลิงก์ภายใน |
กติกา internal link, robots/canonical |
| Orphan pages |
URL ครอว์ลน้อยและไม่ถูกลิงก์จากภายใน |
เพจมีค่าแต่เข้าถึงยาก/ไม่โดนค้นพบ |
เพิ่มลิงก์บริบท/เมนู, ผูกกับหมวด/แท็ก |
Graph ของ internal links |
| Freshness |
ตรวจช่วงเวลาครอว์ลล่าสุด |
เพจสำคัญไม่ถูกครอว์ล/อัปเดตนาน |
รีเฟรชคอนเทนต์/สคีมา, ส่งสัญญาณอัปเดต |
GSC Inspect URL, Sitemaps ping |
HowTo: ทำ Log File Analysis ใน 6 ขั้น (ลงมือได้ทันที)
- ตั้งแหล่งข้อมูล — เปิด access log (Apache/Nginx), เปิดเก็บที่ reverse proxy/CDN (ถ้ามี), เก็บเป็นไฟล์รายวัน/ชั่วโมง
- ยืนยันบอทจริง — ตรวจสอบ Googlebot ด้วย reverse DNS lookup ตามคู่มือ Verifying Googlebot
- แปลง/โหลดข้อมูล — แยกฟิลด์ (IP, time, method, URL, status, UA), โหลดเข้า BigQuery/DB/สคริปต์
- วิเคราะห์หลัก — นับ bot hits, สรุป 4xx/5xx, หาวงจร 3xx, จับพารามิเตอร์, จัดอันดับ URL สำคัญที่ครอว์ลน้อย
- แมปกับ IA/Sitemap — เทียบกับ sitemap และเส้นทางลิงก์ภายใน เพื่อหา orphan/ลิงก์ขาด/ลิงก์ซ้ำ
- จัดลำดับแก้และติดตาม — รีไดเรกต์ให้สั้น, แก้ 404/5xx, ตั้ง canonical/robots, เพิ่ม internal links แล้วติดตามใน Crawl Stats
โค้ด/ทริคเล็ก ๆ (ตัวอย่าง)
# ตัวอย่าง regex (Apache/Nginx Combined Log Format)
# IP - - [time] "METHOD /path?param=... HTTP/1.1" 200 bytes "ref" "UA"
# แยกฟิลด์ด้วยกลุ่มจับ (ใช้ใน Python/grep ที่รองรับ)
(\S+) \S+ \S+ \[([^\]]+)\] "(\S+) ([^"]+) HTTP/[\d.]+" (\d{3}) \S+ "[^"]*" "([^"]+)"
# แนวคิดกรอง Googlebot (ตรวจ UA + reverse DNS)
# 1) UA มีคำว่า Googlebot
# 2) reverse DNS ของ IP ลงท้ายด้วย googlebot.com หรือ google.com ตามคู่มือ Google
สิ่งที่ทำแล้ว “เห็นผลเร็ว”
- ตัดวงจรรีไดเรกต์ที่ยาว > 1 ชั้น ในเพจที่บอทเข้าเยอะ
- บีบพารามิเตอร์ซ้ำซ้อนด้วย canonical/noindex + ปรับลิงก์ภายในไม่ให้ลากพารามิเตอร์
- เพิ่ม internal links ไปหน้าเงิน/คีย์หลักที่ครอว์ลน้อยกว่าค่าเฉลี่ย
- แก้ 404/5xx ที่เกิดบ่อยบนเส้นทางที่บอทใช้จริง
อ้างอิงภายนอก (มาตรฐาน/คู่มือ)
บริการที่เกี่ยวข้อง (Internal Links)
อ่านต่อ (บทความเกี่ยวข้อง)
FAQ
ต้องเก็บ log กี่วันถึงจะพอ?
แนะนำอย่างน้อย 30–90 วันเพื่อเห็นแพตเทิร์นครอว์ลตามฤดูกาล และเทียบผลหลังแก้ไข
อยู่หลัง CDN/Reverse Proxy ทำได้ไหม?
ได้ ควรเปิดการเก็บ log ที่ชั้น CDN/Proxy และคง header/IP เดิมสำหรับการตรวจสอบกลับ
ต้องระวังข้อมูลส่วนบุคคลอะไรบ้าง?
ควรทำการ mask/ลดทอน IP/ค่าเฉพาะตัวตามนโยบายความเป็นส่วนตัวขององค์กร
อัปเดตล่าสุด: 24 Aug 2025
เกี่ยวกับผู้เขียน
Vision X Brain ทีม Website/SEO/CRO & Webflow สำหรับธุรกิจบริการ เราช่วยตั้งท่อ Log ที่อ่านง่าย วางแดชบอร์ด BigQuery/GA4 และแผนปรับ IA/ลิงก์ภายในเพื่อเพิ่มประสิทธิภาพการครอว์ลจนวัดผลได้จริง
