เจาะลึกวิศวกรรมการสตรีมมิ่งของ X (Twitter): การสร้างระบบดึงวิดีโอประสิทธิภาพสูงด้วย HLS และ FFmpeg

บทนำ สำหรับนักพัฒนาสาย Web Scraping หรือ Media Engineering ความท้าทายที่ยิ่งใหญ่ที่สุดอย่างหนึ่งคือการดึงข้อมูลจากแพลตฟอร์มที่มีการป้องกันสูงและมีการสตรีมมิ่งที่ซับซ้อนอย่าง X (Twitter) ในยุคก่อน เราอาจจะคุ้นเคยกับการดึงไฟล์ MP4 แบบตรงๆ แต่ปัจจุบัน X ได้เปลี่ยนมาใช้สถาปัตยกรรมแบบ Adaptive Streaming (HLS) ซึ่งทำให้การดาวน์โหลดวิดีโอไม่ได้ง่ายแค่การหาแท็ก อีกต่อไป ผมได้พัฒนาเครื่องมือ Twitter Video Downloader ขึ้นมาเพื่อแก้ปัญหาความซับซ้อนนี้ ในบทความนี้ผมจะมาแชร์เบื้องหลังทางเทคนิค ตั้งแต่การทำ R