ทำไมตัวละครหน้าเปลี่ยนบ่อย? ทำไมภาพวิดีโอ AI จึงสั่น? คู่มือความสม่ำเสมอของวิดีโอ AI จาก NadouPro: แก้ปัญหาตัวละครเพี้ยนและภาพสั่น

ประเด็นสำคัญ

• แก่นของการดริฟต์คือโมเดล "ลืม" วัตถุหลักระหว่างเฟรมต่อเฟรม: ดวงตาเปลี่ยนสี เสื้อผ้าเปลี่ยนแบบ ฉากหลังไหลเคลื่อน ล้วนเป็นอาการของความสม่ำเสมอที่พังลง

• สาเหตุหลักสามประเภท: การสร้างทีละเฟรมแบบอิสระทำให้ข้อผิดพลาดสะสม โมเดลขาดความเข้าใจพื้นที่สามมิติ และพรอมป์คลุมเครือเกินไปจนเปิดช่องให้โมเดลเดาสุ่ม

• ภาพอ้างอิงคือจุดยึดที่ตรงที่สุด: สร้างภาพหลักของตัวละครคุณภาพสูงก่อน แล้วแนบภาพนั้นในการสร้างทุกครั้ง

• โหมด First/Last Frame สามารถล็อกท่าทางเริ่มต้นและท่าทางสิ้นสุดของคลิป บังคับให้โมเดลเปลี่ยนผ่านอย่างราบรื่นระหว่างสองจุด

• โหมด Motion Control ของ NadouPro ใช้วิดีโออ้างอิงจริงขับเคลื่อนการเคลื่อนไหว เพื่อขจัดการบิดเพี้ยนจากการที่ "โมเดลเดาการเคลื่อนไหว" ตั้งแต่ต้นทาง

การดริฟต์ในวิดีโอ AI คืออะไร

ในวิดีโอที่สร้างด้วย AI มักพบภาพลักษณะนี้: รูม่านตาของตัวละครเปลี่ยนจากสีน้ำเงินเป็นสีเขียว เสื้อคลุมเปลี่ยนแบบกลางทาง ชั้นหนังสือไหลเหมือนน้ำ หรือมีหน้าต่างเพิ่มขึ้นมาบนผนังโดยไม่มีที่มา ปรากฏการณ์เหล่านี้เรียกรวมกันว่าการดริฟต์ คือโมเดลเกิดข้อผิดพลาดในการรักษาความสม่ำเสมอก่อนและหลัง

การดริฟต์แบ่งได้เป็นสองแบบ และวิธีจัดการไม่เหมือนกัน:

• การดริฟต์ของอัตลักษณ์: ลักษณะเฉพาะของวัตถุหลักถูกกัดกร่อนระหว่างเฟรมต่อเนื่อง โครงหน้า ทรงผม และเสื้อผ้าค่อย ๆ เพี้ยนไป แก่นของปัญหาคือโมเดลสูญเสีย "สถานะ" ของตัวละคร

• ความไม่สม่ำเสมอตามลำดับเวลา: พื้นผิวและแสงกะพริบสั่น ค่า pixel ในลำดับภาพเชื่อมต่อกันไม่ราบรื่น แสดงออกเป็นภาพสั่นหรือโครงสร้างละลาย

ทำไมใบหน้าของตัวเอกเล่นไปครึ่งหนึ่งแล้วกลายเป็นคนแปลกหน้า? เพราะโมเดลไม่มี "แบบจำลองทางความคิด" ที่คงอยู่ต่อฉาก ต้องอาศัยการคาดเดาตามความน่าจะเป็น พอเดาต่อไปเรื่อย ๆ ก็เบี่ยงออกจากการตั้งค่าเดิม ยิ่งลำดับภาพยาว ปัญหายิ่งรุนแรง ข้อผิดพลาดเล็ก ๆ ตอนต้นจะกลายเป็นความสับสนเต็มรูปแบบในตอนท้าย

การดริฟต์เกิดขึ้นได้อย่างไร

• การสร้างทีละเฟรมแบบอิสระ: โมเดลสร้างส่วนใหญ่ถือว่าแต่ละเฟรมเป็นงานสร้างสรรค์แบบกึ่งอิสระ มันไม่ได้ "รู้" ว่านี่คือคนเดียวกับเมื่อห้าสิบเฟรมก่อน ทำได้เพียงใช้เฟรมก่อนหน้าเป็นข้อมูลอ้างอิง หากข้อมูลอ้างอิงคลาดเคลื่อนเพียงเล็กน้อย ข้อผิดพลาดก็จะส่งต่อไปเรื่อย ๆ

• การสะสมของข้อผิดพลาด: คล้ายปัญหา "สำเนาของสำเนา" เมื่อเฟรมที่สองสร้างจากเฟรมแรก ตำแหน่งกระดุมผิดนิดเดียว สีผมเพี้ยนเล็กน้อย ข้อผิดพลาดเหล่านี้จะถูกฝังเป็นฐานของเฟรมที่สาม เมื่อคลิปสิบวินาทีเล่นจบ ข้อผิดพลาดเล็ก ๆ ก็ขยายจนกลายเป็นตัวละครอีกคน

• ขาดความเข้าใจสามมิติ: โมเดลที่ฝึกบนสื่อวิดีโอสองมิติไม่เข้าใจพื้นที่สามมิติ ความลึก และกฎทางฟิสิกส์ จึงแยกไม่ออกระหว่าง "กล้องเคลื่อนรอบรถคันหนึ่ง" กับ "รถกำลังบิดรูปเอง" ทำให้การเหลื่อมของพื้นที่และภาพหลอนหลีกเลี่ยงไม่ได้

• ความผันผวนใน latent space: โมเดลทำการ denoise ใน latent space ที่ถูกบีบอัด เมื่อพื้นที่นี้เก็บรายละเอียดทั้งหมดไม่พอ โมเดลจะเติมช่องว่างด้วยข้อมูลที่ "สมเหตุสมผลทางความน่าจะเป็นแต่ผิดในความเป็นจริง" เช่น ในข้อมูลฝึก ห้องมักมีเก้าอี้หลายตัว จึงมีเก้าอี้เพิ่มขึ้นมาในภาพ

• การ overfit ตามลำดับเวลา: โมเดลเรียนรู้ความสัมพันธ์ตามลำดับเวลาที่ไม่จริง และเชื่อว่าเฟรมหนึ่งต้องต่อจากอีกเฟรมด้วยรูปแบบตายตัว ทำให้การเคลื่อนไหวซ้ำซากและจังหวะดูเป็นกลไก

ห้าวิธีช่วยลดการดริฟต์

การรับมือการดริฟต์ต้องอาศัยทั้งความสามารถของโมเดลและวินัยของเวิร์กโฟลว์ แก่นสำคัญคือให้ "จุดยึด" กับโมเดลมากพอ เพื่อไม่ให้มันมีพื้นที่หลุดออกนอกทาง

ใช้ภาพอ้างอิงล็อกอัตลักษณ์

วิธีที่ตรงที่สุดในการรับมือการดริฟต์ของอัตลักษณ์ คือเตือนโมเดลในทุกขั้นตอนว่าวัตถุหลักมีหน้าตาอย่างไร คุณลักษณะจากภาพอ้างอิงจะถูกฉีดเข้าไปในกระบวนการสร้าง ทำหน้าที่เป็นจุดยึดทางภาพอย่างต่อเนื่อง

• กลยุทธ์ภาพหลัก: สร้างภาพหลักของตัวละครคุณภาพสูงก่อน จากนั้นทุกครั้งที่สร้างให้ใส่ภาพนี้ไว้ในตำแหน่งอ้างอิง ใบหน้าก็จะคงที่มากขึ้น โหมด Image Fusion และโหมด Multi-reference ของ NadouPro รองรับวิธีใช้นี้

• First/Last Frame: Video node ของ NadouPro รองรับอินพุต First/Last Frame เพื่อกำหนดท่าทางเริ่มต้นและท่าทางสิ้นสุดของคลิป โมเดลจะ interpolate เส้นทางที่ราบรื่นระหว่างทั้งสองจุด ทำให้ภาพไม่ลอยไปสู่การจัดองค์ประกอบที่คาดไม่ถึง

• สื่อเพื่อความสม่ำเสมอของตัวละคร: ใช้ภาพหลายช่อง เช่น Character Body 3-View แบบเต็มตัวและ Character Expression 9-Grid เพื่อตรึงภาพลักษณ์หลายมุมของตัวละครไว้ก่อน แล้วจึงเข้าสู่ขั้นตอนวิดีโอ จุดเริ่มต้นของความสม่ำเสมอจะสูงขึ้น

ทำให้พรอมป์กระชับและชัดเจนขึ้น

คำสั่งที่คลุมเครือคือแหล่งใหญ่ที่สุดของภาพหลอน เมื่อปล่อยพื้นที่ให้โมเดลเดามากเกินไป มันก็ทำได้เพียงเดาสุ่ม

• การเคลื่อนไหวต้องเฉพาะเจาะจง: ใช้คำกริยาที่ชี้ชัด เช่น "เดินเร็วด้วยก้าวยาว" หรือ "หมุนช้า ๆ 360 องศา" ไม่ใช้คำว่า "ขยับนิดหน่อย"

• เขียนให้ชัดว่าไม่ต้องการอะไร: ระบุองค์ประกอบที่ต้องหลีกเลี่ยงอย่างชัดเจน เช่น เบลอ บิดเพี้ยน แขนขาเกิน กล้องสั่น คำอธิบายเชิงลบเหล่านี้คือรั้วป้องกันการดริฟต์

• กำหนดเป้าหมายให้การเคลื่อนกล้อง: อย่าเขียนแค่ "ดันกล้องเข้าใกล้" แต่เขียนว่า "กล้องดันเข้าใกล้ดวงตาของผู้หญิง" การเคลื่อนกล้องที่มีเป้าหมายชัดเจนจะไม่ทำวัตถุหลักหลุดกลางทาง

ใช้ Motion Control ขจัดการเดาการเคลื่อนไหว

การเคลื่อนไหวเป็นพื้นที่ที่เกิดการดริฟต์บ่อย โมเดลต้องเดาเองว่าจะเดินหรือกระโดดอย่างไร และจุดที่เดาผิดก็คือจุดเริ่มของการบิดเพี้ยน โหมด Motion Control ของ NadouPro เปลี่ยนการเคลื่อนไหวจาก "การเดา" เป็น "การนำเข้า": ดึงโครงกระดูกการเคลื่อนไหวและท่าทางมือจากวิดีโออ้างอิง แล้วถ่ายโอนไปยังภาพตัวละคร

• ซิงก์การเคลื่อนไหวทั้งตัว: การเคลื่อนไหวไดนามิกขนาดใหญ่ เช่น ศิลปะการต่อสู้หรือโรลเลอร์สเกตก็ยังรักษาท่าทางและจังหวะให้ซิงก์กันอย่างแน่นหนาได้

• โครงสร้างท่าซับซ้อนมีเสถียรภาพ: การเคลื่อนไหวที่หลายส่วนของร่างกายทำงานร่วมกันยังคงโครงสร้างครบถ้วน แขนขาจะไม่ขาดหรือบิดรูปในท่าที่ออกแบบซับซ้อน

• ความแม่นยำของมือ: มือเป็นส่วนที่ขึ้นชื่อว่ายาก และมักพังเป็นก้อนเนื้อหลายนิ้ว Motion Control ช่วยปรับปรุงการแสดงข้อต่อนิ้วด้วยการเลียนแบบสื่อจริง

• การเคลื่อนไหวต่อเนื่องใน long take: รองรับการเคลื่อนไหวต่อเนื่องแบบ one-take ได้สูงสุดสามสิบวินาที รักษาความต่อเนื่องของการเคลื่อนไหวตั้งแต่ต้นจนจบ และหลีกเลี่ยงการพังช่วงท้ายที่พบได้บ่อยในคลิปยาว

โหมดทิศทางสองแบบตอบโจทย์ความเสถียรที่ต่างกัน: ทิศทางตามวิดีโอเหมาะกับการจัดท่าซับซ้อน โดยให้การเคลื่อนไหว สีหน้า และกล้องสอดคล้องกับอ้างอิงทั้งหมด; ทิศทางตามภาพเหมาะกับฉากที่ใบหน้าตัวละครต้องนิ่งอย่างแน่นอน การเคลื่อนไหวตามวิดีโออ้างอิง ส่วนท่าทางยังคงตามภาพเดิม

ควบคุมฉากและตัวละครแบบแยกชั้น

พรอมป์แบบข้อความรับผิดชอบว่า "อยู่ที่ไหน" ส่วนวิดีโออ้างอิงรับผิดชอบว่า "เคลื่อนไหวอย่างไร" NadouPro อนุญาตให้ใช้ภาษาควบคุมฉากหลัง เสื้อผ้า และองค์ประกอบสภาพแวดล้อมได้อย่างอิสระ ขณะที่ตัวละครยังคงเลียนแบบวิดีโออ้างอิงตามเดิม ฉากหลังจะไม่ดริฟต์ไปพร้อมกับวัตถุหลัก เพราะระบบถือว่าฉากหลังและตัวละครเป็นสองชั้นที่แยกกันแต่ซิงก์กัน

แนวทางปฏิบัติที่ดีที่สุดสำหรับ Motion Control

• จับคู่ขนาดภาพ: วิดีโออ้างอิงครึ่งตัวควรคู่กับภาพครึ่งตัว วิดีโออ้างอิงเต็มตัวควรคู่กับภาพเต็มตัว การผสมสัดส่วนจะทำให้การ mapping พิกัดล้มเหลว เกิดใบหน้าสั่นหรือบิดเบี้ยว

• ฉากหลังเรียบง่าย: ฉากหลังของวิดีโออ้างอิงที่รกจะรบกวนการดึงการเคลื่อนไหว สื่อที่มี silhouette ชัดเจนจะให้ผลการถ่ายโอนที่สะอาดกว่าอย่างเห็นได้ชัด

• ความเร็วสม่ำเสมอ: การหมุนเร็วและการเคลื่อนที่ฉับพลันทำให้แขนขามีปัญหาได้ง่าย การเคลื่อนไหวความเร็วปานกลางและราบรื่นมีเสถียรภาพที่สุด

• คำสำคัญด้านการเคลื่อนกล้อง: เพิ่มคำอธิบายอย่าง "กล้องอยู่กับที่" "ขาตั้งกล้อง" "35 มิลลิเมตร" ในพรอมป์ เพื่อยึดความรู้สึกทางกายภาพของฉากและป้องกันไม่ให้กล้องลอยตามตัวละครไปด้วย พรีเซ็ตพารามิเตอร์การถ่ายภาพของ NadouPro มีชุดผสมมากกว่าสามร้อยแบบ สามารถระบุ Focal Length, Depth of Field และสไตล์ฟิล์มได้โดยตรง

คำถามที่พบบ่อย

ถาม: การดริฟต์ของอัตลักษณ์กับความไม่สม่ำเสมอตามลำดับเวลาต่างกันอย่างไรในเชิงเทคนิค?

การดริฟต์ของอัตลักษณ์หมายถึงลักษณะเฉพาะของวัตถุหลัก เช่น โครงหน้าและเสื้อผ้า ถูกกัดกร่อนระหว่างเฟรมต่อเนื่อง สาเหตุคือโมเดลสูญเสียสถานะของตัวละครและมองแต่ละเฟรมเป็นงานอิสระ ส่วนความไม่สม่ำเสมอตามลำดับเวลาหมายถึงการกะพริบของพื้นผิวและแสง ค่า pixel ในลำดับภาพเชื่อมต่อกันไม่ราบรื่น โดยมักแสดงออกเป็นอาการสั่นหรือโครงสร้างละลาย

ถาม: ทำไมฉากหลังจึงมักบิดเบี้ยวหรือละลายเมื่อมีการเคลื่อนกล้องซับซ้อน?

สถาปัตยกรรมการสร้างจำนวนมากขาดแบบจำลองโลกสามมิติที่แท้จริง ระบบเรียนรู้จากสื่อวิดีโอแบบแบน จึงแยกไม่ออกระหว่างการ pan กล้องกับสภาพแวดล้อมที่กำลังบิดรูปเอง เมื่อไม่มีความเข้าใจเรื่องความลึกและความคงตัวของวัตถุ โมเดลจึงตีความการเคลื่อนที่เชิงพื้นที่เป็นการไหลเปลี่ยนของฉากหลัง

ถาม: การสะสมของข้อผิดพลาดทำลายวิดีโอยาวได้อย่างไร?

โมเดลสร้างมักใช้วิธี autoregressive โดยแต่ละเฟรมพึ่งพาข้อมูลจากเฟรมก่อนหน้า ข้อผิดพลาดเล็ก ๆ ในช่วงต้นจะกลายเป็นฐานของเฟรมถัด ๆ ไป และขยายต่อเนื่องเมื่อคลิปยาวขึ้น exposure bias ประเภทนี้คือสาเหตุหลักที่ทำให้ลำดับยาวลงเอยด้วยการพังทั่วทั้งภาพ วิธีรับมือคือแยกวิดีโอยาวเป็น shot แล้วสร้างทีละช่วง จากนั้นใช้ Clip ของ NadouPro ต่อเข้าด้วยกัน และใช้ภาพอ้างอิงยึดแต่ละช่วงไว้

ถาม: วัตถุที่เพิ่มขึ้นมาเองในฉากซับซ้อนเกิดจากอะไร?

ภาพหลอนมักมาจากความผันผวนใน latent space: เมื่อโมเดล denoise ใน representation ที่ถูกบีบอัด และความจุของพื้นที่ไม่พอเก็บรายละเอียดทั้งหมด มันจะเติมช่องว่างด้วยข้อมูลที่พบบ่อยทางสถิติแต่ผิดบริบท จึงเกิดแขนขาเกินหรือเฟอร์นิเจอร์ผี การทำพรอมป์ให้กระชับขึ้นและระบุรายการวัตถุในฉากอย่างชัดเจนช่วยลดปัญหานี้ได้อย่างเห็นได้ชัด

ถาม: จะลดการเคลื่อนไหวที่ดูไม่จริงแบบ "ลอย" ได้อย่างไร?

เพิ่มข้อจำกัดทางฟิสิกส์เข้าไปในกระบวนการสร้าง เช่น แรงโน้มถ่วง โมเมนตัม และความสัมพันธ์ของการสัมผัส เขียนแรงของการเคลื่อนไหวและจุดลงให้ชัดในพรอมป์ และใช้สื่อการเคลื่อนไหวจริงเป็นอ้างอิง วิธีนี้สอดคล้องกับกฎฟิสิกส์มากกว่าการบรรยายการเคลื่อนไหวด้วยข้อความล้วน และช่วยหลีกเลี่ยงความรู้สึกลอยเหมือนฝันซึ่งเป็นลักษณะเฉพาะของการสร้างแบบไร้ข้อจำกัด

ดูฟีเจอร์เพิ่มเติมได้ที่ NadouPro: NadouPro

เนื้อหานี้มีข้อมูลที่สร้างโดย AI ซึ่งอาจไม่ถูกต้อง โปรดตรวจสอบด้วยตนเอง