ทำอย่างไรให้ตัวละครไม่เปลี่ยนข้ามช็อต? จะล็อกความสอดคล้องของตัวแบบได้อย่างไร? คู่มือความสอดคล้องของตัวละครใน NadouPro: ใช้ภาพอ้างอิงหลายมุมเพื่อล็อกลักษณะตัวละคร

ประเด็นสำคัญ

• การเลื่อนไหลของตัวละครคือปัญหาหลักของการสร้างวิดีโอด้วย AI เมื่อตัวละครเปลี่ยนใบหน้าระหว่างช็อตต่าง ๆ จะทำลายความต่อเนื่องของการเล่าเรื่อง

• โหมด Image Fusion ของ NadouPro ใช้การสร้างแบบผสานหลายภาพ เพื่อดึงและล็อกโครงสร้างใบหน้าและพื้นผิวเสื้อผ้าจากภาพอ้างอิงหลายมุม

• Storyboard รองรับการกำหนดลำดับการเล่าเรื่องหลายช็อตในครั้งเดียว เพื่อให้ตัวละครคงความสอดคล้องข้ามช็อต

• โมเดลซิงก์เสียงกับภาพช่วยให้เสียงและรูปปากของตัวละครคงความเป็นหนึ่งเดียวกันระหว่างช็อตต่าง ๆ

• การเพิ่มคุณภาพผิวภาพบุคคลและการรีทัชใบหน้าช่วยปรับรายละเอียดตัวละครเพิ่มเติม และรับมือกับปัญหาทั่วไป เช่น การฟื้นคืนหลังถูกบดบัง

การเลื่อนไหลของตัวละคร: ปัญหาที่ยากที่สุดของวิดีโอ AI

การเลื่อนไหลของตัวละครคือความท้าทายทางเทคนิคที่ดื้อที่สุดในการผลิตวิดีโอด้วย AI ตัวละครเปลี่ยนรูปลักษณ์หลังตัดสลับช็อต เช่น ตำแหน่งอวัยวะใบหน้าเคลื่อน เสื้อผ้าเปลี่ยน หรือทรงผมไม่ตรงกัน สิ่งนี้ยอมรับไม่ได้ในงานเล่าเรื่องที่จริงจัง หากพรีเซนเตอร์ในโฆษณาแบรนด์เปลี่ยนหน้าไปกลางคัน หรือพระเอกในภาพระยะไกลกับภาพใกล้ดูเหมือนคนละคน ผู้ชมจะหลุดออกจากเรื่องทันที

รากของการเลื่อนไหลอยู่ที่ความทรงจำของโมเดลสร้างภาพ AI ต่อตัวละครนั้นแยกเป็นรายเฟรม เมื่อเริ่มช็อตใหม่แต่ละครั้ง โมเดลจะตีความรูปลักษณ์ตัวละครใหม่จากพรอมป์ต์ โดยไม่มีข้อมูลอ้างอิงจากช็อตก่อนหน้า เว้นแต่ระบบจะมีกลไกในการยึดลักษณะภาพหลักของตัวละครไว้ในกระบวนการสร้าง การเลื่อนไหลแทบจะหลีกเลี่ยงไม่ได้

โหมด Image Fusion: ล็อกอัตลักษณ์ภาพของตัวละคร

โหมด Image Fusion ของ NadouPro คือเครื่องมือหลักในการแก้ปัญหาการเลื่อนไหลของตัวละคร หลักการคือการผสานหลายภาพ: คุณอัปโหลดภาพอ้างอิงของตัวละครได้สูงสุดสี่ภาพ ได้แก่ ด้านหน้า ด้านข้าง ด้านหลัง และภาพใกล้รายละเอียด ระบบจะดึงเวกเตอร์คุณลักษณะมิติสูงจากภาพเหล่านี้ รวมถึงโครงสร้างใบหน้า ทรงผม และพื้นผิวเสื้อผ้า แล้วล็อกคุณลักษณะเหล่านี้ไว้ในการสร้างทั้งหมดหลังจากนั้น

คุณค่าของภาพอ้างอิงหลายมุมอยู่ที่การลดการคาดเดาของโมเดล หากให้เพียงภาพหน้าตรงหนึ่งภาพ โมเดลต้องเดาว่าด้านข้างและด้านหลังของตัวละครเป็นอย่างไร และการเดานำไปสู่ความไม่สอดคล้อง ภาพหลายมุมสี่ภาพช่วยให้โมเดลเข้าใจรูปลักษณ์สามมิติของตัวละครอย่างครบถ้วน แม้ในการเคลื่อนกล้องแบบโคจรที่ซับซ้อนหรือการซูมรุนแรง ตัวละครก็ยังคงจำได้

วิธีอ้างอิงที่ก้าวขึ้นไปอีกขั้นคือการอัปโหลดวิดีโอสั้นความยาว 3 ถึง 8 วินาที ระบบไม่เพียงดึงรูปลักษณ์แบบคงที่เท่านั้น แต่ยังดึงรูปแบบการเคลื่อนไหวและลักษณะเสียงของตัวละครด้วย วิดีโออ้างอิงให้ข้อมูลที่สมบูรณ์กว่าภาพนิ่ง เช่น มุมขณะตัวละครหันศีรษะ วิธีขยับปากเวลาพูด และนิสัยการแสดงสีหน้าเล็ก ๆ ลักษณะแบบไดนามิกเหล่านี้ทำให้ตัวละครที่สร้างขึ้นมีชีวิตชีวามากขึ้น

ประเภทอ้างอิง	ข้อกำหนดอินพุต	ข้อได้เปรียบทางเทคนิค
อ้างอิงหลายภาพ	สูงสุด 4 ภาพ ด้านหน้า/ด้านข้าง/ด้านหลัง/รายละเอียด	ความสอดคล้องทางภาพครบทุกทิศทาง
อ้างอิงวิดีโอ	วิดีโอสั้น 3-8 วินาที	ดึงรูปแบบการเคลื่อนไหวและไดนามิกของใบหน้า
อ้างอิงโหนดบนแคนวาส	นำเข้าจากโหนดที่มีอยู่บนแคนวาส	ใช้ตัวละครที่ล็อกแล้วซ้ำข้ามฉาก

โหมด Image Fusion ทำงานร่วมกับโหนดอื่น ๆ ในเวิร์กโฟลว์แคนวาส คุณสามารถล็อกตัวละครหนึ่งตัวบนแคนวาส จากนั้นอ้างอิงวัสดุตัวละครเดียวกันใน Video node หลายตัว เพื่อให้ตัวละครในทุกช็อตสอดคล้องกันอย่างสมบูรณ์ แคนวาสยังรองรับการนำเข้าวัสดุจากพื้นที่ทำงานและการอัปโหลดจากเครื่อง เพื่อจัดการคลังวัสดุอ้างอิงของตัวละครหลายตัว

ความสอดคล้องของตัวละครในการเล่าเรื่องหลายช็อต

ตัวละครในหนังสยองขวัญ ซีรีส์สั้น และโฆษณามักต้องปรากฏในหลายช็อต โดยแต่ละช็อตมีขนาดภาพ มุม และการเคลื่อนกล้องต่างกัน การสร้างทีละช็อตแล้วนำมาต่อกันไม่เพียงมีประสิทธิภาพต่ำ แต่ยังทำให้ความสอดคล้องของตัวละครสูญหายได้ง่ายในช่วงเปลี่ยนผ่าน

Storyboard ของ NadouPro สามารถแยกช็อตด้วย AI ได้ในคลิกเดียว และระบุตัวละคร ฉาก และพร็อพโดยอัตโนมัติ คุณกำหนดระยะเวลา ขนาดภาพ มุมมอง และวิธีเคลื่อนกล้องของแต่ละช็อต ระบบจะจัดการทรานซิชันระหว่างช็อตโดยอัตโนมัติ พร้อมคงลักษณะตัวละครให้สอดคล้องกัน เช่น ลำดับหนึ่ง: ภาพระยะไกลของผู้หญิงยืนอยู่ในสวน → ภาพใกล้ใบหน้าขณะเธอพูด → ช็อตข้ามไหล่ที่แสดงคู่สนทนา ลักษณะใบหน้า ทรงผม และเสื้อผ้าของตัวละครในทั้งสามช็อตจะเป็นหนึ่งเดียวกันอย่างสมบูรณ์

3D Director มอบวิธีจัดวางที่เห็นภาพชัดเจนยิ่งขึ้น ในอินเทอร์เฟซแบบภาพ คุณสามารถจัดตำแหน่งตัวละคร ตั้งไทม์ไลน์หลายกล้อง และวางแผนเส้นทางการเคลื่อนกล้อง โดยส่งออกวิดีโอต่อเนื่องได้สูงสุด 90 วินาที ข้อดีของ 3D Director คือคุณเห็นความสัมพันธ์เชิงพื้นที่และตรรกะการตัดสลับของแต่ละช็อตได้แบบเรียลไทม์ จึงแม่นยำกว่าพรอมป์ต์ข้อความล้วน

ซิงก์เสียงกับภาพ: ทำให้เสียงของตัวละครสอดคล้องกันด้วย

ความสอดคล้องของตัวละครไม่ได้เกี่ยวกับรูปลักษณ์เท่านั้น เสียงก็เป็นส่วนหนึ่งของอัตลักษณ์ตัวละครเช่นกัน หากตัวเอกมีเสียงทุ้มในช็อตแรก แต่จู่ ๆ เสียงสูงขึ้นในช็อตที่สอง ความต่อเนื่องของการเล่าเรื่องก็ถูกทำลายเช่นกัน

โมเดลวิดีโอที่ผสานใน NadouPro เช่น Seedance 2.5 และ Seedance 2.0 รองรับการซิงก์เสียงกับภาพโดยตรง โดยสร้างบทพูด เอฟเฟกต์เสียง และเสียงสภาพแวดล้อมไปพร้อมกับการสร้างภาพ โมเดลเสียง Qizhi-MS 5.0 รับผิดชอบการสร้างเสียงมนุษย์ที่เป็นธรรมชาติและสมจริง มีสไตล์หลากหลายและความเที่ยงตรงสูง

ข้อได้เปรียบหลักของการซิงก์เสียงกับภาพคือการจัดรูปปากให้ตรงกับเสียงพูดอย่างแม่นยำ เมื่อตัวละครพูด การเคลื่อนไหวของปากจะตรงกับจังหวะการออกเสียง ไม่ใช่ความรู้สึกแบบพากย์เสียงภายหลังที่ปากไม่ตรงเสียง การซิงก์แบบนี้สำคัญเป็นพิเศษในฉากสนทนาหลายตัวละคร ระบบต้องแยกให้ออกว่าตัวละครใดกำลังพูด และแมปแอนิเมชันรูปปากที่สอดคล้องกันอย่างถูกต้อง

การจัดการการบดบังและการกู้คืนรายละเอียด

การที่ตัวละครถูกบดบังในช็อตเป็นอีกจุดกระตุ้นหนึ่งที่ทำให้เกิดการเลื่อนไหล ตัวละครสวมหมวก เดินผ่านหลังต้นไม้ หรือถูกประตูบัง ฉากทั่วไปเหล่านี้มักทำให้โมเดล AI ลืมรูปลักษณ์เดิมของตัวละคร ส่งผลให้ใบหน้าบิดเบี้ยวหรือคลาดเคลื่อนหลังการบดบังสิ้นสุดลง

ฟังก์ชันการเพิ่มคุณภาพผิวภาพบุคคลและการรีทัชใบหน้าของ NadouPro มีบทบาทในปัญหาเหล่านี้ การเพิ่มคุณภาพผิวภาพบุคคลจัดการพื้นผิวผิว จุดบกพร่องบนใบหน้า และความคมของภาพ เพื่อให้รายละเอียดใบหน้าของตัวละครยังชัดเจนหลังฟื้นคืนจากการถูกบดบัง การรีทัชใบหน้าสามารถแก้ความคลาดเคลื่อนเล็กน้อยของใบหน้าหลังการสร้างผ่านการแก้ไขด้วยคำสั่งและการปรับพารามิเตอร์อย่างละเอียด เช่น มุมปากไม่ตรง หรือตำแหน่งตาเลื่อน โดยไม่ต้องสร้างใหม่ทั้งช่วง

กลยุทธ์แบบแบ่งชั้นนี้ คือโหมด Image Fusion ล็อกอัตลักษณ์ในขั้นตอนการสร้าง และการรีทัชใบหน้าปรับรายละเอียดหลังการสร้าง ช่วยให้ความสอดคล้องของตัวละครมีหลักประกันสองชั้น

สถานการณ์ใช้งานจริง

โฆษณาแบรนด์ สามารถสร้างวัสดุตัวละครสำหรับพรีเซนเตอร์หนึ่งคน แล้วสร้างโฆษณาหลายสิบชิ้นในสภาพแวดล้อมและฉากผลิตภัณฑ์ที่ต่างกัน โดยใช้ใบหน้าและเสียงเดียวกันตลอดทุกเนื้อหา

วิดีโอการศึกษา ครูสามารถผูกเข้ากับรูปลักษณ์และเสียงของตนเอง เพื่อสร้างคลิปการสอนที่เดินทางผ่านฉากประวัติศาสตร์หรือวิทยาศาสตร์ต่าง ๆ ความสามารถด้านการเรนเดอร์ข้อความของโมเดล Qizhi-INB 2 ช่วยให้ตัวอักษรและคำบรรยายภาพในฉากยังชัดเจนและอ่านได้

งานเตรียมการผลิตภาพยนตร์และวิดีโอ ผู้กำกับใช้ Storyboard และ 3D Director เพื่อทำภาพจำลองทั้งฉากอย่างรวดเร็ว ทั้งลำดับช็อต ตำแหน่งการเคลื่อนที่ของตัวละคร และเส้นทางการเคลื่อนกล้อง โดยไม่ต้องมีทีมถ่ายทำจริงก็สามารถวางแผนการถ่ายทำเต็มรูปแบบได้ โหมด Image Fusion รับประกันว่ารูปลักษณ์ของนักแสดงที่เลือกจะสอดคล้องกันในทุกสตอรี่บอร์ด

เวิร์กโฟลว์ความสอดคล้องของตัวละคร

1. เตรียมวัสดุอ้างอิงคุณภาพสูง: เลือกภาพอ้างอิงหรือวิดีโอสั้นที่แสงสม่ำเสมอและใบหน้าชัดเจน คุณภาพเป็นตัวกำหนดความแม่นยำในการล็อก

2. สร้างโหนดตัวละครบนแคนวาส: อัปโหลดวัสดุอ้างอิง ระบบจะดึงคุณลักษณะและล็อกไว้

3. เปิดใช้งานโหมด Image Fusion: ตรวจสอบให้แน่ใจว่าการสร้างทั้งหมดหลังจากนั้นอ้างอิงวัสดุตัวละครเดียวกัน

4. เขียนลำดับสตอรี่บอร์ด: ใช้ Storyboard หรือ 3D Director เพื่อกำหนดการเล่าเรื่องหลายช็อต

5. สร้างและตรวจสอบ: ตรวจสอบความสอดคล้องของตัวละครในแต่ละช็อต และใช้การรีทัชใบหน้าปรับละเอียดเมื่อจำเป็น

6. ซิงก์เสียงกับภาพ: ใช้โมเดลซิงก์เสียงกับภาพเพื่อสร้างบทพูดของตัวละครและเสียงสภาพแวดล้อม

FAQ

การเลื่อนไหลของตัวละครคืออะไร และทำไมจึงเกิดขึ้น?

การเลื่อนไหลของตัวละครหมายถึงรูปลักษณ์ของตัวละครที่ AI สร้างเปลี่ยนไปในช็อตต่าง ๆ หรือในเฟรมต่าง ๆ ของช็อตเดียวกัน สาเหตุคือโมเดล AI สร้างแบบแยกอิสระเป็นรายเฟรม และขาดข้อมูลอ้างอิงตัวละครข้ามช็อต เว้นแต่จะใช้กลไกอย่างโหมด Image Fusion เพื่อยึดลักษณะหลักของตัวละครไว้ในกระบวนการสร้าง มิฉะนั้นทุกครั้งโมเดลจะตีความรูปลักษณ์ตัวละครใหม่จากพรอมป์ต์ และย่อมเกิดความคลาดเคลื่อนอย่างหลีกเลี่ยงไม่ได้

โหมด Image Fusion ต่างจากการสร้างวิดีโอจากภาพทั่วไปอย่างไร?

การสร้างวิดีโอจากภาพทั่วไปใช้ภาพอ้างอิงเพียงภาพเดียว ทำให้โมเดลต้องคาดเดาส่วนที่ไม่เห็น โหมด Image Fusion รับภาพอ้างอิงหลายมุมได้สูงสุดสี่ภาพ ระบบจะดึงคุณลักษณะมิติสูง เช่น โครงสร้างใบหน้าและพื้นผิวเสื้อผ้า แล้วล็อกคุณลักษณะเหล่านี้ไว้ในการสร้าง ภาพอ้างอิงหลายมุมลดพื้นที่สำหรับการคาดเดา ทำให้ตัวละครยังคงสอดคล้องกันแม้ในการเคลื่อนกล้องที่ซับซ้อนและหลังถูกบดบัง

Storyboard จัดการช็อตโดยอัตโนมัติได้กี่ช็อต?

Storyboard สามารถแยกช็อตด้วย AI ได้ในคลิกเดียว และระบุตัวละคร ฉาก และพร็อพโดยอัตโนมัติ แต่ละช็อตสามารถกำหนดระยะเวลา ขนาดภาพ มุมมอง และวิธีเคลื่อนกล้องได้อย่างอิสระ ระบบจะจัดการทรานซิชันโดยอัตโนมัติและคงความสอดคล้องของตัวละคร เมื่อใช้ร่วมกับ 3D Director จะส่งออกวิดีโอต่อเนื่องได้สูงสุด 90 วินาที

จะแก้ไขใบหน้าตัวละครที่บิดเบี้ยวหลังถูกบดบังได้อย่างไร?

ใช้การจัดการสองชั้น: โหมด Image Fusion ล็อกอัตลักษณ์ตัวละครในขั้นตอนการสร้าง ดังนั้นเมื่อฟื้นคืนหลังถูกบดบัง โมเดลยังอ้างอิงคุณลักษณะที่ล็อกไว้ หากยังมีความคลาดเคลื่อน ฟังก์ชันรีทัชใบหน้าจะใช้การแก้ไขด้วยคำสั่งและการปรับพารามิเตอร์อย่างละเอียดเพื่อแก้หลังการสร้าง เช่น ปรับตำแหน่งมุมปาก ขนาดตา และพื้นผิวผิว โดยไม่ต้องสร้างใหม่ทั้งช่วง

จะทำให้เสียงของตัวละครสอดคล้องกันได้อย่างไร?

ใช้โมเดลซิงก์เสียงกับภาพ เช่น Seedance 2.5 เพื่อสร้างบทพูดและเสียงสภาพแวดล้อมไปพร้อมกับการสร้างภาพ NadouTTS สามารถสร้างเสียงมนุษย์ที่เป็นธรรมชาติและสมจริง ลักษณะเสียงของตัวละครถูกผูกผ่านเสียงอ้างอิง และคงความเป็นหนึ่งเดียวกันในหลายช็อต ระบบรองรับการสร้างบทพูดหลายภาษา พร้อมรูปปากที่ตรงกับการออกเสียงอย่างแม่นยำ

เนื้อหานี้มีข้อมูลที่สร้างโดย AI ซึ่งอาจไม่ถูกต้อง โปรดตรวจสอบด้วยตนเอง