ย้ายท่าทางจากวิดีโอให้ตัวละครอย่างไร? ใช้การย้ายท่าทางอย่างไร? ทดลอง Motion Control ของ NadouPro: ย้ายท่าทางใด ๆ ให้ตัวละครของคุณ

หากอยากให้ตัวละคร AI เต้น ชกมวย หรือทำท่าทาง การพึ่งคำบรรยายด้วยข้อความแทบเป็นไปไม่ได้ที่จะได้ความแม่นยำ Motion Control จึงเป็นอีกทางหนึ่ง: หาวิดีโอที่มีอยู่แล้วมาเป็นข้อมูลอ้างอิงท่าทาง แล้วถ่ายโอนการเคลื่อนไหวในวิดีโอนั้นไปยังตัวละครของคุณโดยตรง ท่าทาง สีหน้า และจังหวะจะสืบทอดมาตามเดิม ขณะที่ตัวตนของตัวละครยังคงไม่เปลี่ยน

ความสามารถ Motion Control ของ NadouPro Video node เข้าใจกฎทางกายภาพของการเคลื่อนไหวร่างกายมนุษย์ เช่น การถ่ายน้ำหนัก การส่งผ่านโมเมนตัม และการเชื่อมโยงของข้อต่อ รายละเอียดเหล่านี้จะเคลื่อนไปตามวิดีโออ้างอิง

มันทำงานอย่างไร

มีอินพุตสองส่วน: ภาพอ้างอิงตัวละครใช้กำหนดรูปลักษณ์ และวิดีโออ้างอิงท่าทางใช้กำหนดการเคลื่อนไหว โมเดลนำท่าทางในวิดีโอไปใช้กับตัวละครแบบภาพนิ่ง แล้วส่งออกเป็นวิดีโอที่ตัวละครทำท่าทางเดียวกัน

แตกต่างจาก Image to Video ทั่วไป Motion Control คือการสั่งการอย่างแม่นยำ ไม่ว่าจะเป็นท่ามือเล็ก ๆ หรือการเตะที่ยาก โมเดลจะทำงานราวกับนักเชิดหุ่นดิจิทัล

จุดเด่นของความสามารถ 4 ข้อ

จัดการท่าทางซับซ้อนได้ ลำดับการเคลื่อนไหวที่ซับซ้อนอย่างท่าเต้นหรือท่าศิลปะการต่อสู้สามารถทำได้ครบถ้วน โดยตัวละครไม่เสียรูป หากวิดีโออ้างอิงมีการย่ำเท้าแรงหรือกระโดด ตัวละครที่สร้างขึ้นจะมีแรงกระแทกทางกายภาพที่สมจริง และให้ความรู้สึกมีน้ำหนักตามท่าทาง

รายละเอียดของมือ นิ้วมือเป็นจุดอ่อนของวิดีโอ AI มาโดยตลอด Motion Control เลียนแบบวัตถุดิบจริง จึงช่วยปรับปรุงการแสดงข้อต่อนิ้วอย่างชัดเจน ทำให้คอนเทนต์ประเภทท่ามือเชื่อถือได้เป็นครั้งแรก

อิสระด้านฉาก ท่าทางและพื้นหลังแยกออกจากกันได้ ตัวละครทำท่าทางจากวิดีโออ้างอิง ขณะที่สภาพแวดล้อมสามารถเปลี่ยนด้วยพรอมต์ได้ตามต้องการ เช่น “คงท่าทางของตัวละครไว้ เปลี่ยนฉากเป็นถนนยามค่ำคืน” ท่าทางเดียวกันในสิบสภาพแวดล้อม ก็คือวัตถุดิบสิบชิ้น

การควบคุมกล้อง สามารถควบคุมระดับความเคร่งครัดที่กล้องเคลื่อนไหวตามวิดีโออ้างอิง หรือเลือกคงองค์ประกอบภาพของภาพต้นฉบับไว้ แล้วปรับตามความต้องการในการสร้างสรรค์

ขั้นตอนการใช้งาน

ขั้นแรก เตรียมภาพตัวละคร แขนขาต้องมองเห็นครบถ้วน: หากในภาพตัวละครเอามือใส่กระเป๋า แต่ท่าทางอ้างอิงต้องการให้โบกมือ โมเดลจะต้องเติมมือขึ้นมาเอง จึงผิดพลาดได้ง่าย ควรเว้นพื้นที่รอบตัวละครให้ขยับได้ เมื่อท่าทางมีช่วงการเคลื่อนไหวกว้าง ภาพต้องมีพื้นที่เผื่อเพื่อหลีกเลี่ยงไม่ให้แขนขาถูกกรอบภาพตัดออก

ขั้นที่สอง เลือกวิดีโออ้างอิงท่าทาง วิดีโอที่มีตัวแบบชัดเจนและพื้นหลังสะอาดจะใช้งานได้ดีที่สุด ภาพคอนทราสต์สูงที่มีเส้นขอบเด่นจะมีอัตราการจดจำสูงที่สุด ขนาดภาพต้องสอดคล้องกัน: หากต้องการ Close-Up ใบหน้าให้ใช้อ้างอิงแบบ Close-Up หากใช้วิดีโออ้างอิงเดินเต็มตัวกับองค์ประกอบครึ่งตัว การจับคู่จะคลาดเคลื่อน

ขั้นที่สาม สร้างผลลัพธ์ นำวัตถุดิบทั้งสองส่วนเข้าโมเดล แล้วได้ผลลัพธ์แอนิเมชันที่พร้อมเผยแพร่โดยตรง หากไม่พอใจ ให้ตรวจสอบคุณภาพของอินพุตทั้งสองก่อน ปัญหาเก้าส่วนในสิบมาจากวัตถุดิบ ไม่ใช่พารามิเตอร์

สถานการณ์ใช้งานจริง

คอนเทนต์อวตารเสมือน มาสคอตแบรนด์และวีทูบเบอร์สามารถขับเคลื่อนด้วยวิดีโออ้างอิงท่าทางจากคนจริง การแสดงดูเป็นธรรมชาติ และรูปลักษณ์คงที่

คอนเทนต์เต้นและฟิตเนส ย้ายท่าเต้นยอดนิยมไปยังตัวละครของคุณได้โดยตรง ทำคอนเทนต์ตามกระแสได้โดยไม่ต้องให้คนจริงออกกล้อง

การโชว์สินค้า ท่าทางการโพสของโมเดลมาจากวิดีโออ้างอิงจริง เสื้อผ้าขณะสวมใส่จึงเคลื่อนไหวเป็นธรรมชาติ และให้ความรู้สึกเหมือนรีวิวจากผู้ซื้อได้เต็มที่

การพรีวิวฉากแอ็กชัน ทีมภาพยนตร์ใช้ Motion Control เพื่อสร้างพรีวิวฉากแอ็กชันอย่างรวดเร็ว ยืนยันการจัดวางการเคลื่อนไหวก่อนเข้าสู่การผลิตจริง ทำให้ต้นทุนการลองผิดลองถูกลดลงต่ำที่สุด

คำถามที่พบบ่อย

ถาม: วิดีโออ้างอิงท่าทางต้องมีคุณสมบัติอย่างไร?
ควรเป็นตัวแบบคนเดียว ท่าทางครบถ้วน พื้นหลังสะอาด และมีแสงเพียงพอ วัตถุดิบที่เบลอหรือมีหลายตัวแบบจะลดคุณภาพการถ่ายโอนอย่างชัดเจน

ถาม: รูปลักษณ์ของตัวละครจะบิดเบี้ยวตามท่าทางหรือไม่?
หากสร้างการตั้งค่าตัวละครไว้มั่นคงก็จะไม่เป็นเช่นนั้น แนะนำให้ใช้ภาพตัวละครสามมุมเพื่อล็อกรูปลักษณ์ก่อน แล้วค่อยทำ Motion Control ความเสถียรขณะเคลื่อนไหวจะดีขึ้นอย่างชัดเจน

ถาม: ถ้าท่าทางซับซ้อนแล้วทำครั้งเดียวสำเร็จน้อย ควรทำอย่างไร?
ให้แบ่งเป็นช่วง ๆ แยกท่าทางยาวออกเป็นคลิปสั้นหลายช่วงแล้วถ่ายโอนทีละช่วง จากนั้นนำไปตัดต่อประกอบกัน และปรับแต่ละช่วงแยกกัน

ถาม: ควบคุมหลายตัวละครพร้อมกันได้หรือไม่?
การควบคุมตัวละครเดียวเสถียรที่สุด หากต้องการหลายตัวละครในเฟรมเดียว แนะนำให้สร้างแยกกันแล้วคอมโพสิตภายหลัง หรือใช้ 3D Director ในการจัดวาง

ถาม: ควรเลือกการย้ายท่าทางหรือการบรรยายท่าทางโดยตรงอย่างไร?
หากต้องการทำซ้ำท่าทางเฉพาะให้แม่นยำ ให้ใช้วิดีโออ้างอิงเสมอ หากต้องการเพียงความรู้สึกการเคลื่อนไหวโดยรวม การบรรยายด้วยข้อความจะสะดวกกว่า

ดูฟีเจอร์เพิ่มเติมได้ที่ NadouPro: NadouPro

เนื้อหานี้มีข้อมูลที่สร้างโดย AI ซึ่งอาจไม่ถูกต้อง โปรดตรวจสอบด้วยตนเอง