ตัวละคร AI เรียนรู้ท่าทางได้อย่างไร? ใช้ Motion Control อย่างไร? บทช่วยสอน Motion Control ของ NadouPro: ให้ตัวละครนิ่งเรียนรู้ท่าทางอ้างอิง

การทำให้คนในภาพขยับไม่ใช่เรื่องยาก สิ่งที่ยากคือการให้ขยับ “ตามท่าที่คุณต้องการ” หากเขียนพรอมป์เพื่ออธิบายฉากต่อสู้ โมเดลมักให้ผลลัพธ์เป็นค่าเฉลี่ยตามจินตนาการของมันเอง; ถ้าอยากได้สตรีตแดนซ์ ผลลัพธ์ก็มักกลายเป็นท่ากายบริหารทั่วไป ใน Video node ของ NadouPro มีโหมดประเภทหนึ่งที่ออกแบบมาเพื่อแก้ปัญหานี้โดยเฉพาะ นั่นคือ Motion Control แนวคิดตรงไปตรงมามาก แทนที่จะอธิบายท่าทางด้วยข้อความ ก็ให้มันดูตัวอย่างจริงไปเลย

หลักการของ Motion Control: ภาพหนึ่งภาพบวกวิดีโอหนึ่งคลิป

อินพุตของ Motion Control มีสองอย่าง: ภาพตัวละครหนึ่งภาพ และวิดีโออ้างอิงที่มีท่าทางเป้าหมายหนึ่งคลิป หน้าที่ของโมเดลคือ “ถ่ายโอน” โดยแมปท่าทางร่างกาย จังหวะ หรือแม้แต่สีหน้าในวิดีโออ้างอิงไปยังตัวละครนิ่งของคุณทีละเฟรม พร้อมรักษาหน้าตา เสื้อผ้า และตัวตนของตัวละครไว้

สิ่งนี้ต่างจาก Image to Video ทั่วไปอย่างชัดเจน Image to Video ปล่อยให้โมเดลสร้างสรรค์เอง ส่วน Motion Control คือการ “เต้นตามแบบ” แบบแรกผลลัพธ์ขึ้นอยู่กับการสุ่มดวง ส่วนแบบหลังขึ้นอยู่กับการเลือกวิดีโออ้างอิง หากนำคลิปเต้นสิบวินาทีไปใช้กับตัวละครสามตัวและสร้างสามรอบ ความเที่ยงตรงของท่าทางจะคงที่ และแต่ละตัวละครยังคงเป็นตัวเอง

Kling 3.0 Omni ที่ NadouPro ผสานไว้เป็นโมเดลหลักสำหรับงานประเภทนี้ มีความสามารถอินพุตหลายรูปแบบที่แข็งแรง และรายละเอียดด้านฟิสิกส์ของการเคลื่อนไหวกับสีหน้าของตัวละครก็ทนต่อการดูใกล้ ๆ ได้ เมื่อต้องจัดการการกำกับที่ซับซ้อนขึ้น ยังสามารถใช้ร่วมกับ 3D Director เพื่อวางแผนมุมกล้องได้

ขั้นตอนการใช้งานแบบครบถ้วน

ยกตัวอย่าง “ให้ตัวละครสไตล์โบราณเต้นโมเดิร์นแดนซ์” แล้วลองไล่ขั้นตอนทั้งหมด:

1. เตรียมภาพตัวละคร: เป็นมุมหน้าตรงหรือมุมสามส่วน เห็นเต็มตัว แสงชัดเจน ใบหน้าและโครงสร้างร่างกายครบถ้วนและมองเห็นได้ชัด ภาพตัวละครสามมุมมองเป็นอินพุตที่เสถียรที่สุด

2. เตรียมวิดีโออ้างอิงท่าทาง: มีคนเดียวอยู่ในเฟรม ท่าทางครบถ้วนไม่ถูกบดบัง ฉากหลังสะอาด และแสงเพียงพอ วัสดุประเภทการเต้นและท่ามือให้ผลลัพธ์เสถียรที่สุด

3. เข้าสู่ Video node แล้วเลือกโหมด Motion Control: อัปโหลดภาพตัวละครและวิดีโออ้างอิง

4. เขียนคำอธิบายบริบทสั้น ๆ: ระบุความต้องการด้านฉากหลัง แสง หรือบรรยากาศ ท่าทางจะถูกกำหนดโดยวิดีโออ้างอิง ส่วนข้อความมีหน้าที่ดูแลสภาพแวดล้อมเท่านั้น

5. สร้างและตรวจสอบ: เน้นดูว่าจังหวะท่าทางตามทันหรือไม่ ใบหน้าตัวละครนิ่งพอหรือไม่ และเสื้อผ้ามีการลอยหรือเพี้ยนหรือไม่

แหล่งที่มาของฉากหลังเลือกได้สองแบบ: ตามสภาพแวดล้อมในวิดีโออ้างอิง หรือใช้ฉากในภาพตัวละครต่อไป เมื่อต้องทำการทดสอบเปรียบเทียบ การนำคลิปเต้นชุดเดียวกันไปสร้างกับฉากหลังที่ต่างกันจะมีประสิทธิภาพมาก

คุณภาพของวิดีโออ้างอิงเป็นตัวกำหนดเพดานผลลัพธ์

ผลลัพธ์ของ Motion Control ไวต่อคุณภาพวัสดุอ้างอิง มีประสบการณ์สำคัญสามข้อ:

• มีตัวแบบเดียวจะเสถียรที่สุด: วัสดุที่มีหลายคนในเฟรมเดียวกันทำให้ท่าทางปะปนกันได้ง่าย ควรครอปก่อนแล้วจึงอัปโหลด

• จุดเริ่มต้นและจุดสิ้นสุดของท่าทางต้องครบ: ท่าทางที่ถูกตัดขาดจะทำให้หลังถ่ายโอนแล้วรู้สึกขาดหัวขาดท้ายและดูผิดธรรมชาติ

• รูปร่างของตัวละครอ้างอิงกับตัวละครในผลงานอย่าต่างกันมากเกินไป: หากให้ตัวละครรูปร่างค่อนข้างอวบถ่ายโอนท่าตีลังกาของนักยิมนาสติก ความรู้สึกทางฟิสิกส์จะผิดเพี้ยน

ใครกำลังใช้ความสามารถชุดนี้

ผู้สร้างแอนิเมชันตัวละคร: ไม่จำเป็นต้องทำคีย์เฟรมทีละเฟรม เพียงป้อนการแสดงของคนจริงหนึ่งคลิป ตัวละครคอนเซ็ปต์ก็ “แสดงเป็น” ได้ทันที ทีมหนังสั้นอิสระใช้สิ่งนี้เปลี่ยนภาพออกแบบให้เป็นตัวอย่างแบบเคลื่อนไหว

ทีมดูแลมาสคอตแบรนด์: มาสคอตมักเป็นสินทรัพย์นิ่ง ใช้ Motion Control ให้มันเต้น โบกมือ หรือหมุนตัว รูปแบบวัสดุสำหรับคอนเทนต์โซเชียลก็เพิ่มขึ้นทันที

ทีมมนุษย์เสมือนและพิธีกร AI: สินทรัพย์ตัวละครหนึ่งตัวจับคู่กับคลังท่าทางหนึ่งชุด เมื่อต้องผลิตคอนเทนต์จำนวนมาก ตัวตนไม่เพี้ยน และคลังท่าทางยังนำไปใช้ข้ามโปรเจกต์ได้ เช่น ท่าเต้นชุดเดียวกันวันนี้ใช้กับตัวละครสไตล์คนจริง พรุ่งนี้ใช้กับตัวละครสไตล์อนิเมะ โดยสไตล์เปลี่ยนตามภาพตัวละคร

ทีมซีรีส์สั้นและการ์ตูนดราม่า: สำหรับฉากที่มีแอ็กชันหนาแน่น เช่น ฉากต่อสู้หรือไล่ล่า การใช้ท่าทางอ้างอิงแทนการเขียนพรอมป์ยาว ๆ ทำให้ถ่ายทอดเจตนาของผู้กำกับได้แม่นยำขึ้นอย่างเห็นได้ชัด

การใช้ท่าทางซ้ำ: คานงัดสเกลที่มักถูกประเมินต่ำ

การนำท่าทางอ้างอิงชุดเดียวกันไปใช้กับตัวละครต่างกัน สไตล์ต่างกัน และฉากหลังต่างกัน คือวิธีใช้ Motion Control ที่คุ้มค่าที่สุด วัสดุสิบวินาทีหนึ่งคลิปสามารถแตกออกเป็นผลงานได้หลายสิบชิ้น ทั้งสมจริง ภาพประกอบ และไซเบอร์พังก์ สำหรับทีมที่ทำคอนเทนต์เป็นซีรีส์ นี่เท่ากับการกระจายต้นทุนครั้งเดียวของ “การออกแบบท่า” ไปทั่วทั้งเมทริกซ์คอนเทนต์

ยกตัวอย่างสถานการณ์ทั่วไป: ทีม IP สไตล์จีนดั้งเดิมบันทึกท่าเต้นมืออันเป็นเอกลักษณ์ให้ตัวละครหลัก จากนั้นวิดีโอโปสเตอร์แต่ละช่วงฤดูกาลก็สร้างโดยอิงท่าอ้างอิงนี้ สไตล์ตัวละครหรือฉากปรับตามฤดูกาล แต่ท่ามือยังเป็นท่าที่ผู้ชมจำได้เสมอ จุดจดจำของคอนเทนต์ซีรีส์จึงถูกตรึงไว้ด้วยต้นทุนต่ำเช่นนี้

คำถามที่พบบ่อย

Q: ใช้ Motion Control ร่วมกับโหมด Multi-reference ได้ไหม?

ใช้ร่วมกันได้ ภาพตัวละครใช้ Motion Control เพื่อล็อกตัวตนและท่าทาง จากนั้นใช้ Multi-reference เพิ่มข้อมูลฉากหรือพร็อป เหมาะกับช็อตที่มีข้อมูลจำนวนมาก

Q: ควบคุมท่าทางหลายคนได้ไหม?

ในสถานการณ์ทั่วไป การอ้างอิงคนเดียวให้ผลลัพธ์เสถียรที่สุด สำหรับช็อตปฏิสัมพันธ์หลายคน แนะนำให้แยกเป็นอ้างอิงคนเดียวแล้วสร้างแยกกัน หรือเปลี่ยนไปใช้ 3D Director เพื่อจัดการการกำกับตัวละครหลายคน

Q: เสื้อผ้าในวิดีโออ้างอิงจะถูกนำมาด้วยไหม?

ไม่ สิ่งที่ถ่ายโอนคือท่าทาง ไม่ใช่รูปลักษณ์ เสื้อผ้าของตัวละครจะอิงจากภาพตัวละครที่คุณอัปโหลด

Q: รายละเอียดมือจะเบลอไหม?

มือเป็นจุดยากของการถ่ายโอนท่าทาง เมื่อท่ามือในวิดีโออ้างอิงชัดเจนและครบถ้วน ผลลัพธ์จะดีที่สุด สำหรับช็อตโคลสอัปมือ แนะนำให้สร้างแยกต่างหากแล้วค่อยใช้ Frame Interpolation / Ultra HD เพื่อเสริมคุณภาพ

Q: วิดีโออ้างอิงหนึ่งคลิปยาวได้สูงสุดเท่าไร?

อิงตามความสามารถของโมเดลกระแสหลักในปัจจุบัน คลิปอ้างอิงตั้งแต่ไม่กี่วินาทีถึงสิบกว่าวินาทีให้คุณภาพการถ่ายโอนที่เสถียรที่สุด หากท่าทางยาวกว่านี้ แนะนำให้แบ่งช่วงประมวลผลแล้วนำไปต่อใน Clip

ยินดีให้ไปลองใช้ฟังก์ชันเพิ่มเติมที่ NadouPro: NadouPro

เนื้อหานี้มีข้อมูลที่สร้างโดย AI ซึ่งอาจไม่ถูกต้อง โปรดตรวจสอบด้วยตนเอง