ให้ตัวละคร AI เลียนแบบท่าในวิดีโออ้างอิงอย่างไร? คู่มือควบคุมท่าทางของ NadouPro: ใช้วิดีโออ้างอิงขับเคลื่อนการแสดงของตัวละคร AI

ประเด็นสำคัญ

• ตรรกะของการควบคุมท่าทางคือ "หุ่นเชิดดิจิทัล": วิดีโออ้างอิงให้โครงกระดูก จังหวะ และการเคลื่อนไหวทางกายภาพ ภาพตัวละครกำหนดว่าใครเป็นผู้แสดง ส่วนพรอมต์ข้อความรับผิดชอบบรรยากาศของฉาก

• โหมดควบคุมท่าทางในโหนดวิดีโอของ NadouPro รองรับการซิงก์ท่าทางทั้งตัว ท่าเต้นและศิลปะการต่อสู้ที่ซับซ้อน รายละเอียดมือ และการซิงก์รูปปาก

• โหมดทิศทางสองแบบกำหนดสไตล์ผลลัพธ์: ให้ทิศทางตามวิดีโอเหมาะกับการออกแบบท่าที่ซับซ้อน ส่วนให้ทิศทางตามภาพเหมาะกับการรักษาความเสถียรของตัวละครและการกำหนดการเคลื่อนกล้องเอง

• แนะนำให้วิดีโออ้างอิงอยู่ที่ 3-30 วินาที ตัวแบบชัดเจน เป็นคนเดียว ไม่มีการตัดสลับ และมีช่วงการเคลื่อนไหวพอดี

• ขนาดภาพของภาพตัวละครต้องตรงกับวิดีโออ้างอิง: วิดีโอเต็มตัวควรจับคู่กับภาพเต็มตัว วิดีโอครึ่งตัวควรจับคู่กับภาพครึ่งตัว

ทำไมจึงต้องมีการควบคุมท่าทาง

บางครั้งการสร้างวิดีโอจากข้อความก็เหมือนการสุ่มกล่องปริศนา: ใส่พรอมต์เข้าไปแล้วผลลัพธ์ขึ้นอยู่กับดวง บางครั้งภาพสวยมาก บางครั้งตัวละครกลืนไปกับฉากหลังทันที สำหรับครีเอเตอร์ที่ต้องการผลลัพธ์ที่เสถียร การ "สั่งอย่างแม่นยำว่าตัวละครต้องขยับอย่างไร" น่าเชื่อถือกว่าการ "บรรยายว่าตัวละครกำลังขยับ" มาก

โหมดควบคุมท่าทางในโหนดวิดีโอของ NadouPro แก้ปัญหานี้โดยตรง วิธีทำมีสามขั้นตอน: เตรียมภาพนิ่งของตัวละครหนึ่งภาพ เตรียมวิดีโออ้างอิงท่าทางหนึ่งคลิป แล้วให้โมเดลผสานทั้งสองเข้าด้วยกัน—ตัวละครของคุณก็จะทำท่าตามวิดีโออ้างอิง เชื่อฟังเหมือนหุ่นเชิดดิจิทัล

การย้ายท่าทางในยุคแรกมักติดปัญหาฟิสิกส์ที่ซับซ้อน: ตอนเต้นเร็วแขนหายไป ขาลอยกลางอากาศ โมเดลรุ่นใหม่สามารถจัดการท่ายากได้แล้ว ไม่ว่าจะเป็นท่าเตะศิลปะการต่อสู้ การออกแบบท่าเต้นที่ซับซ้อน หรือท่ากีฬา ก็ถ่ายทอดได้ชัดเจน เพราะโมเดลเริ่มเข้าใจว่าร่างกายมนุษย์มีน้ำหนักและโมเมนตัม

ขอบเขตความสามารถของโหมดควบคุมท่าทาง

• การซิงก์ท่าทางทั้งตัว: ท่าทางของแขนขา สีหน้า รูปปาก และการเคลื่อนไหวของฉากหลังซิงก์กัน การเคลื่อนไหวโดยรวมต่อเนื่อง

• การแสดงท่าทางซับซ้อน: การเต้น เทคนิคการต่อสู้ ศิลปะการต่อสู้ และท่ากีฬามีการเรนเดอร์การเคลื่อนไหวอย่างละเอียด

• รายละเอียดมือ: จับการเคลื่อนไหว ท่าทาง และสัญญาณมือได้แม่นยำสูง ใกล้เคียงโครงสร้างกายวิภาคจริง

• อินพุตท่าทาง 3-30 วินาที: แนะนำวิดีโออ้างอิง 3 ถึง 30 วินาที เพื่อส่งออกท่าทางต่อเนื่องครบถ้วน

• คำสั่งข้อความแบบเฟรมต่อเฟรม: ขณะที่ท่าทางถูกขับเคลื่อนด้วยวิดีโอ ยังสามารถซ้อนคำบรรยายข้อความเพื่อควบคุมรายละเอียดฉากได้

อินพุตสามอย่างรับผิดชอบคนละส่วน

ก่อนใช้การควบคุมท่าทาง ควรเข้าใจหน้าที่ของอินพุตทั้งสามอย่างก่อน แล้วจะไม่เขียนพรอมต์ผิดทิศทาง:

• อ้างอิงท่าทาง (วิดีโอ): ขับเคลื่อนท่าทางโดยตรง ให้เส้นทางโครงกระดูก จังหวะเวลา และกฎทางฟิสิกส์

• อ้างอิงตัวละคร (ภาพ): กำหนดว่า "ใครเป็นผู้แสดง" โดยให้รูปลักษณ์ เสื้อผ้า และภาพลักษณ์

• พรอมต์ข้อความ (ฉาก): กำหนดบรรยากาศ เมื่อท่าทางให้วิดีโอรับผิดชอบและตัวละครให้ภาพรับผิดชอบแล้ว ข้อความต้องดูแลเพียงแสง ฉากหลัง และสไตล์—บอกโมเดลว่าฉากนี้เป็นกลางคืนหรือวันที่ฟ้าใส

สร้างวิดีโอควบคุมท่าทางชิ้นแรกในห้าขั้นตอน

ขั้นตอนที่หนึ่ง: อัปโหลดวิดีโออ้างอิงท่าทาง

ในโหนดวิดีโอของ NadouPro ให้เลือกโหมดควบคุมท่าทาง แล้วอัปโหลดวิดีโอที่มีท่าทางเป้าหมาย หากไม่มี素材ของตัวเอง สามารถลองถ่ายสั้น ๆ ก่อน: ใช้โทรศัพท์บันทึกท่าทางที่ต้องการก็พอ

จุดสำคัญ: ตัวแบบในวิดีโออ้างอิงต้องชัดเจน วิดีโอที่ภาพรกหรือคอนทราสต์ต่ำจะทำให้โมเดลมองไม่ชัดว่าเส้นร่างกายอยู่ตรงไหน

ขั้นตอนที่สอง: อัปโหลดภาพตัวละคร

อัปโหลดภาพนิ่งของตัวละคร มีกฎสำคัญข้อหนึ่งตรงนี้: ขนาดภาพต้องตรงกัน หากวิดีโออ้างอิงเป็นภาพนักเต้นเต็มตัว ภาพตัวละครก็ต้องเป็นภาพเต็มตัวด้วย การนำภาพโคลสอัปใบหน้าไปใช้กับวิดีโอเต้น ผลลัพธ์มีโอกาสพังสูงมาก องค์ประกอบภาพแบบ "เต็มตัว / ครึ่งตัว" ของภาพต้องสอดคล้องกับองค์ประกอบของวิดีโอ

ขั้นตอนที่สาม: เลือกโหมดทิศทาง

นี่คือการตั้งค่าที่สำคัญที่สุดในกระบวนการทั้งหมด ผลลัพธ์ของสองตัวเลือกแตกต่างกันมาก:

• ทิศทางตามวิดีโอ: ท่าทาง สีหน้า การเคลื่อนกล้อง และทิศทางของตัวละครทั้งหมดจะตรงกับวิดีโออ้างอิง เหมาะกับการออกแบบท่าเต้นที่ซับซ้อน และให้ความแม่นยำในการถ่ายทอดท่าทางสูงที่สุด

• ทิศทางตามภาพ: ท่าทางและสีหน้าของตัวละครตามวิดีโออ้างอิง แต่ทิศทางยังคงตามท่าในภาพตัวละคร เหมาะกับฉากที่ต้องการกำหนดการเคลื่อนกล้องเอง เช่น ช็อตดอลลี่ พร้อมรักษาความเสถียรของใบหน้าตัวละคร

ขั้นตอนที่สี่: เขียนพรอมต์

จำหลักการหนึ่งข้อไว้: ไม่ต้องบรรยายท่าทางเองอีก ประโยคอย่าง "คนคนหนึ่งกำลังเดิน" เป็นส่วนเกิน เพราะวิดีโอได้บอกโมเดลแล้วว่าต้องเดินอย่างไร พรอมต์ควรเขียนถึงฉาก:

ภาพแบบภาพยนตร์ แสงนีออน วิวเมืองไซเบอร์พังก์ยามค่ำคืน หมอกเชิงปริมาตร

ใช้พรอมต์ขัดเกลารายละเอียดฉาก แล้วปล่อยท่าทางให้วิดีโออ้างอิงรับผิดชอบ

ขั้นตอนที่ห้า: สร้าง

คลิกสร้าง โมเดลจะวิเคราะห์เส้นทางโครงกระดูกในวิดีโออ้างอิง แมปไปยังภาพตัวละคร และเรนเดอร์ผลลัพธ์แบบเฟรมต่อเฟรม

เคล็ดลับปฏิบัติเพื่อให้ได้ผลลัพธ์เสถียร

• รักษาสัดส่วนร่างกายของภาพตัวละครและวิดีโออ้างอิงให้สอดคล้องกัน วิดีโอเต็มตัวอย่าใช้คู่กับภาพครึ่งตัว ศีรษะและร่างกายต้องอยู่ในเฟรมครบ

• เลือกวิดีโออ้างอิงที่มีท่าทางหลากหลาย ความเร็วพอดี และมีการเคลื่อนที่ไม่มากเป็นอันดับแรก ท่าที่เร็วเกินไปหรือซับซ้อนเกินไปจะทำให้ผลการย้ายท่าทางลดลง

• เว้นพื้นที่รอบภาพตัวละครให้มีที่ขยับ เพื่อป้องกันไม่ให้ร่างกายถูกตัดระหว่างเคลื่อนไหว

• วิดีโออ้างอิงควรหลีกเลี่ยงการตัดสลับและกล้องสั่น ช็อตที่นิ่งและต่อเนื่องจะถูกจดจำได้ถูกต้องง่ายที่สุด

• ในวิดีโออ้างอิงควรมีตัวละครเพียงคนเดียว เมื่อมีหลายคนอยู่ในเฟรมเดียวกัน โมเดลจะให้ความสำคัญกับคนที่กินพื้นที่ภาพมากที่สุด

• ภาพตัวละครควรชัดเจนและไม่มีสิ่งบัง ส่วนที่ถูกบังจะรบกวนการย้ายท่าทาง

• ท่าทางของคนจริงให้ระดับการถ่ายทอดสูงที่สุด ตัวละครสไตล์จัดและภาพสัตว์ก็รับรู้ได้ แต่ความแม่นยำจะต่ำลงเล็กน้อย

• ฉากหลังในวิดีโออ้างอิงควรคงที่ให้มากที่สุด หากต้องการเปลี่ยนฉากหลังให้ใช้พรอมต์ควบคุมแยกต่างหาก

สี่สถานการณ์ใช้งาน典型

คอนเทนต์โซเชียลมีเดีย: บันทึกท่าเต้นยอดนิยมที่บ้านหนึ่งคลิป แล้วอัปโหลดภาพอวตารสามมิติหรือภาพตัวละครวาดมือ อวตารก็จะเต้นท่านี้ได้ คนเดียวสามารถขับเคลื่อนตัวละครได้มากมายนับไม่ถ้วน

แอนิเมชันมืออาชีพ: นักแอนิเมชันสามารถใช้การควบคุมท่าทางเป็นเครื่องมือโรโตสโคป—ไม่ต้องวาดตัวละครเดินทีละเฟรม เพียงบันทึกวิดีโออ้างอิงหนึ่งคลิปให้โมเดลนำท่าทางไปใส่ในดีไซน์ตัวละครของตนเอง ก็ช่วยประหยัดเวลาทำงานได้หลายสัปดาห์

การตลาดแบรนด์: แบรนด์ใช้ภาพมาสคอตหนึ่งภาพ จับคู่กับวิดีโออ้างอิงท่าทางต่าง ๆ ก็ทำให้มาสคอตโบกมือ วิ่ง กระโดด หรือชี้ไปยังสินค้าได้ โดยไม่ต้องสร้างริกโครงกระดูกสามมิติ ภาพสองมิติหนึ่งภาพกลายเป็นสินทรัพย์สื่อที่มีชีวิต

การแสดงเสมือน: การควบคุมท่าทางรองรับการซิงก์รูปปากและสีหน้า อ่านบทพูดเดี่ยวหน้ากล้องหนึ่ง段 ก็ทำให้บุคคลในประวัติศาสตร์หรือตัวละครแฟนตาซีพูดประโยคนั้นด้วยอารมณ์และน้ำเสียงแบบเดียวกันได้ ความสามารถด้านเสียงของ NadouPro สามารถสร้างเสียงพากย์แบบซิงก์กัน โดยให้รูปปากจัดแนวกับเสียงพูดโดยอัตโนมัติ

ทำไมเสียงเนทีฟจึงสำคัญ

เวิร์กโฟลว์ในอดีตคือสร้างวิดีโอไร้เสียงก่อน แล้วค่อยไปหาเอฟเฟกต์เสียงทั่วไปจากคลังเสียงมาแปะทับ ซึ่งแปะอย่างไรก็ไม่เป็นธรรมชาติ ตอนนี้โมเดลซิงก์ภาพและเสียงสร้างเสียงไปพร้อมกับการสร้างวิดีโอ และเข้าใจความสัมพันธ์เชิงความหมายระหว่างเสียงกับการเคลื่อนไหวในภาพ: เมื่อตัวละครกระทืบเท้า เฟรมนั้นก็มีเสียงกระทืบเท้า; เมื่อตัวละครพูด รูปปากจะตรงกับเสียงพูดที่สร้างขึ้น ความเร็วในการพูด เสียงแวดล้อม และการเคลื่อนไหวทางภาพประสานกันอย่างใกล้ชิด ลดความรู้สึกแยกระหว่างภาพกับเสียง ความสามารถด้านวิดีโอของ NadouPro เช่น Seedance 2.5, Kling 3.0 Omni 4K ต่างรองรับการสร้างภาพและเสียงแบบซิงก์กัน

คำถามที่พบบ่อย

Q: การย้ายท่าทางต่างจากการบรรยายท่าทางในการสร้างวิดีโอจากข้อความอย่างไร?

การย้ายท่าทางใช้แหล่งท่าทางจริง—วิดีโออ้างอิงคือพิมพ์เขียวการเคลื่อนไหว ไม่ต้อง "บรรยายท่าทาง" แต่เป็นการนำเข้าโดยตรง พรอมต์ข้อความรับผิดชอบเพียงฉาก แสง สไตล์ และบรรยากาศ ส่วนจังหวะ ท่ามือ และความเร็วทั้งหมดถูกกำหนดโดยวิดีโออ้างอิง

Q: วิดีโออ้างอิงแบบไหนให้ผลลัพธ์เสถียร?

素材ขับเคลื่อนที่ดีที่สุดมีสามเงื่อนไข: เห็นทั้งตัวชัดเจน แยกจากฉากหลังสะอาด และท่าทางของแขนขาไม่มีการบังอย่างรุนแรง เมื่อท่าทางตีความได้ยาก โมเดลก็ทำได้เพียงคาดเดา ความบิดเบี้ยวและการสั่นมักเริ่มจากการเดาผิด

Q: เขียนพรอมต์อย่างไรให้เพิ่มความสมจริงโดยไม่ทำลายท่าทาง?

ให้มองพรอมต์เป็นคำสั่งโปรดักชัน ไม่ใช่คำสั่งออกแบบท่า: เขียนว่าตัวแบบอยู่ที่ไหน อารมณ์ของกล้องและแสงเป็นอย่างไร รวมถึงสไตล์ภาพ เช่น ภาพยนตร์ ถ่ายในสตูดิโอ ถนนนีออน เป็นต้น การสั่งท่าทางมากเกินไปในข้อความจะขัดกับวิดีโออ้างอิง และกลับทำให้ความต่อเนื่องลดลง

Q: ทำไมตัวตนหรือสัดส่วนร่างกายของ人物จึงเลื่อนไปตอนย้ายท่าทาง? จะลดได้อย่างไร?

การเลื่อนมักมาจากมุมมองไม่ตรงกัน ภาพต้นทางขาดส่วนของร่างกาย หรือไม่มีรายละเอียดที่ท่าทางต้องใช้ในภาพ เช่น มือ นิ้วมือ เท้า ใช้ภาพตัวละครที่มีแขนขาครบ หลีกเลี่ยงการบดบังขั้นรุนแรง และให้ท่าทางกับองค์ประกอบภาพของตัวละครเข้ากันได้อย่างสมเหตุสมผลกับวิดีโออ้างอิง โมเดลก็ไม่จำเป็นต้องจินตนาการโครงสร้างร่างกายขึ้นเอง

ยินดีต้อนรับให้ไปทดลองฟีเจอร์เพิ่มเติมที่ NadouPro: NadouPro

เนื้อหานี้มีข้อมูลที่สร้างโดย AI ซึ่งอาจไม่ถูกต้อง โปรดตรวจสอบด้วยตนเอง