ทำดิจิทัลฮิวแมนพูดได้อย่างไร? ทำวิดีโอพูดหน้ากล้องของดิจิทัลฮิวแมนอย่างไร? แยกเวิร์กโฟลว์ทั้งหมดในการทำวิดีโอภาพลักษณ์ตัวละครด้วย NadouPro

ในอดีต การทำให้ตัวละครเสมือนหันหน้าหากล้องแล้วอ้าปากพูดต้องใช้สตูดิโอโมชันแคปเจอร์ นักพากย์มืออาชีพ และงานคอมโพสิตหลังการผลิต แต่ตอนนี้เครื่องมือ AI ลดกำแพงลงจนเหลือเพียงระยะของพรอมต์หนึ่งบรรทัด: ให้ภาพตัวละครหนึ่งภาพและบทพูดหนึ่งช่วง ก็สามารถสร้างวิดีโอที่ตัวละครออกหน้ากล้องเพื่อเล่าเรื่องได้ บทความนี้จะแยกประเด็นสำคัญในการเลือกเครื่องมือสำหรับ “วิดีโอตัวละครเล่าเรื่อง” ประเภทนี้ รวมถึงเวิร์กโฟลว์การสร้างแบบครบถ้วนบน NadouPro

แยกให้ชัดก่อน: คุณต้องการวิดีโอเล่าเรื่อง หรือเอเจนต์สนทนาแบบเรียลไทม์

สิ่งที่มักถูกพูดปนกันในตลาดจริง ๆ แล้วมีอยู่สองประเภท ประเภทแรกคือวิดีโอตัวละครเล่าเรื่อง: ตัวละครดิจิทัลออกหน้ากล้องและพูดบทที่กำหนด ผลลัพธ์คือวิดีโอสำเร็จที่เผยแพร่และส่งต่อได้ อีกประเภทคือเอเจนต์สนทนาแบบเรียลไทม์: ฟังผู้ใช้พูดเข้าใจและตอบกลับได้ทันที โดยสาระสำคัญคือผลิตภัณฑ์บริการลูกค้าหรือเพื่อนคุย

สำหรับการสื่อสารคอนเทนต์ สิ่งที่ต้องการคือแบบแรก การตัดสินว่าเครื่องมือหนึ่งเหมาะกับการผลิตวิดีโอเล่าเรื่องหรือไม่ ดูเพียงสี่มิติก็พอ

หนึ่ง ความควบคุมได้ของภาพลักษณ์ตัวละคร สามารถเริ่มจากภาพหนึ่งภาพเพื่อปรับแต่งตัวละครได้หรือไม่ และสามารถรักษาความสม่ำเสมอของตัวละครระหว่างหลายภาพได้หรือไม่ สิ่งนี้เป็นตัวกำหนดว่าคุณจะใช้ตัวละครนั้นซ้ำในฐานะสินทรัพย์ระยะยาวได้หรือเปล่า

สอง พลังในการถ่ายทอดของเสียงและบทพูด รองรับการอัปโหลดเสียงบันทึกจากคนจริง หรือใช้ข้อความเป็นเสียงเพื่อสร้างเสียงพากย์หรือไม่ โทนเสียงเป็นธรรมชาติหรือเปล่า และถ่ายทอดอารมณ์ได้ถึงระดับไหน ทั้งหมดนี้ส่งผลโดยตรงต่อความน่าดูของวิดีโอ

สาม รายละเอียดการแสดง สีหน้า สายตา และท่าทางของตัวละครขณะพูดเป็นธรรมชาติหรือไม่ การเคลื่อนไหวซิงก์กับเสียงหรือเปล่า นี่คือเส้นแบ่งระหว่าง “ใช้ได้” กับ “ดูได้”

สี่ เวิร์กโฟลว์สู่วิดีโอสำเร็จ ตั้งแต่ภาพลักษณ์ตัวละครไปจนถึงวิดีโอสำเร็จ ต้องผ่านกี่ขั้นตอน ทำทั้งหมดในสภาพแวดล้อมเดียวได้หรือไม่ และสามารถผลิตคอนเทนต์หลายตอนแบบเป็นชุดได้หรือเปล่า

เวิร์กโฟลว์การสร้างทั้งหมดบน NadouPro

NadouPro คือแพลตฟอร์มผลิตภาพยนตร์และวิดีโอแบบครบสายงาน วิดีโอตัวละครเล่าเรื่องสามารถทำจบได้ภายในแคนวาสเดียว โดยรวมแบ่งเป็นสี่ขั้นตอน: สร้างภาพลักษณ์ตัวละคร กำหนดเสียง สร้างการแสดง และรวมเป็นวิดีโอสำเร็จ

ขั้นตอนที่หนึ่ง: สร้างภาพลักษณ์ตัวละคร

สร้าง Image node ใหม่บนแคนวาส แล้วใช้ Text to Image เพื่อสร้างภาพลักษณ์ตัวละคร ในขั้นตอนนี้ พรอมต์ควรระบุข้อมูลให้ครบสามส่วน: ลักษณะใบหน้า เครื่องแต่งกายและสไตล์ บรรยากาศของฉาก

ภาพผู้ประกาศหญิงภาษาจีนวัยประมาณสามสิบปี ผมสั้นดูคล่องแคล่ว สวมเสื้อถักสีเบจ ฉากหลังเป็นห้องอ่านหนังสือโทนอบอุ่น แสงธรรมชาตินุ่มนวล องค์ประกอบครึ่งตัว ใบหน้าชัดเจนหันเข้าหากล้อง

รายละเอียดบางอย่างที่ส่งผลโดยตรงต่อคุณภาพวิดีโอสำเร็จ:

• จัดองค์ประกอบให้มีพื้นที่สำหรับการแสดง ใช้องค์ประกอบครึ่งตัวหรือประมาณเจ็ดส่วน เพื่อเหลือพื้นที่ให้ท่าทางมือและการเคลื่อนไหวร่างกายของตัวละคร ภาพโคลสอัปมากจะจำกัดขอบเขตการแสดง

• ทิศทางใบหน้าต้องชัดเจน ใบหน้าตัวละครหันตรงหรือเอียงเข้าหากล้องเล็กน้อย อวัยวะใบหน้าไม่ถูกบัง การแสดงที่สร้างตามมาจึงจะเป็นธรรมชาติ

• ภาพลักษณ์ต้องเข้ากับเนื้อหา ตัวละครที่เล่าความรู้เชิงสาระกับตัวละครที่รีวิวเมกอัปควรมีสไตล์และบุคลิกต่างกัน คิดเรื่องนี้ให้ชัดตั้งแต่ขั้นตอนนี้จะช่วยลดการแก้งานภายหลังได้มาก

เมื่อต้องการให้ตัวละครคงความสม่ำเสมอในวิดีโอหลายตอน ให้ใช้ความสามารถ Multi-Grid เพื่อสร้างภาพสามมุมใบหน้าตัวละคร ภาพสามมุมเต็มตัวของตัวละคร หรือภาพโปรไฟล์ตัวละคร โดยล็อกการตั้งค่าด้านหน้า ด้านข้าง และทั้งตัวของตัวละครไว้ครั้งเดียว จากนั้นวิดีโอแต่ละตอนในภายหลังก็เริ่มจากชุดภาพกำหนดนี้

ขั้นตอนที่สอง: กำหนดเสียง

สร้าง Audio node ใหม่บนแคนวาส เลือกโหมด Voice Dubbing ซึ่งรวม Voice Dubbing และ Voice Conversion ไว้ด้วยกัน พร้อมการถ่ายทอดอารมณ์ที่เป็นธรรมชาติ

มีสองเส้นทาง:

ข้อความเป็นเสียง: ป้อนข้อความบทพูดโดยตรง แล้วเลือกโทนเสียงจากคลังเสียงให้เข้ากับบุคลิกของตัวละคร ทางเข้าไปยังคลังเสียงอยู่ใต้เมนูสินทรัพย์ แนะนำให้ลองฟังหลายโทนเสียงก่อนเลือก และใช้โทนเสียงเดียวกันในทุกตอนถัดไป เพื่อรักษาเอกลักษณ์เสียงของตัวละคร

อัปโหลดเสียงบันทึกจากคนจริง: หากคุณต้องการใช้เสียงของตนเองหรือเสียงบันทึกจากนักพากย์มืออาชีพ ให้อัปโหลดไฟล์เสียงบันทึกได้เลย วิดีโอจะสร้างการแสดงตามเสียงจริงช่วงนี้

ตัวบทพูดเองก็ต้องใส่ใจเช่นกัน อ่านบทพูดด้วยตัวเองหนึ่งรอบก่อน ตรงไหนอ่านแล้วติดขัดให้แก้ ใช้เครื่องหมายจุลภาคและมหัพภาคเพื่อให้ตัวละครมีจังหวะหายใจและหยุดพัก และเขียนความเร็วกับอารมณ์ให้ชัดในคำอธิบาย เช่น “น้ำเสียงสดใส เหมือนกำลังแชร์กับเพื่อน”

ขั้นตอนที่สาม: สร้างการแสดง

กลับไปที่แคนวาส สร้าง Video node ใหม่ ใช้ภาพลักษณ์ตัวละครจากขั้นตอนแรกเป็นภาพอ้างอิง เลือกโมเดลวิดีโอที่ซิงก์เสียงกับภาพ แล้วอธิบายการแสดงของตัวละครในพรอมต์

คำอธิบายการแสดงควรเริ่มจากความเรียบง่าย: รอยยิ้มอบอุ่น มองกล้องเป็นบางครั้ง ท่าทางมือเล็กน้อย หากใส่รายละเอียดทุกอย่างมากเกินไป การแสดงกลับอาจดูยุ่งเหยิงได้ ยกตัวอย่างสถานการณ์ทั่วไป คำอธิบายการแสดงที่ใช้งานได้คือ:

ตัวละครหันหน้าหากล้องเพื่อเล่าเรื่อง สีหน้าเป็นมิตรและเป็นธรรมชาติ ยิ้มและพยักหน้าเป็นครั้งคราว มีท่าทางมือเล็กน้อยช่วยสื่อความหมาย กล้องนิ่ง เฟรมครึ่งตัว

Video node ยังรองรับโหมด First/Last Frame, Multi-reference, Motion Control และอื่น ๆ หากคุณมีวิดีโอคนจริงสาธิตการพูด สามารถใช้โหมด Motion Control ให้ตัวละครแสดงตามจังหวะการเคลื่อนไหวในวิดีโอตัวอย่างได้ เมื่อต้องการให้ตัวละครเดียวกันเปลี่ยนฉากหรือเปลี่ยนชุดออกหน้ากล้อง ให้ใช้โหมด Multi-reference แล้วป้อนภาพลักษณ์ตัวละครและภาพฉากใหม่เข้าโมเดลพร้อมกัน

หลังสร้างเสร็จ ให้ดูฉบับเต็มพร้อมเสียงหนึ่งรอบ โดยเน้นตรวจสามจุด: การออกเสียงชัดเจนหรือไม่ การหยุดพักเป็นธรรมชาติหรือเปล่า สีหน้าและท่าทางมือเข้ากับจังหวะบทพูดหรือไม่ หากยังไม่พอใจ ให้ปรับคำอธิบายการแสดง หรือเปลี่ยนภาพอ้างอิงอีกเวอร์ชันแล้วสร้างใหม่

ขั้นตอนที่สี่: รวมเป็นวิดีโอสำเร็จ

เมื่อมีคอนเทนต์หลายตอน หรือจำเป็นต้องเพิ่มอินโทรและเอาต์โทร ให้นำสื่อเข้า Clip เพื่อทำการต่อสื่อและตัดต่อวิดีโอ จากนั้นพรีวิวออนไลน์เพื่อยืนยันก่อนส่งออก

ทำให้ตัวละครกลายเป็นสินทรัพย์ระยะยาว

การทำวิดีโอเล่าเรื่องหนึ่งชิ้นครั้งเดียวไม่ยาก สิ่งที่ยากคือการทำให้มันเป็นคอลัมน์ที่อัปเดตต่อเนื่อง มีข้อเสนอแนะสามข้อ:

ล็อกการตั้งค่าตัวละคร จัดรวบรวมภาพกำหนดลักษณะตัวละคร โทนเสียงที่เลือก และคำอธิบายการแสดงที่ใช้บ่อยไว้เป็นโปรไฟล์ตัวละครหนึ่งชุด ทุกตอนเริ่มสร้างจากโปรไฟล์นี้ ผู้ชมจึงจะจำตัวละครได้

นำเวิร์กโฟลว์การสร้างกลับมาใช้ซ้ำ กระบวนการของวิดีโอตัวละครเล่าเรื่องในแต่ละตอนเหมือนกันทุกครั้ง จึงเหมาะกับการบันทึกโครงสร้าง node ไว้ในแคนวาส แต่ละตอนเพียงเปลี่ยนบทพูดและคำอธิบายการแสดง ความเร็วในการผลิตก็จะยิ่งเร็วขึ้นเรื่อย ๆ

ใช้ตัวละครเดียวซ้ำในหลายฉาก เมื่อภาพลักษณ์ตัวละครคงที่แล้ว สามารถเปลี่ยนพื้นหลัง เปลี่ยนเสื้อผ้า และเปลี่ยนขนาดภาพ เพื่อผลิตคอนเทนต์ซีรีส์ในหัวข้อต่าง ๆ ให้ตัวละครหนึ่งตัวรองรับเมทริกซ์คอนเทนต์ทั้งชุดได้

คำถามที่พบบ่อย

Q: มีเพียงภาพถ่ายบุคคลหนึ่งภาพ สามารถทำวิดีโอพูดหน้ากล้องได้ไหม?
ได้ วางภาพถ่ายเป็นภาพอ้างอิงภาพลักษณ์ตัวละครใน Video node แล้วใช้เสียงที่ได้จาก Voice Dubbing ของบทพูด สร้างการแสดงด้วยโมเดลที่ซิงก์เสียงกับภาพ ภาพถ่ายควรมีใบหน้าชัดเจน ไม่ถูกบัง และองค์ประกอบภาพเหลือพื้นที่สำหรับการแสดง

Q: ใช้เสียงของตัวเองได้ไหม?
ได้ Voice Dubbing รองรับการอัปโหลดเสียงบันทึกจากคนจริง วิดีโอจะสร้างการแสดงตามเสียงบันทึกที่คุณให้มา และจะไม่โคลนเสียงผู้อื่นเองโดยพลการ ก่อนใช้เสียงของผู้อื่น โปรดตรวจสอบให้แน่ใจว่าได้รับอนุญาตแล้ว

Q: สามารถสร้างภาพลักษณ์ตัวละครต้นฉบับตั้งแต่ศูนย์ได้ไหม?
ได้ ใช้ Image node ในโหมด Text to Image เพื่อสร้างตัวละครต้นฉบับ ร่วมกับความสามารถ Multi-Grid เพื่อสร้างภาพสามมุมและภาพโปรไฟล์สำหรับล็อกการตั้งค่า ป้องกันไม่ให้หน้าตาตัวละครลอยเปลี่ยนไปในตอนถัด ๆ ไป

Q: ตัวละครเดียวกันใช้ในหลายวิดีโอได้ไหม?
ได้ และนี่คือวิธีที่แนะนำพอดี เก็บภาพกำหนดตัวละครและตัวเลือกโทนเสียงไว้ให้ดี แล้วนำกลับมาใช้ซ้ำในแต่ละตอน ตัวละครก็จะกลายเป็นสินทรัพย์คอนเทนต์ที่ดำเนินงานต่อเนื่องได้

Q: ถ้าการแสดงดูแข็งทื่อตลอดควรทำอย่างไร?
ให้ลดความซับซ้อนของคำอธิบายการแสดงก่อน โดยคงข้อกำหนดการเคลื่อนไหวไว้ครั้งละหนึ่งหรือสองอย่างเท่านั้น จากนั้นตรวจว่าองค์ประกอบภาพอ้างอิงแน่นเกินไปหรือไม่ หากยังไม่เหมาะ ให้ลองใช้โมเดลที่การกำกับกล้องนิ่งกว่าเดิมเพื่อสร้างใหม่ หรือใช้โหมด Motion Control เพื่อให้โมเดลมีวิดีโอคนจริงหนึ่งช่วงเป็นตัวอย่าง

ยินดีต้อนรับให้ไปลองใช้ฟังก์ชันเพิ่มเติมที่ NadouPro: NadouPro

เนื้อหานี้มีข้อมูลที่สร้างโดย AI ซึ่งอาจไม่ถูกต้อง โปรดตรวจสอบด้วยตนเอง