คู่มือ NadouPro: ซิงก์เสียงวิดีโอ AI และพากย์บทพูดให้ตรงปาก

ภาพดีแค่ไหน ถ้าเสียงพังก็ยังเป็นงานกึ่งสำเร็จ บทสนทนาไม่ชัด ปากไม่ตรงเสียง หรือขาดเสียงแวดล้อม ผู้ชมก็อาจเลื่อนผ่านภายในสามวินาที การทำเสียงสำหรับวิดีโอ AI จริง ๆ มีหลักให้ทำตามได้: เสียงใดควรให้โมเดลสร้างพร้อมภาพ เสียงใดควรผลิตแยกแล้วค่อยนำมารวมกัน เมื่อแบ่งงานชัด คุณภาพงานจบก็ยกระดับขึ้นทันที บทความนี้จะแยกเวิร์กโฟลว์เสียงของ NadouPro ให้ครบถ้วน

เริ่มจากแยกโครงสร้างเสียงสามชั้นให้ชัด

แทร็กเสียงที่สมบูรณ์หนึ่งแทร็กประกอบด้วยสามชั้น ซึ่งแต่ละชั้นมีวิธีผลิตต่างกัน:

ชั้นบรรยากาศ: เสียงแวดล้อมและเอฟเฟกต์เสียง เช่น ความรู้สึกของอากาศในห้อง เสียงจอแจบนถนน เสียงลมและฝน ชั้นนี้เหมาะกับการสร้างไปพร้อมภาพ

ชั้นบทสนทนา: บทพูดของตัวละคร ชั้นนี้มีความต้องการด้านการตรงปาก น้ำเสียง และอารมณ์สูงที่สุด จึงคุ้มค่าที่จะผลิตแยกต่างหาก

ชั้นดนตรี: ดนตรีประกอบและเพลงธีม ชั้นนี้เหมาะกับการสร้างแยกแล้วค่อยนำมารวมกัน

โมเดลวิดีโอของ NadouPro โดยทั่วไปรองรับการซิงก์ภาพและเสียง: เมื่อสร้างวิดีโอ เสียงแวดล้อม เอฟเฟกต์เสียง และดนตรีประกอบสามารถออกมาพร้อมภาพได้ เพื่อรองรับชั้นบรรยากาศ ส่วนบทสนทนาและดนตรีค่อยทำอย่างละเอียดตามต้องการ

ก่อนสร้าง: วางแผนตัวละครและผู้พูด

ฉากสนทนาหลายตัวละครมักพลาด เพราะขั้นวางแผนยังคิดไม่ชัด ก่อนลงมือให้ทำสองเรื่องนี้:

เตรียมภาพอ้างอิงตัวละครที่สะอาด: ใช้ตารางหลายช่องสร้างวัสดุกำหนดลุคตัวละคร เช่น ใบหน้า 3 มุม มุมมองเต็มตัว 3 มุม และตารางสีหน้า 9 ช่อง เพื่อให้แต่ละตัวละครในภาพแยกแยะได้ชัด ยิ่งวัสดุอ้างอิงสะอาด โมเดลก็ยิ่งสับสนตัวละครได้น้อยลง

กำหนดแผนผู้พูด: เขียนรายการล่วงหน้าว่าใครพูดตอนไหน พูดอะไร และด้วยอารมณ์ใด เป้าหมายคือทำให้ผู้พูดแต่ละคนระบุได้ง่าย และให้บทพูดจับคู่กับตัวละครแบบหนึ่งต่อหนึ่ง

สามกฎในการใส่บทสนทนาในพรอมต์

สำหรับฉากที่ต้องการให้โมเดลส่งออกบทสนทนาโดยตรงตอนสร้างวิดีโอ วิธีเขียนสคริปต์จะกำหนดคุณภาพการตรงปาก:

เขียนผู้พูด บทพูด และอารมณ์ให้อยู่ติดกัน “พระเอกพูดเสียงต่ำว่า: ไม่ต้องห่วง คุณทำได้” มีประสิทธิภาพกว่าการโยนคำอธิบายอารมณ์ไปไว้ท้ายย่อหน้ามาก สำหรับฉากหลายตัวละคร ให้กำหนดชื่อเรียกของแต่ละคนให้คงที่ตลอดทั้งเรื่อง

เขียนอารมณ์เป็นการแสดงที่มองเห็นได้ ยิ้ม ประหลาดใจ ลังเล กระซิบ พูดเสียงเบา—สิ่งเหล่านี้คือคำสั่งที่โมเดลทำตามได้ ส่วนคำอธิบายเชิงนามธรรมอย่าง “อารมณ์ซับซ้อน” ทำตามได้ยาก ใส่อารมณ์เฉพาะเมื่อมันส่งผลต่อฉากจริง ๆ อย่ายัดมากเกินไป

ประโยคสั้นดีกว่ายาว จังหวะของประโยคง่าย ๆ เป็นธรรมชาติกว่า ประโยคยาวซับซ้อนควรแยกเป็นบทพูดสั้นหลายประโยค ความต่อเนื่องของรูปปากและน้ำเสียงจะดีขึ้น

ตัวอย่างฉากบทสนทนาที่ใช้งานได้:

ห้องนั่งเล่นในบ้าน พื้นหลังมีเสียงฮัมเบา ๆ จากเครื่องปรับอากาศ แม่พูดเบา ๆ ด้วยน้ำเสียงประหลาดใจว่า: ฉันไม่คิดเลยว่าจะหักมุมแบบนี้ พ่อตอบด้วยเสียงทุ้มและสงบนิ่งว่า: ใช่ เหนือความคาดหมายจริง ๆ เด็กชายพูดอย่างดีใจว่า: นี่คือการหักมุมที่ยอดเยี่ยมที่สุด

เสียงแวดล้อม ผู้พูด บทพูด และอารมณ์อยู่ถูกตำแหน่ง นี่คือโครงสร้างมาตรฐานที่โมเดลนำไปทำงานได้

การออกแบบเสียง: เสียงแวดล้อมต้องเดินตามภาพ

เสียงแวดล้อมไม่ใช่แค่เสียงเติมพื้นหลัง แต่มันมีส่วนร่วมในการเล่าเรื่อง หลักในการเขียนเสียงแวดล้อมคือจับคู่กับการกระทำทางภาพ:

• ถ้าภาพเป็นดาดฟ้ายามค่ำคืน ให้เติมเสียงลมอ่อน ๆ เพื่อเสริมความรู้สึกของแสงเมืองไกล ๆ

• ถ้าภาพเป็นริมหน้าต่างในวันฝนตก ให้มีเสียงเม็ดฝนและเสียงรถผ่านเป็นครั้งคราว

• ถ้าภาพเป็นห้องเงียบ ให้มีเสียงเครื่องปรับอากาศครางต่ำ ๆ หรือเสียงนาฬิกาเดิน

เมื่อเขียนเสียงที่เฉพาะเจาะจงไม่ออก ให้บรรยายสภาพอะคูสติกของพื้นที่นั้นเอง เช่น “ห้องที่เงียบจนได้ยินเสียงหายใจ” “ตลาดที่จอแจจนต้องเพิ่มระดับเสียงพูด” เมื่อความหมายชัดเจน เสียงแวดล้อมที่สร้างพร้อมการซิงก์ภาพและเสียงก็จะมีทิศทาง

บทสนทนาคุณภาพสูง: ผลิต Voice Dubbing แยกต่างหาก

สำหรับบทสนทนาที่ต้องการคุณภาพงานจบสูง แนะนำให้แยกออกจากภาพแล้วผลิตต่างหาก ความสามารถ Voice Dubbing ของ Audio node ใน NadouPro ออกแบบมาเพื่อสิ่งนี้: ถ่ายทอดอารมณ์ได้เป็นธรรมชาติ และทำ Voice Dubbing กับ Voice Conversion ได้ครบในขั้นตอนเดียว

ขั้นตอนเต็มมีดังนี้:

1. เลือกโทนเสียง: เลือกหรือออกแบบโทนเสียงตัวละครจากคลังโทนเสียงในสินทรัพย์ โดยให้ตัวละครแต่ละตัวใช้โทนเสียงคงที่หนึ่งแบบ

2. พากย์บทพูด: สร้างเสียงบทสนทนาแยกตามตัวละคร แล้วตรวจน้ำเสียงและอารมณ์ทีละประโยค

3. เปลี่ยนโทนเสียง: เมื่อมีวัสดุเสียงอ้างอิงอยู่แล้ว ให้ใช้ความสามารถ Voice Conversion เพื่อรวมให้เป็นโทนเสียงเป้าหมายเดียวกัน

4. ประกอบรวม: นำแทร็กบทสนทนาและภาพมาประกอบใน Clip แล้วตรวจช่วงที่ต้องตรงปากเพื่อยืนยันว่าการเคลื่อนไหวของปากสอดคล้องกัน

ข้อดีของเวิร์กโฟลว์นี้คือ แก้บทพูดได้โดยไม่ต้องสร้างภาพใหม่ เปลี่ยนโทนเสียงได้โดยไม่ต้องบันทึกการแสดงใหม่ และลดต้นทุนการวนแก้บทสนทนาให้ต่ำที่สุด

ชั้นดนตรีก็เช่นกัน: ความสามารถ Text to Music อย่าง Mureka V9 และ Mureka V8 สามารถสร้างดนตรีประกอบตามความหมายของฉาก หรือใช้ความสามารถ Cover เพื่อดัดแปลงจากทำนองที่มีอยู่ จากนั้นจัดให้ตรงกับภาพใน Clip

คำถามที่พบบ่อย

ถาม: ควรใช้เสียงที่ออกมาจากการซิงก์ภาพและเสียงโดยตรง หรือใช้การพากย์แยก เมื่อไหร่ควรใช้อะไร?
ชั้นบรรยากาศใช้การซิงก์ภาพและเสียงเพื่อจบในขั้นตอนเดียวได้เลย ส่วนชั้นบทสนทนาขึ้นอยู่กับข้อกำหนด—บทสนทนาพื้นหลัง เสียงคนหมู่มาก หรือเสียงคนในภาพระยะไกล ใช้การซิงก์ภาพและเสียงก็เพียงพอ แต่ภาพใกล้แบบ Close-Up บทพูดสำคัญ และบทสนทนาของตัวละครที่ต้องใช้โทนเสียงคงที่ ควรผลิตด้วย Voice Dubbing แยกต่างหาก

ถาม: ถ้าผลการตรงปากไม่ดี ควรตรวจอะไรก่อน?
ตรวจสามเรื่องตามลำดับ: ใบหน้าของผู้พูดมองเห็นชัดในภาพหรือไม่ โดยภาพระยะไกลมากและช็อตจากด้านหลังเดิมทีก็ทำรูปปากได้ยากอยู่แล้ว; บทพูดยาวหรือซับซ้อนเกินไปหรือไม่; การกำกับอารมณ์ทำตามได้จริงหรือไม่ หากทั้งสามข้อปกติแต่ยังมีปัญหา ให้แยกประโยคนั้นออกมาสร้างต่างหากแล้วค่อยประกอบรวม

ถาม: ถ้าเสียงของตัวละครเดียวกันไม่สอดคล้องกันในแต่ละฉาก ควรทำอย่างไร?
กำหนดโทนเสียงคงที่ให้ตัวละคร เมื่อต้องทำ Voice Dubbing ให้ล็อกโทนเสียงเดียวกันในคลังโทนเสียง และให้บทสนทนาทุกฉากสร้างด้วยโทนเสียงเดียวนี้ ตัวตนของเสียงก็จะผูกกับตัวละคร

ถาม: ฉากบทสนทนาหลายภาษาควรทำอย่างไร?
แยกประมวลผลตามภาษา: ใช้ Voice Dubbing สร้างบทพูดของแต่ละภาษาแยกกัน แล้วนำมาประกอบใน Clip ตามลำดับภาพ ฝั่งภาพให้คงภาพอ้างอิงตัวละครเดิมไว้ ตัวตนทางภาพจะไม่เปลี่ยนไปตามการสลับภาษา

ถาม: ถ้าแทร็กเสียงแวดล้อม บทสนทนา และดนตรีตีกัน ควรทำอย่างไร?
ใช้หลักลำดับระดับเสียง: บทสนทนาสำคัญที่สุด เสียงแวดล้อมอยู่ด้านล่างและไม่แย่งซีน ส่วนดนตรีเข้ามาในจุดอารมณ์ ก่อนประกอบขั้นสุดท้าย ให้พรีวิวสมดุลโดยรวมใน Clip แล้วปรับทีละแทร็ก

ดูฟีเจอร์เพิ่มเติมได้ที่ NadouPro: NadouPro

เนื้อหานี้มีข้อมูลที่สร้างโดย AI ซึ่งอาจไม่ถูกต้อง โปรดตรวจสอบด้วยตนเอง