ทำไมตัวละคร AI ถึงหน้าเปลี่ยน? คู่มือ NadouPro: สาเหตุของใบหน้าคลาดเคลื่อนและวิธีล็อกจุดยึด

คนที่เคยทำคอนเทนต์ AI แบบต่อเนื่องมักเจอกำแพงนี้กันทั้งนั้น: ตัวเอกในภาพแรก พอถึงภาพที่ห้ากลับกลายเป็นคนละคน ทรงผมถูกแล้ว แต่รูปหน้าเปลี่ยน; รูปหน้าถูกแล้ว แต่สีผิวกลับไม่ตรง นี่ไม่ใช่เรื่องลี้ลับ แต่เป็นผลที่หลีกเลี่ยงได้ยากจากกลไกการสร้าง และก็มีวิธีแก้ที่ชัดเจน

รากของการคลาดเคลื่อน: โมเดลไม่มีความจำ

ทุกครั้งที่โมเดล diffusion สร้างภาพ จะเริ่มจากสัญญาณรบกวนแบบสุ่ม โดยมีพรอมป์ต์ข้อความเป็นหลักฐานเดียว มันจำไม่ได้ว่าครั้งก่อนวาดใครไว้ ภาพแต่ละภาพจึงเป็นการตีความพรอมป์ต์ใหม่ทั้งหมด

โดยธรรมชาติแล้ว ข้อความไม่สามารถอธิบายใบหน้าหนึ่งใบได้อย่างแม่นยำ คำบรรยายอย่าง “ผู้หญิงอายุยี่สิบห้าปี ดวงตาสีเขียว” สอดคล้องกับการกระจายของใบหน้าหลายล้านแบบ ไม่ใช่ใบหน้าหนึ่งใบโดยเฉพาะ ต่อให้เพิ่มคำคุณศัพท์มากแค่ไหนก็ไม่ช่วย เพราะโมเดลสุ่มตัวอย่างใหม่จากศูนย์ทุกครั้ง พอทำครบสิบภาพ ภาพที่สามสันจมูกแคบลง ภาพที่หกรูปหน้าเปลี่ยน และภาพที่สิบก็กลายเป็นคนแปลกหน้าที่ใส่ชุดเดียวกันไปแล้ว

ปัจจัยกระตุ้นการคลาดเคลื่อนที่พบบ่อยที่สุดห้าข้อ

เมื่อเข้าใจปัจจัยกระตุ้น ปัญหาจำนวนมากก็เลี่ยงได้ตั้งแต่ต้นทาง:

พึ่งคำบรรยายเพียงอย่างเดียว นี่คือสาเหตุอันดับแรก เพราะคำบรรยายกำหนดได้แค่ประเภท ไม่ใช่คนคนหนึ่งโดยเฉพาะ

เปลี่ยน seed แบบสุ่มทุกครั้ง การตรึง seed ช่วยให้การจัดองค์ประกอบและภาพลักษณ์ใกล้เคียงกันมากขึ้นในการสร้างหลายครั้ง

ภาพอ้างอิงคุณภาพต่ำ การใส่แว่นกันแดด เงาหนัก ใบหน้าถูกตัดขอบ หรือการนำภาพจากคนละช่วงเวลามาผสมกัน ล้วนรบกวนโมเดลได้

สัดส่วนใบหน้าเล็กเกินไป เมื่อใบหน้าในภาพมีพื้นที่ไม่ถึงสองในสิบ โมเดลจะไม่มีรายละเอียดเพียงพอให้ยึดเกาะ

เปลี่ยนโมเดลกลางคัน แต่ละโมเดลตีความพรอมป์ต์ไม่เหมือนกัน การใช้ปะปนกันจะยิ่งเพิ่มการคลาดเคลื่อน

สองแนวทางในการล็อกตัวตน

เครื่องมือคุมความสม่ำเสมอแบ่งได้เป็นสองตระกูล เหมาะกับสถานการณ์ต่างกัน

แนวทางแบบอ้างอิง: ให้ภาพอ้างอิงหนึ่งภาพหรือหลายภาพ แล้วโมเดลนำภาพลักษณ์ในภาพนั้นไปใช้กับการสร้างใหม่ ข้อดีคือไม่ต้องฝึกโมเดล เปิดใช้ได้ทันที เหมาะกับการแก้ไขภาพที่มีอยู่ และสานต่อรูปลักษณ์เดียวกันระหว่างหลายภาพ อินพุตแบบหลายอ้างอิงและโหมด Image Fusion ของ NadouPro ใช้แนวทางนี้: สามารถให้ภาพอ้างอิงของตัวละคร ฉาก และพร็อพพร้อมกันได้ เพื่อให้โมเดลเข้าใจความสัมพันธ์ระหว่างสิ่งเหล่านั้น

แนวทางแบบตัวตน: สร้างชุดการตั้งค่าครบถ้วนรอบตัวละครหนึ่งตัว และใช้ภาพอ้างอิงหลายมุมเพื่อล็อกภาพลักษณ์ให้แน่น เหมาะกับคอนเทนต์ระยะยาว การตั้งค่าตัวละครของ NadouPro ร่วมกับภาพสามมุมของตัวละครคือการใช้งานประเภทนี้: สร้างด้านหน้า ด้านข้าง และด้านหลังให้ครบในครั้งเดียว จากนั้นจะเรียกใช้ตัวตนเดียวกันได้ตลอดหลายสิบภาพ ข้ามฉากและข้ามชุดแต่งกาย

การแบ่งงานในทางปฏิบัติชัดเจนมาก: ถ้าจะแก้ภาพนี้ภาพเดียวหรือสานต่อรูปลักษณ์ชุดนี้ ให้ใช้แนวทางแบบอ้างอิง; ถ้าต้องการให้คนคนเดียวกันหน้าตาเหมือนเดิมในทุกคอนเทนต์ ให้ใช้แนวทางแบบตัวตน

จะตรวจสอบอย่างไรว่าล็อกตัวละครได้จริง

อย่าตัดสินด้วยความรู้สึก ให้ทำการทดสอบเปรียบเทียบ:

ใช้ตัวละครเดียวกันสร้างภาพสิบภาพในฉากที่ต่างกัน แล้ววางเทียบกันเพื่อดูว่ารูปหน้า ระยะห่างดวงตา และไรผมสม่ำเสมอหรือไม่; จากนั้นสุ่มเลือกสองภาพมาสร้างวิดีโอด้วย First/Last Frame แล้วดูว่าในการเคลื่อนไหวยังเพี้ยนหรือไม่; สุดท้ายให้นำตัวละครไปวางในภาพระยะไกล เพื่อตรวจสอบว่าเมื่อมีสัดส่วนเล็กแล้วยังจำได้หรือไม่

เมื่อผ่านทั้งสามข้อ ชุดสินทรัพย์ตัวละครนี้จึงถือว่าใช้งานได้จริง

กระบวนการครบถ้วนสำหรับสร้างตัวละครประจำ

ขั้นแรก เลือกภาพลักษณ์ฐาน แล้วใช้ภาพอ้างอิงคุณภาพสูงสร้างภาพกำหนดลุค

ขั้นที่สอง สร้างภาพสามมุมของตัวละครเพื่อล็อกภาพลักษณ์หลายมุม

ขั้นที่สาม ตรึงเทมเพลตพรอมป์ต์ โดยส่วนคำบรรยายตัวละครต้องใช้ข้อความชุดเดิมซ้ำเสมอ

ขั้นที่สี่ การสร้างทั้งหมดหลังจากนั้นต้องอ้างอิงสินทรัพย์ตัวละคร ไม่ปล่อยให้รันด้วยข้อความล้วน

ขั้นที่ห้า ทำการทดสอบเปรียบเทียบด้านบนเป็นระยะ หากพบการคลาดเคลื่อนให้กลับไปปรับใหม่ทันที

ความสม่ำเสมอของตัวละครไม่ใช่การตั้งค่าเพียงครั้งเดียว แต่เป็นวินัยทั้งชุด ยิ่งสร้างสินทรัพย์ให้มั่นคงตั้งแต่ต้น การสร้างสรรค์หลังจากนั้นก็ยิ่งอิสระ

คำถามที่พบบ่อย

ถาม: ใช้แค่พรอมป์ต์ข้อความจะตรึงตัวละครได้ไหม?
ตรึงได้ไม่สมบูรณ์ ข้อความจำกัดได้เพียงประเภทเท่านั้น คำบรรยายเดียวกันในแต่ละครั้งยังสุ่มออกมาเป็นใบหน้าที่ต่างกัน หากต้องการล็อกคนหนึ่งคนโดยเฉพาะ ต้องใช้ภาพอ้างอิงหรือการตั้งค่าตัวละคร

ถาม: ภาพอ้างอิงแบบไหนให้ผลดีที่สุด?
ภาพถ่ายล่าสุดที่แสงเพียงพอ เห็นใบหน้าชัด ไม่มีสิ่งบดบัง และมีแต่ละมุมอย่างละหนึ่งภาพ ควรหลีกเลี่ยงแว่นกันแดด หน้ากาก และมุมสุดขั้ว

ถาม: ถ้าตัวละครในภาพระยะไกลเพี้ยนอยู่เสมอควรทำอย่างไร?
สัดส่วนใบหน้าที่ต่ำในภาพระยะไกลเป็นข้อจำกัดทางกายภาพ สามารถสร้างแบบระยะใกล้ก่อนแล้วค่อยจัดองค์ประกอบใหม่ หรือเน้นลักษณะใบหน้าในพรอมป์ต์ และหากจำเป็นให้ใช้การวาดทับเฉพาะจุดเพื่อแก้ใบหน้า

ถาม: ถ้าเปลี่ยนโมเดลกลางคันจะเกิดอะไรขึ้น?
โมเดลต่างกันตีความภาพลักษณ์ต่างกัน การเปลี่ยนโมเดลจึงเท่ากับเปลี่ยน “ยีนหน้าตา” ของตัวละคร หากจำเป็นต้องเปลี่ยน ให้ใช้ภาพอ้างอิงชุดเดิมยึดใหม่อีกครั้ง และทำการทดสอบเปรียบเทียบ

ถาม: ความสม่ำเสมอในวิดีโอยากกว่าภาพนิ่งไหม?
ใช่ การเคลื่อนไหวเพิ่มการเปลี่ยนแปลงของสีหน้าและมุมมอง ควรล็อกตัวละครด้วยภาพนิ่งให้แน่นก่อน แล้วค่อยสร้างวิดีโอ โอกาสสำเร็จจะสูงขึ้นมาก

หากต้องการทดลองฟีเจอร์เพิ่มเติม เชิญไปที่ NadouPro: NadouPro

เนื้อหานี้มีข้อมูลที่สร้างโดย AI ซึ่งอาจไม่ถูกต้อง โปรดตรวจสอบด้วยตนเอง