ใช้ Seedance 2.0 อย่างไร? คู่มือ NadouPro: จากคลิปแรกสู่เวิร์กโฟลว์หลายรีเฟอเรนซ์

Seedance 2.0 เป็นหนึ่งในโมเดลหลักของชุดโมเดลวิดีโอของ NadouPro รองรับการซิงก์ภาพและเสียงระดับ 4K อินพุตอ้างอิงแบบรอบด้าน และลำดับหลายช็อต แตกต่างจากการสร้างวิดีโอจากข้อความแบบดั้งเดิม เพราะรองรับอินพุตอ้างอิงได้สูงสุด 9 รายการ—ใบหน้า ฉาก เส้นทางการเคลื่อนไหว เสียง—และประมวลผลรวมกันในการเรียกสร้างครั้งเดียว บทความนี้เป็นคู่มือปฏิบัติสำหรับครีเอเตอร์ ตั้งแต่คลิปแรกไปจนถึงเทคนิคขั้นสูง

ความแตกต่างหลักของ Seedance 2.0

โมเดลวิดีโอ AI ส่วนใหญ่รับพรอมป์ต์ข้อความแล้วตีความส่วนที่เหลือแบบประมาณการ แต่ Seedance 2.0 ทำงานต่างออกไป: มันรับข้อความ รูปภาพ คลิปวิดีโอ และเสียงเป็นอินพุต แล้วประมวลผลในการสร้างครั้งเดียว ไม่ต้องบรรยายสิ่งที่คุณต้องการแล้วภาวนาให้โมเดลตีความถูก แต่ให้มันดูโดยตรง—ข้อมูลอ้างอิงใบหน้า เส้นทางการเคลื่อนกล้อง หรือเสียงพากย์หนึ่งชุด

เสียงและภาพถูกสร้างให้ซิงก์กันโดยกำเนิด ไม่ใช่เพิ่มภายหลัง การซิงก์ริมฝีปากรองรับมากกว่า 8 ภาษา การเคลื่อนกล้องควบคุมด้วยทิศทางในพรอมป์ต์: อธิบายการดอลลี่ การก้มเงยกล้อง การถ่ายตาม แล้วโมเดลจะดำเนินการแทนการประมาณ ความสอดคล้องของตัวละครข้ามช็อตถูกจัดการผ่านระบบอ้างอิง กำหนดใบหน้าหรือสไตล์ภาพเพียงครั้งเดียว แล้วจะคงอยู่ในทุกฉาก

ทำให้คลิปมีความเป็นภาพยนตร์มากขึ้น

คานงัดที่สำคัญที่สุดคือระดับความเฉพาะเจาะจงของพรอมป์ต์ Seedance 2.0 เข้าใจภาษาการเคลื่อนกล้องแบบภาพยนตร์โดยตรง พรอมป์ต์ที่คลุมเครือจะให้การเคลื่อนไหวทั่วไป ส่วนพรอมป์ต์ที่เฉพาะเจาะจงจะให้ช็อตที่มีเจตนา

พรอมป์ต์ที่มีประสิทธิภาพควรครอบคลุม 4 สิ่งตามลำดับ: ตัวแบบกำลังทำอะไร เกิดขึ้นที่ไหน กล้องกำลังทำอะไร และอารมณ์หรือบรรยากาศเป็นอย่างไร

พรอมป์ต์อ่อน:

การต่อสู้ระหว่างเซลล์ภูมิคุ้มกันกับไวรัสภายในหลอดเลือด เม็ดเลือดแดงเคลื่อนที่อยู่รอบ ๆ กล้องแสดงการต่อสู้จากหลายมุม ดูตึงเครียดและดราม่า

พรอมป์ต์แข็ง:

ภาพกว้างมาก กองทัพยักษ์สองฝ่ายปะทะกันภายในหลอดเลือดขนาดมหึมา ผนังหลอดเลือดโค้งกึ่งโปร่งแสงเหมือนเนื้อเยื่อมีชีวิตรูปวงแหวนทอดโค้งข้ามเฟรม นักสู้มีลักษณะอินทรีย์และไม่สมมาตร—มาโครฟาจอะมีบาขนาดใหญ่ที่มีเยื่อหุ้มเป็นระลอกและแขนขาเทียมยืดออก ลวดลายเรืองแสงชีวภาพวาบอยู่ในไซโทพลาซึม เผชิญหน้ากับแคปซิดไวรัสทรงยี่สิบหน้าแบบมีหนามและกลุ่มโปรตีนหนามคล้ายมงกุฎ ยานขนาดเล็กคือเม็ดเลือดแดงเว้าสองด้าน—จานแบนรูปวงแหวนหมุนและเอียง ทิ้งร่องรอยเกลียวไว้ในสนามเศษเซลล์และชิ้นส่วนไฟบริน กล้องแฮนด์เฮลด์ลอยและสั่นท่ามกลางความโกลาหล จากเยื่อหุ้มเซลล์ติดเชื้อขนาดใหญ่ที่ปริแตกภายใต้การโจมตีรวมของไวรัส ไปจนถึงกลุ่มเม็ดเลือดแดงที่หมุนเป็นเกลียวลอดผ่านซากที่กำลังสลาย กระแสพลาสมากวาดผ่านเฟรม เซลล์ระเบิดอย่างเงียบงันและยุบตัวเข้าด้านใน ไวรัสใหม่กระจายออกจากเซลล์เจ้าบ้านที่กำลังตายราวกับสปอร์ พลาสมาสีแดงเข้มและน้ำเงินกระดานชนวน แสงไฟแอนติบอดีสีขาวร้อนแรง สเกลภาพยนตร์มหากาพย์และการเคลื่อนไหวไม่หยุดนิ่ง

คำศัพท์การเคลื่อนกล้องที่ Seedance 2.0 อ่านได้โดยตรง: ดอลลี่เข้าใกล้, เลื่อนไปทางซ้าย, เคลื่อนกล้องเป็นส่วนโค้ง, ดันเข้าใกล้, ถอยออกด้วยมุมกว้าง, แฮนด์เฮลด์ถ่ายตาม, เครนยกขึ้น, เคลื่อนวนรอบ ใช้มันเหมือนอยู่ในรายการช็อต ยิ่งคำสั่งเฉพาะเจาะจงเท่าไร การดำเนินการก็ยิ่งเชื่อถือได้มากขึ้น

ระบบอ้างอิง: แท็กอ้างอิง @

ระบบอ้างอิง @ คือส่วนที่ครีเอเตอร์ส่วนใหญ่ยังใช้ไม่เต็มที่ แต่ละแท็กชี้ไปยังไฟล์หนึ่งไฟล์ที่คุณอัปโหลด และโมเดลจะถือว่าเป็นข้อกำหนดในการสร้าง ไม่ใช่คำแนะนำ สามารถรวมข้อมูลอ้างอิงหลายรายการในการเรียกสร้างครั้งเดียวได้

@character: อัปโหลดภาพถ่ายบุคคล ภาพพอร์ตเทรตที่สร้างด้วย AI หรือภาพออกแบบตัวละคร โมเดลจะดึงเรขาคณิตของใบหน้า สีผิว และสไตล์ภาพ แล้วรักษาความสอดคล้องไว้ในคลิป เมื่อใช้ร่วมกับโหมดผสานภาพ จะช่วยรักษาอัตลักษณ์ให้สอดคล้องกันระหว่างการสร้างอิสระหลายครั้งได้

@style: อัปโหลดรูปภาพ ภาพนิ่งจากภาพยนตร์ หรือข้อมูลอ้างอิงสี โมเดลจะอ่านแสง โทนสี และบรรยากาศภาพ แล้วนำไปใช้กับการสร้างของคุณ เหมาะสำหรับจับคู่สุนทรียภาพเฉพาะในชุดคลิปโดยไม่ต้องอธิบายด้วยข้อความทุกครั้ง

@motion: อัปโหลดคลิปวิดีโอสั้น โมเดลจะอ่านพฤติกรรมการเคลื่อนกล้องและรูปแบบการเคลื่อนไหวแล้วทำซ้ำ ใช้เมื่อคุณมีเจตนาการเคลื่อนกล้องเฉพาะและคำอธิบายด้วยข้อความยังไม่แม่นพอ

@audio: อัปโหลดคลิปเสียงคนหรือแทร็กเพลง โมเดลจะซิงก์ผลลัพธ์ภาพกับจังหวะเสียง หากตัวละครกำลังพูดก็จะสร้างการซิงก์ริมฝีปาก และจับคู่เสียงบรรยากาศให้เข้ากับเนื้อหาภาพ

ขั้นตอนการสร้างคลิปแรก

ขั้นตอนที่หนึ่ง: เปิด Seedance 2.0

ในแพลตฟอร์ม NadouPro ให้ไปยังพื้นที่สร้างวิดีโอ แล้วเลือก Seedance 2.0 จากรายการโมเดล แผงอินพุตทางซ้ายประกอบด้วยพรอมป์ต์ข้อความ ช่องอัปโหลดข้อมูลอ้างอิง ตัวเลือกความละเอียด และการตั้งค่าเอาต์พุต

ขั้นตอนที่สอง: เริ่มจาก 720p

ก่อนลงทุนสร้างแบบ 1080p เต็มรูปแบบ ให้ตรวจสอบพรอมป์ต์ด้วย 720p ก่อน ตรรกะการเคลื่อนไหว พฤติกรรมการเคลื่อนกล้อง และองค์ประกอบภาพจะปรากฏใน 720p เพียงพอสำหรับประเมินแล้วค่อยยกระดับ การเปลี่ยนจาก 720p เป็น 1080p ใช้ต้นทุนการสร้างประมาณสองเท่า ดังนั้นการพบปัญหาเร็วจะช่วยประหยัดทรัพยากร

ขั้นตอนที่สาม: เขียนพรอมป์ต์

ใช้โครงสร้างข้างต้น: ตัวแบบและการกระทำไว้ก่อน ฉากและแสงเป็นลำดับถัดมา การเคลื่อนกล้องเป็นลำดับที่สาม และอารมณ์หรือสไตล์ไว้ท้ายสุด เพิ่มข้อมูลอ้างอิง @ สำหรับใบหน้า สไตล์ การเคลื่อนไหว หรือเสียงใด ๆ ที่ต้องรักษาความสอดคล้อง

ขั้นตอนที่สี่: ตรวจสอบคลิปเต็ม

ดูเอาต์พุตจนจบก่อนตัดสิน ปัญหาคุณภาพส่วนใหญ่มักเกิดในวินาทีที่ 5 ถึง 8 ไม่ใช่เฟรมแรก ตรวจสอบว่าการเคลื่อนไหวต่อเนื่องหรือไม่ สีหน้าปรับเปลี่ยนตามสัญญาณอารมณ์อย่างเป็นธรรมชาติหรือไม่ และการเคลื่อนกล้องที่คุณอธิบายถูกดำเนินการจริงหรือไม่

ขั้นตอนที่ห้า: เปลี่ยนตัวแปรครั้งละหนึ่งอย่าง

หากมีจุดที่ไม่ถูกต้อง ให้แก้พรอมป์ต์หรือแก้ข้อมูลอ้างอิง อย่าแก้ทั้งสองอย่างพร้อมกัน นี่คือวิธีที่เร็วที่สุดในการระบุปัจจัยที่ขับเคลื่อนเอาต์พุต

ขั้นตอนที่หก: ยกระดับเป็น 1080p

เมื่อพรอมป์ต์ให้คอมโพสที่ถูกต้องใน 720p แล้ว ให้รันใน 1080p คงพรอมป์ต์เดิมไว้ หากต้องการเพิ่มเสียงแบบกำเนิด ให้ทำในขั้นตอนนี้เพื่อหลีกเลี่ยงการสร้างซ้ำ

ปัญหาที่พบบ่อยและวิธีแก้

เอาต์พุตละเลยคำสั่งการเคลื่อนกล้อง แทนคำอธิบายที่คลุมเครือด้วยคำศัพท์เฉพาะ: ดอลลี่เข้าใกล้, ถอยออกด้วยมุมกว้าง, โค้งไปทางขวา, เลื่อนไปทางซ้าย, เครนยกขึ้น ยิ่งคำสั่งการเคลื่อนกล้องเฉพาะเจาะจงเท่าไร การดำเนินการก็ยิ่งเชื่อถือได้มากขึ้น

ตัวละครเปลี่ยนรูปลักษณ์กลางคลิป เพิ่มจุดยึดทางภาพที่เฉพาะเจาะจงมากขึ้นในพรอมป์ต์: สีผม รายละเอียดเสื้อผ้า ลักษณะเด่นที่จำได้ หากตัวละครต้องคงความสอดคล้องกันระหว่างการสร้างอิสระหลายครั้ง ให้ใช้โหมดผสานภาพเพื่อสร้างโมเดลอัตลักษณ์ถาวร

การเคลื่อนไหวดูสะดุดตรงจุดตัด ใช้เฟรมสุดท้ายของคลิปหนึ่งและเฟรมเปิดของคลิปถัดไปเป็นภาพอ้างอิง แล้วใช้ฟังก์ชันเฟรมแรกและเฟรมสุดท้ายเพื่อสร้างคลิปเปลี่ยนผ่านระหว่างสองช่วง

ต้นทุนการสร้างเกินคาด สองปัจจัยที่ส่งผลต่อต้นทุนมากที่สุดคือเสียงและความละเอียด 1080p ตรวจสอบกับต้นแบบ 720p ที่ไม่ใส่เสียงก่อน เมื่อล็อกพรอมป์ต์แล้วจึงรันเวอร์ชันสุดท้ายแบบ 1080p พร้อมเสียง

เทมเพลตพรอมป์ต์

ฉากตัวละครแบบภาพยนตร์

@character เดินผ่าน[ฉาก], [การกระทำ], กล้อง[การเคลื่อนกล้อง], [แสง], [บรรยากาศ] เอฟเฟกต์เสียง: [คำอธิบายเสียงแวดล้อม]

ตัวอย่าง: @character เดินผ่านสถานีรถไฟที่แออัดในชั่วโมงเร่งด่วน ดูโทรศัพท์ กล้องถ่ายตามระดับไหล่ ไฟฟลูออเรสเซนต์เหนือศีรษะโทนอุ่น ตึงเครียดและเร่งรีบ เอฟเฟกต์เสียง: เสียงบรรยากาศสถานี เสียงประกาศอยู่เบื้องหลัง

การนำเสนอผลิตภัณฑ์

@product วางอยู่บน[พื้นผิว]ใน[ฉาก], [แสง], กล้อง[การเคลื่อนกล้อง], [บรรยากาศ] ไม่มีคน ไม่มีข้อความ ไม่มีโลโก้

ช็อตเปิดลำดับหลายช็อต

ช็อต establishing shot ระยะไกลมากของ[สถานที่], [เวลา], [สภาพอากาศ], กล้อง[การเคลื่อนกล้อง], [บรรยากาศ] [ตัวละคร]เข้ากรอบจาก[ทิศทาง]และ[การกระทำ]

คำถามที่พบบ่อย

Q: ความแตกต่างหลักระหว่าง Seedance 2.0 กับโมเดลวิดีโออื่นคืออะไร?

Seedance 2.0 รองรับอินพุตอ้างอิงได้สูงสุด 9 รายการ (ใบหน้า ฉาก การเคลื่อนไหว เสียง ฯลฯ) และประมวลผลในการสร้างครั้งเดียว ซิงก์ภาพและเสียงโดยกำเนิด และการซิงก์ริมฝีปากรองรับมากกว่า 8 ภาษา โมเดลอื่นส่วนใหญ่รับเฉพาะพรอมป์ต์ข้อความ

Q: มือใหม่ควรเริ่มจากข้อความเป็นวิดีโอหรือภาพเป็นวิดีโอ?

แนะนำให้เริ่มจากภาพเป็นวิดีโอ อัปโหลดภาพอ้างอิงที่ชัดเจน เห็นด้านหน้า และมีแสงดี พร้อมคำอธิบายการกระทำและการเคลื่อนกล้องสั้น ๆ ภาพเป็นวิดีโอให้จุดยึดทางภาพแก่โมเดล ทำให้เอาต์พุตคาดเดาได้มากกว่าข้อความล้วน และช่วยให้คุณเข้าใจได้เร็วขึ้นว่าโมเดลตีความพรอมป์ต์อย่างไร

Q: Seedance 2.0 รองรับวิดีโอยาวเท่าไร?

Seedance 2.0 รองรับลำดับหลายช็อตยาวสูงสุด 15 วินาที 3D Director's Desk รองรับการส่งออกวิดีโอสูงสุด 90 วินาที ระยะเวลาที่แน่นอนขึ้นอยู่กับความซับซ้อนของฉากและการตั้งค่าเอาต์พุต

Q: จะลดต้นทุนการสร้างได้อย่างไร?

ตรวจสอบพรอมป์ต์กับต้นแบบ 720p ที่ไม่ใส่เสียงก่อน เมื่อล็อกองค์ประกอบภาพและการเคลื่อนไหวแล้วจึงยกระดับเป็น 1080p พร้อมเสียงเพื่อรันเวอร์ชันสุดท้าย ในการทำซ้ำแต่ละครั้งให้เปลี่ยนตัวแปรเพียงหนึ่งอย่าง (พรอมป์ต์หรือข้อมูลอ้างอิง) เพื่อหลีกเลี่ยงการสร้างซ้ำแบบไร้ทิศทาง

Q: ระบบอ้างอิง @ ใช้อย่างไร?

ใช้ @ ตามด้วยชื่อแท็กในพรอมป์ต์เพื่ออ้างอิงไฟล์ที่อัปโหลด เช่น @character, @style, @motion, @audio โมเดลจะถือข้อมูลอ้างอิงเป็นข้อกำหนดในการสร้าง ไม่ใช่คำแนะนำ สามารถรวมข้อมูลอ้างอิงหลายรายการในการสร้างครั้งเดียวได้

Q: จะทำให้ตัวละครคงความสอดคล้องระหว่างคลิปอิสระหลายคลิปได้อย่างไร?

ใช้โหมดผสานภาพ: อัปโหลดภาพตัวละครมากกว่า 20 ภาพ ระบบจะฝึกโมเดลอัตลักษณ์ถาวร หลังจากนั้นการสร้างทั้งหมดที่ใช้อัตลักษณ์นี้จะให้ใบหน้าเดียวกัน โดยไม่ต้องอัปโหลดภาพอ้างอิงใหม่ทีละช็อต

ยินดีต้อนรับให้ไปสัมผัสฟีเจอร์เพิ่มเติมที่ NadouPro: NadouPro

เนื้อหานี้มีข้อมูลที่สร้างโดย AI ซึ่งอาจไม่ถูกต้อง โปรดตรวจสอบด้วยตนเอง