ControlNet และ StarCoder: ความก้าวหน้าในการวิจัยของ Roblox สำหรับ AI เชิงสร้างสรรค์

เรามุ่งมั่นอย่างลึกซึ้งในการดำเนินการวิจัยที่มีความรับผิดชอบและมีส่วนร่วมกับชุมชนในทุกด้าน รวมถึงปัญญาประดิษฐ์ (AI) ด้วย เราบรรลุเป้าหมายนี้ผ่านความโปร่งใส การตรวจสอบจากภายนอก และการสนับสนุนสถาบันการศึกษาผ่านการร่วมมือและการสนับสนุนทางการเงิน แนวทางนี้ช่วยให้เราสามารถเร่งการบรรลุความก้าวหน้าที่ยิ่งใหญ่ที่สุดในสามด้านที่เรามุ่งเน้น: ปัญญาประดิษฐ์เชิงสร้างสรรค์ การขยายศูนย์ข้อมูล และความปลอดภัยออนไลน์ วันนี้ เราขอแบ่งปันข้อมูลเชิงลึกและผลลัพธ์จากสองโครงการวิจัยด้าน AI เชิงสร้างสรรค์ของเรา ControlNet เป็นโครงข่ายประสาทเทียมแบบโอเพ่นซอร์สที่เพิ่มการควบคุมแบบมีเงื่อนไขให้กับโมเดลการสร้างภาพ เพื่อให้ได้ผลลัพธ์ภาพที่แม่นยำยิ่งขึ้น StarCoder เป็นโมเดลภาษาขนาดใหญ่ (LLM) สำหรับการสร้างโค้ดที่ทันสมัยที่สุดในรูปแบบโอเพ่นซอร์ส 

ทั้งสองโครงการเป็นความร่วมมือระหว่างสถาบันการศึกษาและภาคอุตสาหกรรม ทั้งสองโครงการยังมุ่งเน้นไปที่การพัฒนาเครื่องมือที่ทรงพลังอย่างมหาศาลสำหรับผู้สร้างสรรค์ของเรา: ศิลปิน 3D และโปรแกรมเมอร์ ที่สำคัญที่สุดและสอดคล้องกับภารกิจของเราในการลงทุนในระยะยาวผ่านการวิจัยที่เปลี่ยนแปลงได้ โครงการเหล่านี้แสดงให้เห็นถึงสัญญาณของความก้าวหน้าในความเข้าใจทางวิทยาศาสตร์พื้นฐานและการควบคุม AI สำหรับการนำไปใช้ในหลากหลายสาขา เราเชื่อว่างานนี้อาจมีผลกระทบอย่างมีนัยสำคัญต่ออนาคตของ Roblox และวงการนี้โดยรวม และเราภูมิใจที่ได้แบ่งปันสิ่งนี้อย่างเปิดเผย

คอนโทรลเน็ต

ความก้าวหน้าล่าสุดของปัญญาประดิษฐ์ — โดยเฉพาะวิธีการเรียนรู้ของเครื่องที่ขับเคลื่อนด้วยข้อมูล (ML) โดยใช้โครงข่ายประสาทเทียมเชิงลึก — ได้ผลักดันให้เกิดความก้าวหน้าใหม่ในเครื่องมือสร้างสรรค์ ความก้าวหน้านี้รวมถึงฟีเจอร์ Code Assist และ Material Generator ของเรา ซึ่งเปิดให้ใช้งานสาธารณะในเครื่องมือฟรีของเรา Roblox Studio ระบบ AI สร้างสรรค์สมัยใหม่ประกอบด้วยโครงสร้างข้อมูลที่เรียกว่าโมเดล ซึ่งได้รับการปรับปรุงผ่านการฝึกฝนหลายพันล้านครั้ง โมเดลที่ทรงพลังที่สุดในปัจจุบันเป็นแบบหลายรูปแบบ หมายความว่าพวกมันได้รับการฝึกฝนจากสื่อผสม เช่น ข้อความ รูปภาพ และเสียง ซึ่งช่วยให้พวกมันสามารถค้นหาความหมายที่ซ่อนอยู่ร่วมกันระหว่างสื่อต่างๆ แทนที่จะปรับตัวเข้ากับองค์ประกอบเฉพาะของชุดข้อมูล เช่น โทนสีหรือการสะกดคำ 

ระบบ AI ใหม่เหล่านี้มีพลังในการแสดงออกอย่างมาก แต่พลังนั้นถูกควบคุมส่วนใหญ่ผ่าน "การวิศวกรรมคำสั่ง" การทำเช่นนี้หมายถึงการเปลี่ยนข้อความที่ป้อนเข้าไปใหม่ ซึ่งคล้ายกับการปรับปรุงคำค้นหาในเครื่องมือค้นหาหากไม่แสดงผลลัพธ์ตามที่คุณคาดหวัง แม้ว่าจะเป็นวิธีที่ดึงดูดใจในการเล่นกับเทคโนโลยีใหม่ เช่น แชทบอทที่ไม่มีทิศทาง แต่ไม่ใช่วิธีที่มีประสิทธิภาพหรือประสิทธิผลในการสร้างเนื้อหา ผู้สร้างผลงานต้องการเครื่องมือที่มีประสิทธิภาพซึ่งพวกเขาสามารถใช้ประโยชน์ได้อย่างมีประสิทธิผลผ่านการควบคุมอย่างตั้งใจ แทนที่จะอาศัยการคาดเดา

โครงการ ControlNet เป็นก้าวหนึ่งในการแก้ไขปัญหาเหล่านี้ โดยนำเสนอวิธีการที่มีประสิทธิภาพในการใช้ประโยชน์จากพลังของโมเดล AI ที่ได้รับการฝึกฝนล่วงหน้าขนาดใหญ่ เช่น Stable Diffusion โดยไม่ต้องพึ่งพาการออกแบบคำสั่ง (prompt engineering) ControlNet เพิ่มการควบคุมโดยให้ศิลปินสามารถกำหนดเงื่อนไขการป้อนข้อมูลเพิ่มเติมได้มากกว่าแค่ข้อความคำสั่ง นักวิจัยจาก Roblox และศาสตราจารย์จากมหาวิทยาลัยสแตนฟอร์ด Maneesh Agrawala และนักวิจัยจากสแตนฟอร์ด Lvmin Zhang ได้กำหนดเป้าหมายสำหรับโครงการ ControlNet ร่วมกันของเราไว้ดังนี้:

1. พัฒนาอินเตอร์เฟซผู้ใช้ที่ดีขึ้นสำหรับเครื่องมือ AI สร้างสรรค์ ก้าวข้ามการปรับแต่งคำสั่งที่ซับซ้อนและสร้างขึ้นบนวิธีการสื่อสารแนวคิดหรือแนวคิดสร้างสรรค์ที่เป็นธรรมชาติมากขึ้น
2. ให้การควบคุมเชิงพื้นที่ที่แม่นยำยิ่งขึ้น เพื่อก้าวไปไกลกว่าการสร้าง "ภาพที่เหมือน" หรือ "ภาพในสไตล์ของ..." ให้สามารถสร้างภาพที่ตรงกับที่ผู้สร้างจินตนาการไว้ได้อย่างแม่นยำ
3. เปลี่ยนการฝึกอบรม AI เชิงสร้างสรรค์ให้เป็นกระบวนการที่มีประสิทธิภาพในการใช้การคำนวณมากขึ้น ทำงานได้เร็วขึ้น ต้องการหน่วยความจำน้อยลง และใช้พลังงานไฟฟ้าน้อยลง
4. ขยายความสามารถของ AI สร้างภาพให้กลายเป็นบล็อกการสร้างที่สามารถนำกลับมาใช้ใหม่ได้ จากนั้นสามารถผสานรวมกับกระบวนการประมวลผลภาพมาตรฐานและระบบเรนเดอร์ 3 มิติได้ 

โดยการอนุญาตให้ผู้สร้างสามารถเพิ่มภาพเพิ่มเติมสำหรับการควบคุมเชิงพื้นที่ ControlNet มอบการควบคุมที่มากขึ้นต่อภาพสุดท้ายที่ถูกสร้างขึ้น ตัวอย่างเช่น คำสั่ง "กวางตัวผู้ที่มีเขากวาง" บนตัวสร้างภาพจากข้อความที่มีอยู่เดิมได้ผลิตภาพที่หลากหลาย ดังที่แสดงด้านล่าง:

ภาพเหล่านี้ที่สร้างขึ้นด้วยโซลูชัน AI ก่อนหน้านั้นดูน่าสนใจ แต่โชคร้ายที่ผลลัพธ์ที่ได้นั้นโดยพื้นฐานแล้วเป็นแบบสุ่มโดยไม่มีหลักการควบคุม ไม่มีวิธีใดในระบบสร้างภาพเหล่านั้นที่จะกำหนดทิศทางของผลลัพธ์ได้ นอกจากการแก้ไขข้อความคำสั่งเท่านั้น

ด้วย ControlNet ผู้สร้างมีอำนาจมากขึ้นกว่าเดิม วิธีหนึ่งในการใช้ ControlNet คือการให้ทั้งคำชี้แจงและภาพต้นฉบับเพื่อกำหนดรูปร่างทั่วไปที่ต้องการ ในกรณีนี้ ภาพที่ได้จะยังคงมีความหลากหลาย แต่ที่สำคัญคือจะคงรูปร่างที่ระบุไว้:

ผู้สร้างอาจระบุชุดของขอบ, ภาพที่ไม่มีคำแนะนำเลย, หรือวิธีการอื่น ๆ มากมายในการให้ข้อมูลเชิงการแสดงออกแก่ระบบ

ในการสร้าง ControlNet เราจะโคลนน้ำหนักภายในเครือข่ายของโมเดลดิสฟิวชันขนาดใหญ่ให้เป็นสองเวอร์ชัน หนึ่งคือเครือข่ายที่สามารถฝึกฝนได้ (ซึ่งทำหน้าที่ควบคุม; เรียกว่า "ControlNet") และอีกหนึ่งคือเครือข่ายที่ถูกล็อกไว้ เครือข่ายที่ถูกล็อกจะคงความสามารถที่เรียนรู้จากภาพนับพันล้านภาพไว้ และอาจเป็นโมเดลสร้างภาพใด ๆ ที่เคยมีมาก่อนก็ได้ จากนั้นเราจะฝึกฝนเครือข่ายที่สามารถฝึกฝนได้บนชุดข้อมูลเฉพาะงาน เพื่อเรียนรู้การควบคุมแบบมีเงื่อนไขจากภาพเพิ่มเติม สำเนาที่สามารถฝึกฝนได้และถูกล็อกไว้เชื่อมต่อกันด้วยเลเยอร์คอนโวลูชันประเภทพิเศษที่เราเรียกว่า "ซีโรคอนโวลูชัน" ซึ่งน้ำหนักคอนโวลูชันจะค่อยๆ เพิ่มขึ้นจากศูนย์เป็นพารามิเตอร์ที่เหมาะสมที่สุดในลักษณะที่เรียนรู้ได้ หมายความว่าในตอนแรกพวกมันไม่มีอิทธิพลใดๆ และระบบจะหาค่าควบคุมที่เหมาะสมที่สุดเพื่อใช้กับเครือข่ายที่ถูกล็อกไว้

เนื่องจากน้ำหนักต้นฉบับถูกเก็บรักษาไว้ผ่านเครือข่ายที่ถูกล็อกไว้ ทำให้แบบจำลองสามารถทำงานได้ดีกับชุดข้อมูลการฝึกอบรมที่มีขนาดต่างกัน และชั้นคอนโวลูชันศูนย์ทำให้กระบวนการเร็วขึ้นมาก — ใกล้เคียงกับการปรับแต่งแบบจำลองการกระจายตัวมากกว่าการฝึกอบรมชั้นใหม่จากศูนย์ 

เราได้ทำการตรวจสอบความถูกต้องอย่างละเอียดของเทคนิคนี้สำหรับการสร้างภาพแล้ว ControlNet ไม่เพียงแต่ปรับปรุงคุณภาพของภาพที่ได้เท่านั้น แต่ยังทำให้การฝึกอบรมเครือข่ายสำหรับงานเฉพาะมีประสิทธิภาพมากขึ้นและสามารถนำไปใช้งานได้จริงในระดับใหญ่สำหรับผู้สร้างหลายล้านคนของเรา ในการทดลอง ControlNet ให้ประสิทธิภาพเพิ่มขึ้นถึง 10 เท่าเมื่อเทียบกับสถานการณ์ทางเลือกที่ต้องฝึกอบรมโมเดลใหม่ทั้งหมด ประสิทธิภาพนี้มีความสำคัญอย่างยิ่ง เนื่องจากกระบวนการสร้างแบบจำลองใหม่ใช้เวลานานและใช้ทรัพยากรมากเมื่อเทียบกับการพัฒนาซอฟต์แวร์แบบดั้งเดิม การทำให้การฝึกอบรมมีประสิทธิภาพมากขึ้นช่วยประหยัดไฟฟ้า ลดต้นทุน และเพิ่มอัตราการเพิ่มฟังก์ชันการทำงานใหม่ได้

โครงสร้างที่เป็นเอกลักษณ์ของ ControlNet ทำให้สามารถทำงานได้ดีกับชุดข้อมูลการฝึกอบรมที่มีขนาดต่างๆ และบนสื่อหลายประเภท ControlNet ได้รับการพิสูจน์แล้วว่าสามารถทำงานร่วมกับรูปแบบการควบคุมที่หลากหลาย รวมถึงภาพถ่าย ภาพวาดด้วยมือ และการตรวจจับท่าทางแบบ openpose เราเชื่อว่า ControlNet สามารถนำไปประยุกต์ใช้กับสื่อหลากหลายประเภทเพื่อสร้างเนื้อหา AI ได้ งานวิจัยนี้เปิดให้สาธารณชนเข้าถึงและทดลองใช้งานได้ และเราจะนำเสนอข้อมูลเพิ่มเติมเมื่อเราค้นพบสิ่งใหม่ๆ จากงานวิจัยนี้

สตาร์โค้ดเดอร์

ปัญญาประดิษฐ์เชิงสร้างสรรค์สามารถนำไปใช้เพื่อสร้างภาพ เสียง ข้อความ โค้ดโปรแกรม หรือสื่อที่มีความหลากหลายในรูปแบบอื่นๆ อย่างไรก็ตาม ในสื่อที่แตกต่างกัน การประยุกต์ใช้ที่ประสบความสำเร็จมากที่สุดมักจะเป็นกรณีที่มีการตัดสินผลลัพธ์โดยใช้ความรู้สึกส่วนบุคคล ตัวอย่างเช่น ภาพจะถือว่าประสบความสำเร็จเมื่อมันดึงดูดผู้ชมที่เป็นมนุษย์ ข้อผิดพลาดบางอย่างในภาพ เช่น ลักษณะแปลกๆ ที่ขอบหรือแม้กระทั่งนิ้วเกินบนมือ อาจไม่ถูกสังเกตเห็นหากภาพโดยรวมมีความน่าสนใจ ในทำนองเดียวกัน บทกวีหรือเรื่องสั้นอาจมีข้อผิดพลาดทางไวยากรณ์หรือการกระโดดทางตรรกะบางอย่าง แต่หากใจความสำคัญมีความน่าสนใจ เราก็มีแนวโน้มที่จะให้อภัยข้อผิดพลาดเหล่านี้ 

อีกวิธีหนึ่งในการพิจารณาเกณฑ์เชิงอัตวิสัยคือพื้นที่ผลลัพธ์เป็นแบบต่อเนื่อง ผลลัพธ์หนึ่งอาจดีกว่าอีกผลลัพธ์หนึ่ง แต่ไม่มีเกณฑ์เฉพาะที่ผลลัพธ์จะยอมรับได้หรือยอมรับไม่ได้โดยสิ้นเชิง สำหรับโดเมนและรูปแบบสื่ออื่นๆ ผลลัพธ์จะถูกตัดสินอย่างเป็นวัตถุประสงค์ ตัวอย่างเช่น โค้ดต้นฉบับที่สร้างโดยผู้ช่วยโปรแกรมมิ่ง AI แบบสร้างสรรค์นั้นจะถูกต้องหรือไม่ถูกต้องเท่านั้น หากโค้ดไม่สามารถผ่านการทดสอบได้ ก็ถือว่าล้มเหลว แม้ว่าจะคล้ายกับโค้ดที่ใช้แก้ปัญหาที่ถูกต้องก็ตาม นี่คือพื้นที่ผลลัพธ์แบบไม่ต่อเนื่อง (discrete) ซึ่งการประสบความสำเร็จในพื้นที่นี้ยากกว่า เนื่องจากเกณฑ์การตัดสินเข้มงวดกว่า และไม่สามารถค่อย ๆ ปรับปรุงไปสู่คำตอบที่ดีได้—โค้ดจะถือว่าผิดพลาดจนกว่าจะทำงานได้ในทันที

LLMs ที่ใช้สำหรับการสร้างข้อความทำงานได้ดีสำหรับการใช้งานที่มีความเป็นอัตวิสัยและต่อเนื่อง เช่น แชทบอท นอกจากนี้ยังดูเหมือนว่าจะทำงานได้ดีสำหรับการสร้างข้อความเรียงความในหลายภาษาของมนุษย์ เช่น ภาษาอังกฤษและภาษาฝรั่งเศส อย่างไรก็ตาม LLMs ที่มีอยู่ในปัจจุบันดูเหมือนจะทำงานได้ไม่ดีเท่าสำหรับภาษาโปรแกรมเมื่อเทียบกับภาษาของมนุษย์เหล่านั้น โค้ดเป็นรูปแบบหนึ่งของคณิตศาสตร์ที่เป็นวิธีการแสดงออกที่มีความเป็นวัตถุวิสัยและแตกต่างอย่างมากจากภาษาธรรมชาติ มันเป็นพื้นที่ผลลัพธ์ที่เป็นแบบไม่ต่อเนื่องแทนที่จะเป็นพื้นที่ผลลัพธ์ที่ต่อเนื่อง เพื่อให้ได้การสร้างสรรค์โค้ดภาษาโปรแกรมที่มีคุณภาพสูงที่สุดสำหรับผู้สร้างบน Roblox เราจำเป็นต้องมีวิธีการในการนำ LLMs มาใช้ที่สามารถทำงานได้ดีในพื้นที่ที่เป็นแบบไม่ต่อเนื่องและมีวัตถุประสงค์ชัดเจนนี้ นอกจากนี้ เรายังต้องการวิธีการที่แข็งแกร่งในการแสดงฟังก์ชันการทำงานของโค้ดโดยไม่ขึ้นกับไวยากรณ์ของภาษาเฉพาะ เช่น Lua, JavaScript หรือ Python 

StarCoder, ระบบ LLM แบบเปิดใหม่ล่าสุดสำหรับการสร้างโค้ด, เป็นการก้าวหน้าครั้งใหญ่ในความท้าทายทางเทคนิค และระบบ LLM ที่เปิดกว้างอย่างแท้จริงสำหรับทุกคน. StarCoder เป็นหนึ่งในผลลัพธ์ของกลุ่มวิจัย BigCode ซึ่งประกอบด้วยสมาชิกมากกว่า 600 คนจากห้องปฏิบัติการวิจัยทั้งในสถาบันการศึกษาและภาคอุตสาหกรรม นักวิจัยจาก Roblox และศาสตราจารย์จากมหาวิทยาลัย Northeastern ชื่อ Arjun Guha ได้ช่วยนำทีมนี้ในการพัฒนา StarCoder ผลลัพธ์ที่เผยแพร่ครั้งแรกนี้มุ่งเน้นเฉพาะด้านโค้ด ซึ่งเป็นพื้นที่ที่วงการนี้ต้องการการเติบโตใหม่มากที่สุด เนื่องจากความสำเร็จที่สัมพันธ์กันของวิธีการเชิงอัตวิสัย 

เพื่อส่งมอบ AI เชิงสร้างสรรค์ผ่าน LLMs ที่สนับสนุนระบบนิเวศ AI ที่ใหญ่ขึ้นและชุมชน Roblox เราจำเป็นต้องมีโมเดลที่ได้รับการฝึกฝนเฉพาะบนชุดข้อมูลที่ได้รับอนุญาตอย่างเหมาะสมและรวบรวมอย่างมีความรับผิดชอบ ชุดข้อมูลเหล่านี้ควรมีใบอนุญาตที่ไม่จำกัดเพื่อให้ทุกคนสามารถใช้ สร้างต่อยอด และส่งกลับคืนสู่ระบบนิเวศได้ ปัจจุบัน LLMs ที่ทรงพลังที่สุดเป็นกรรมสิทธิ์หรือได้รับอนุญาตให้ใช้ในเชิงพาณิชย์ในรูปแบบที่จำกัด ซึ่งห้ามหรือจำกัดความสามารถของนักวิจัยในการทดลองกับโมเดลเอง ในทางตรงกันข้าม StarCoder เป็นโมเดลที่เปิดกว้างอย่างแท้จริง สร้างขึ้นจากความร่วมมือของนักวิจัยจากภาคอุตสาหกรรมและสถาบันการศึกษา และได้รับอนุญาตให้ใช้งานเชิงพาณิชย์โดยไม่มีข้อจำกัดในทุกขนาด StarCoder ได้รับการฝึกฝนเฉพาะบนเนื้อหาที่รวบรวมอย่างมีความรับผิดชอบและมีใบอนุญาตที่เหมาะสมเท่านั้น โมเดลนี้ได้รับการฝึกฝนครั้งแรกบนโค้ดสาธารณะ และมีกระบวนการเลือกไม่เข้าร่วมสำหรับผู้ที่ต้องการไม่ให้โค้ดของตนถูกนำไปใช้ในการฝึกฝน

ปัจจุบัน StarCoder ทำงานบนภาษาโปรแกรมที่แตกต่างกัน 86 ภาษา รวมถึง Python, C++ และ Java ณ เวลาที่ตีพิมพ์เอกสารนี้ StarCoder มีประสิทธิภาพเหนือกว่า LLM แบบโอเพ่นโค้ดทั้งหมดที่รองรับหลายภาษา และยังแข่งขันได้กับโมเดลแบบปิดที่เป็นกรรมสิทธิ์หลายตัวอีกด้วย 

StarCoder LLM เป็นการมีส่วนร่วมในระบบนิเวศ แต่เป้าหมายการวิจัยของเรานั้นลึกซึ้งกว่านั้นมาก ผลกระทบที่ยิ่งใหญ่ที่สุดของการวิจัยนี้คือการพัฒนาการสร้างแบบจำลองเชิงความหมายของโมเดลหลายรูปแบบทั้งเชิงวัตถุประสงค์และเชิงอัตวิสัย รวมถึงโค้ด ข้อความ รูปภาพ เสียง วิดีโอ และเพิ่มประสิทธิภาพการฝึกอบรมผ่านเทคนิคการถ่ายโอนโดเมน เรายังคาดหวังที่จะได้รับความเข้าใจอย่างลึกซึ้งเกี่ยวกับการบำรุงรักษาและการควบคุม AI เชิงสร้างสรรค์สำหรับงานเชิงวัตถุประสงค์ เช่น การสร้างซอร์สโค้ด มีความแตกต่างอย่างมากระหว่างการสาธิตเทคโนโลยีใหม่ที่น่าดึงดูดกับการเป็นผลิตภัณฑ์ที่ปลอดภัย เชื่อถือได้ และมีประสิทธิภาพซึ่งสร้างคุณค่าให้กับชุมชนผู้ใช้ สำหรับโมเดล ML ของเรา เราได้ปรับประสิทธิภาพให้เหมาะสมกับขนาดหน่วยความจำ การประหยัดพลังงาน และเวลาในการประมวลผล นอกจากนี้ เรายังได้พัฒนาโครงสร้างพื้นฐานที่แข็งแกร่ง ล้อมรอบแกนหลักของ AI ด้วยซอฟต์แวร์เพื่อเชื่อมต่อกับส่วนอื่น ๆ ของระบบ และพัฒนาระบบที่ราบรื่นสำหรับการอัปเดตบ่อยครั้งเมื่อมีการเพิ่มฟีเจอร์ใหม่ ๆ 

การนำนักวิทยาศาสตร์และวิศวกรของ Roblox มารวมตัวกับผู้มีความสามารถเฉียบแหลมในวงการวิทยาศาสตร์ถือเป็นองค์ประกอบสำคัญในการแสวงหาเทคโนโลยีที่ล้ำสมัยของเรา เราภูมิใจที่จะแบ่งปันผลลัพธ์ในระยะแรกเหล่านี้ และขอเชิญชวนชุมชนนักวิจัยเข้าร่วมกับเราเพื่อพัฒนาความก้าวหน้าเหล่านี้ให้ก้าวหน้ายิ่งขึ้น