రోబ్లాక్స్ క్యూబ్ పరిచయం: 3D మరియు 4D కోసం మా కోర్ జెనరేటివ్ AI సిస్టమ్
- మేము జెనరేటివ్ AI కోసం మా క్యూబ్ 3D ఫౌండేషన్ మోడల్ను విడుదల చేస్తున్నాము.
- మేము క్యూబ్ 3D ఫౌండేషన్ మోడల్ యొక్క ఒక వెర్షన్ను ఓపెన్ సోర్సింగ్ కూడా చేస్తున్నాము.
- క్యూబ్ 3D మెష్ జనరేషన్ యొక్క బీటా వెర్షన్—రాబ్లాక్స్ స్టూడియోలో మరియు ఇన్-ఎక్స్పీరియన్స్ లూవా APIగా—ఈ వారం అందుబాటులోకి వస్తుంది.
గత శరదృతువులో, రాబ్లాక్స్లో 3D వస్తువులు మరియు దృశ్యాలను సృష్టించడానికి ఒక ఓపెన్-సోర్స్ 3D ఫౌండేషన్ మోడల్ను నిర్మించే ఒక ప్రతిష్టాత్మక ప్రాజెక్ట్ను మేము ప్రకటించాము. ఈ వారం, ఈ మోడల్ యొక్క మొదటి విడుదలను మేము ఓపెన్-సోర్స్ చేస్తున్నాము, దీనిని రాబ్లాక్స్ ప్లాట్ఫారమ్లో లేదా వెలుపల ఉన్న ఎవరైనా GitHub మరియు HuggingFace రెండింటిలోనూ ఉపయోగించుకోవచ్చు. మేము ఈ మోడల్కు క్యూబ్ 3D అని పేరు పెట్టాము. మా మెష్ జనరేషన్ API యొక్క బీటా ప్రారంభంతో, దీని సామర్థ్యాలలో మొదటిదాన్ని కూడా మేము ప్రారంభిస్తున్నాము. రాబోయే సంవత్సరాలలో మేము అభివృద్ధి చేయబోయే అనేక AI సాధనాలకు క్యూబ్ ఆధారంగా ఉంటుంది, అత్యంత సంక్లిష్టమైన సినీ-జనరేషన్ సాధనాలతో సహా. ఇది చివరికి టెక్స్ట్, చిత్రాలు, వీడియో మరియు ఇతర రకాల ఇన్పుట్లపై శిక్షణ పొందిన ఒక మల్టీమోడల్ మోడల్ అవుతుంది—మరియు మా ఇప్పటికే ఉన్న AI సృష్టి సాధనాలతో ఏకీకృతం అవుతుంది.
క్యూబ్ 3D టెక్స్ట్ నుండి నేరుగా, మరియు భవిష్యత్తులో, ఇమేజ్ ఇన్పుట్ల నుండి 3D మోడల్లను మరియు వాతావరణాలను రూపొందిస్తుంది. నేడు, అత్యాధునిక 3D జనరేషన్ 3D వస్తువులను నిర్మించడానికి చిత్రాలను మరియు పునర్నిర్మాణ విధానాన్ని ఉపయోగిస్తుంది. తగినంత 3D శిక్షణా డేటా లేనప్పుడు ఇది ఒక మంచి ఎంపిక. అయితే, మా ప్లాట్ఫారమ్ స్వభావం కారణంగా, మేము నేటివ్ 3D డేటాపై శిక్షణ ఇస్తాము. రూపొందించబడిన వస్తువు నేటి గేమ్ ఇంజిన్లతో పూర్తిగా అనుకూలంగా ఉంటుంది మరియు వస్తువులను క్రియాత్మకంగా చేయడానికి దీనిని విస్తరించవచ్చు.
ఇక్కడ ఉన్న తేడా ఒక రేస్ట్రాక్ మూవీ సెట్లాంటిది. టీవీలో, మీరు స్టాండ్లు, గ్యారేజీలు, మరియు విక్టరీ లేన్తో సహా పూర్తిగా పనిచేసే రేస్ట్రాక్ లాగా కనిపించే దాన్ని చూడవచ్చు. కానీ మీరు ఆ సెట్ చుట్టూ నడిస్తే, ఆ నిర్మాణాలు వాస్తవానికి చదునుగా ఉన్నాయని మీరు త్వరగా గ్రహిస్తారు. నిజంగా లీనమయ్యే 3D ప్రపంచాన్ని నిర్మించడానికి, మీరు లోపలికి డ్రైవ్ చేయగల గ్యారేజీలు, మీరు కూర్చోగల స్టాండ్లు, మరియు పనిచేసే పోడియంతో కూడిన విక్టరీ లేన్తో సహా పూర్తి, పనిచేసే నిర్మాణాలు అవసరం.
దీనిని సాధించడానికి, ఒక వాక్యాన్ని రూపొందించడానికి తదుపరి టోకెన్ను అంచనా వేయగలలా, టెక్స్ట్ టోకెన్ల (లేదా అక్షరాల సమితి)పై శిక్షణ పొందిన అత్యాధునిక మోడళ్ల నుండి మేము స్ఫూర్తి పొందాము. మా ఆవిష్కరణ కూడా అదే ప్రధాన ఆలోచనపై నిర్మించబడింది. మేము 3D వస్తువులను టోకెనైజ్ చేసే మరియు టోకెన్లుగా ఆకారాలను అర్థం చేసుకునే సామర్థ్యాన్ని నిర్మించాము మరియు పూర్తి 3D వస్తువును నిర్మించడానికి తదుపరి ఆకారపు టోకెన్ను అంచనా వేయడానికి క్యూబ్ 3Dని శిక్షణ ఇచ్చాము. మేము దీనిని పూర్తి సన్నివేశ ఉత్పత్తికి విస్తరించినప్పుడు, క్యూబ్ 3D అప్పుడు లేఅవుట్ను అంచనా వేస్తుంది మరియు ఆ లేఅవుట్ను పూర్తి చేయడానికి పునరావృతంగా ఆకారాన్ని అంచనా వేస్తుంది.
ఎవరైనా తమ అవసరాలకు అనుగుణంగా తమ సొంత డేటాతో క్యూబ్ 3డిని ఫైన్-ట్యూన్ చేయవచ్చు, దాని కోసం ప్లగ్-ఇన్లను అభివృద్ధి చేయవచ్చు లేదా శిక్షణ ఇవ్వవచ్చు. AI సాధనాలు బహిరంగత మరియు పారదర్శకతపై నిర్మించబడాలని మేము నమ్ముతున్నాము, అందుకే మేము ఓపెన్-సోర్స్ AI కమ్యూనిటీలో ఒక నిబద్ధత గల భాగస్వామిగా ఉన్నాము. AI భద్రతలో పురోగతిని పంచుకోవడం వల్ల మొత్తం పరిశ్రమ ఆవిష్కరణలు మరియు సాంకేతిక పురోగతిని వేగవంతం చేయడానికి సహాయపడుతుందని మేము గట్టిగా నమ్ముతున్నాము. ఈ కారణంగా, మేము ఓపెన్-సోర్స్ భద్రతా సాధనాలతో డిజిటల్ భద్రతలోని ముఖ్యమైన రంగాలను పరిష్కరించడానికి అంకితమైన ఒక కొత్త లాభాపేక్షలేని సంస్థ అయిన రూస్ట్ (ROOST) ను స్థాపించడంలో కూడా సహాయం చేసాము. క్యూబ్ 3Dని ఓపెన్-సోర్స్ చేయడంలో, పరిశోధకులు, డెవలపర్లు మరియు విస్తృత AI కమ్యూనిటీ 3D జనరేషన్ పరిశ్రమను అంతటా నేర్చుకోవడానికి, మెరుగుపరచడానికి మరియు ముందుకు తీసుకెళ్లడానికి వీలు కల్పించడం మా లక్ష్యం.
సృష్టి కోసం క్యూబ్ 3D
3D ఆస్తులు, ఉపకరణాలు మరియు అనుభవాల సృష్టిని AI ఎలా వేగవంతం చేయగలదో మేము ఇంతకుముందు మాట్లాడుకున్నాము. చివరికి, AI మరింత లీనమయ్యే మరియు వ్యక్తిగతీకరించిన ఆట మరియు సంబంధాలను సాధ్యం చేస్తుంది. ఈ అనుభవాల డెవలపర్లు మరియు వాటిలో సమయం గడిపే వినియోగదారులు ఇద్దరి కోసం, సృష్టి చక్రంలోని ప్రతి దశలో AIకి మద్దతు ఇవ్వడానికి మేము మౌలిక సదుపాయాలలో పెట్టుబడి పెడతాము. డెవలపర్లు తమ అనుభవాలలో AIని ప్రారంభించడం ద్వారా తమ వినియోగదారులకు సృష్టించడానికి కొత్త మార్గాలను అందించే భవిష్యత్తును మేము ఊహించుకుంటున్నాము. ఇది వారి గేమ్ప్లేలో భాగంగా, 85 మిలియన్లకు పైగా రోజువారీ చురుకైన వినియోగదారుల చేతుల్లోకి AI శక్తిని తీసుకువస్తుంది.
గత సంవత్సరంలో, డెవలపర్లకు అవసరమైన సాధనాలు మరియు సామర్థ్యాలను అందించడానికి, గంటల కొద్దీ మాన్యువల్ పనిని తొలగించడానికి, మేము రాబ్లాక్స్ స్టూడియోలోని మా AI-ఆధారిత అసిస్టెంట్ ద్వారా అనేక కొత్త ఫీచర్లను పరిచయం చేశాము. క్యూబ్ తో, మేము 3D సృష్టిని మరింత సమర్థవంతంగా చేయాలని భావిస్తున్నాము. 3D మెష్ జనరేషన్తో, డెవలపర్లు కొత్త సృజనాత్మక దిశలను త్వరగా అన్వేషించవచ్చు మరియు ఏది ముందుకు తీసుకువెళ్ళాలో వేగంగా నిర్ణయం తీసుకోవడం ద్వారా వారి ఉత్పాదకతను పెంచుకోవచ్చు.
ఒక రేస్ట్రాక్ గేమ్ నిర్మించడాన్ని ఊహించుకోండి. ఈ రోజు, మీరు అసిస్టెంట్లోని మెష్ జనరేషన్ APIని, "/generate a motorcycle" లేదా "/generate orange safety cone" వంటి ఒక చిన్న ప్రొంప్ట్ను టైప్ చేయడం ద్వారా ఉపయోగించవచ్చు. కొన్ని సెకన్లలో, ఈ API ఈ వస్తువుల యొక్క మెష్ వెర్షన్ను రూపొందిస్తుంది. ఆ తర్వాత వాటిని టెక్స్చర్, రంగు మొదలైన వాటితో మరింత మెరుగుపరచవచ్చు. ఈ APIతో, మీరు ప్రోప్లను మోడల్ చేయవచ్చు లేదా మీ స్థలాన్ని చాలా వేగంగా డిజైన్ చేయవచ్చు—సాధారణ వస్తువులను మోడలింగ్ చేయడానికి గంటల తరబడి సమయం వెచ్చించాల్సిన అవసరం లేదు. ఇది ట్రాక్ లేఅవుట్ను డిజైన్ చేయడం మరియు కార్ హ్యాండ్లింగ్ను ఫైన్-ట్యూన్ చేయడం వంటి సరదా పనులపై దృష్టి పెట్టడానికి మిమ్మల్ని అనుమతిస్తుంది. ఈ API ప్రతి వస్తువును సృష్టించడంపై గంటల సమయాన్ని ఆదా చేస్తుంది మరియు ఎక్కువ సమయం లేదా శ్రమను వెచ్చిస్తామనే ఆందోళన లేకుండా కొత్త ఆలోచనలతో ప్రయోగాలు చేయడానికి ఆ సమయాన్ని మీకు తిరిగి ఇస్తుంది. దీర్ఘకాలంలో, మేము మరింత సంక్లిష్టమైన మరియు క్రియాత్మకమైన వస్తువులను, సీన్లను కూడా ప్రారంభించాలని ప్లాన్ చేస్తున్నాము.
అండర్ ది హుడ్: 3D మరియు టెక్స్ట్/ఇమేజ్ టోకెన్ల మధ్య క్రాస్ అటెన్షన్
టెక్స్ట్ మరియు చిత్రాలను 3D ఆకారాలతో అనుసంధానించడం అనేది ప్రధాన సాంకేతిక సవాలు. మా ప్రధాన సాంకేతిక ఆవిష్కరణ 3D టోకెనైజేషన్, ఇది టెక్స్ట్ను టోకెన్లుగా ప్రాతినిధ్యం వహించినట్లే, 3D వస్తువులను కూడా టోకెన్లుగా ప్రాతినిధ్యం వహించడానికి మాకు అనుమతిస్తుంది. ఇది భాషా మోడల్లు ఒక వాక్యంలో తదుపరి పదాన్ని అంచనా వేసినట్లే, తదుపరి ఆకారాన్ని అంచనా వేయగల సామర్థ్యాన్ని మాకు ఇస్తుంది.
3D జనరేషన్ను సాధించడానికి, మేము సింగిల్ ఆబ్జెక్ట్, ఆకృతి పూర్తి చేయడం, మరియు మల్టీఆబ్జెక్ట్/సీన్ లేఅవుట్ జనరేషన్ కోసం ఆటోరిగ్రెసివ్ జనరేషన్ కోసం ఒక ఏకీకృత ఆర్కిటెక్చర్ను రూపొందించాము. ఆటోరిగ్రెసివ్ ట్రాన్స్ఫార్మర్లు అనేవి నియూరల్ నెట్వర్క్లు, ఇవి తదుపరి భాగాన్ని అంచనా వేయడానికి మునుపటి ఇన్పుట్లను ఉపయోగిస్తాయి. ఈ ఆర్కిటెక్చర్ స్కేలబిలిటీ మరియు మల్టీమోడల్ అనుకూలత రెండింటినీ అందిస్తుంది, తద్వారా మేము మోడల్ను విస్తరిస్తున్నప్పుడు, ఇది అనేక రకాల ఇన్పుట్లతో (టెక్స్ట్, విజువల్, ఆడియో, మరియు 3D) పని చేస్తుంది. మేము ఈ మోడల్ను ఓపెన్ సోర్స్ చేస్తున్నాము. ఈ ప్రారంభ దశలో, సృష్టికర్తలు టెక్స్ట్ ప్రాంప్ట్ల ఆధారంగా 3D వస్తువులను రూపొందించగలరు. భవిష్యత్తులో, సృష్టికర్తలు బహుళ-మోడల్ ఇన్పుట్ల ఆధారంగా పూర్తి దృశ్యాలను రూపొందించగలరని మేము భావిస్తున్నాము.
ఆకృతి రూపకల్పన కోసం జెనరేటివ్ ప్రీట్రైన్డ్ ట్రాన్స్ఫార్మర్ (GPT)ను శిక్షణ ఇవ్వడానికి, మేము డిస్క్రీట్ 3D ఆకృతి టోకెన్లను ఉపయోగించి, వాటిని టెక్స్ట్ ప్రాంప్ట్లతో అమర్చుతాము. ఈ నూతన విధానం, ఆడటానికి వీలుగా ఉండే 3D సీన్ రూపకల్పన ప్రపంచానికి మమ్మల్ని సిద్ధం చేస్తుంది.
క్యూబ్ ఎటువైపు వెళుతోంది
ఈ రోజు, ప్రపంచంలో చాలా భాగం టెక్స్ట్ కోసం, ఒక వాక్యంలో పదాలను అంచనా వేయడానికి AIని ఉపయోగిస్తుంది. చాలామంది చిత్రాల కోసం, పిక్సెల్లను అంచనా వేయడానికి కూడా దీనిని ఉపయోగిస్తారు. ఈ అంశాలన్నీ కలిసి, ఒకదానికొకటి సందర్భోచితంగా పనిచేయాల్సిన సీన్లను సృష్టించేటప్పుడు ఇది మరింత సంక్లిష్టంగా మారుతుంది. ఉదాహరణకు, "చెట్లు ఉన్న రేస్ట్రాక్ ముందు మోటార్సైకిల్పై ఒక అవతార్" అని వర్ణించగల ఒక సాధారణ సీన్తో కూడిన అనుభవాన్ని ఊహించుకోండి.
ఈ అనుభవాన్ని నిర్మించడానికి అనేక అంశాలు అవసరం. చెట్లు రెండు 3D మెష్ల కలయిక, మోటార్సైకిల్ వివరాలు మరియు త్రిభుజాలతో కూడిన ఒక సాంద్రమైన మెష్, మరియు భవనాలు రాబ్లాక్స్ భాగాలతో తయారు చేయబడ్డాయి. మోటార్బైక్పై ఉన్న అవతార్కు దాని శరీరం, అవయవాలు మరియు తల కోసం మరింత సంక్లిష్టమైన జ్యామితీయ లక్షణాలు ఉన్నాయి. చివరగా, వీటన్నింటినీ ఒక లేఅవుట్తో అనుసంధానించడానికి మనకు ఒక మార్గం కావాలి. దాని కోసం, ఈ జ్యామితిని ఎలా అమర్చాలో తెలుసుకోవడానికి, ఒక వస్తువు యొక్క పరిమాణాన్ని మరియు స్థానాన్ని నిర్వచించడానికి దాని చుట్టూ గీతలు గీసే బాండింగ్ బాక్సులు మనకు అవసరం. ఇది చాలా శ్రమతో కూడిన ప్రక్రియ, కానీ ప్రతి దశలోనూ సహాయం చేయడానికి AI సమర్థంగా ఉంది. AIతో, సృష్టికర్తలు మొదటి వెర్షన్ను వేగంగా రూపొందించగలరు మరియు కొత్త ఆలోచనలను పరీక్షించడానికి లేదా వారి సన్నివేశాన్ని మెరుగుపరచుకోవడానికి ఎక్కువ సమయం పొందగలరు.
మనం ఆ స్థాయికి చేరుకున్నప్పుడు, మనం సృష్టించే 3D వస్తువులు మరియు సన్నివేశాలు పూర్తిగా పనిచేసేవిగా ఉండాలి. దీనిని మేము 4D సృష్టి అని పిలుస్తాము, ఇక్కడ నాల్గవ పరిమాణం వస్తువులు, పర్యావరణాలు మరియు వ్యక్తుల మధ్య పరస్పర చర్య. దీనిని సాధించడానికి, లీనమయ్యే 3D వస్తువులు మరియు సన్నివేశాలను నిర్మించడమే కాకుండా, ఆ వస్తువుల మధ్య సందర్భాలను మరియు సంబంధాలను అర్థం చేసుకునే సామర్థ్యం కూడా అవసరం. క్యూబ్ (Cube)తో మేము ఈ దిశగానే సాగుతున్నాము.
ఈ మెష్ జనరేషన్ యొక్క మొదటి వినియోగ సందర్భం ఆవల, మేము సీన్ జనరేషన్ మరియు అవగాహనకు విస్తరించాలని ప్లాన్ చేస్తున్నాము. వినియోగదారులకు వారికి అత్యంత ఆసక్తి ఉన్న అనుభవాలను అందించగలుగుతాము మరియు సందర్భానుసారంగా వస్తువులను జోడించడం ద్వారా దృశ్యాలను మెరుగుపరచగలుగుతాము. ఉదాహరణకు, అడవి దృశ్యం ఉన్న ఒక అనుభవంలో, ఒక డెవలపర్ సీజన్ మార్పును సూచించడానికి చెట్లపై ఉన్న పచ్చని ఆకులన్నింటినీ రంగు మారిన ఆకులతో మార్చమని అసిస్టెంట్ను అడగవచ్చు. మా AI అసిస్టెంట్ సాధనాలు డెవలపర్ నుండి వచ్చే అభ్యర్థనలకు ప్రతిస్పందిస్తాయి, వారి అనుభవాలను వేగంగా సృష్టించడానికి, అనుకూలీకరించడానికి మరియు విస్తరించడానికి సహాయపడతాయి.
మేము మా ఫౌండేషన్ మోడల్ను మెరుగుపరుస్తూ, విస్తరిస్తూ ఉన్న కొద్దీ అప్డేట్లు మరియు కొత్త ఫంక్షనాలిటీని పంచుకుంటాము. అప్పటి వరకు, మీరు GitHub మరియు HuggingFaceలో యాక్సెస్ చేయగల మా క్యూబ్ 3D మోడల్ యొక్క ఓపెన్-సోర్స్ వెర్షన్ను ఉపయోగించడం మరియు దానిపై నిర్మించడం ఆనందిస్తారని ఆశిస్తున్నాము.
