ဆောင်းပါးအသစ်တစ်ခုတွင် Point-E- ရှုပ်ထွေးသောအချက်ပြမှုများမှ 3D အမှတ်တိမ်များကိုထုတ်ပေးသည့်စနစ်တစ်ခုတွင် OpenAI သုတေသနအဖွဲ့မှ ရှုပ်ထွေးသောစာသားများဖြင့် ရှုပ်ထွေးသော 3D ပုံသဏ္ဍာန်များကိုဖန်တီးရန်အတွက် ရှုပ်ထွေးသော 3D ပုံစံများကိုအသုံးပြုသည့် 3D point cloud စာသားအခြေအနေဆိုင်ရာပေါင်းစပ်ပေါင်းစပ်မှုစနစ် Point E ကိုမိတ်ဆက်ပေးသည် မှတ်သားစရာများGPU တစ်ခုတည်းတွင် မိနစ်ပိုင်းအတွင်း။
ယနေ့ခေတ် ခေတ်မီသော ရုပ်ပုံမျိုးဆက်မော်ဒယ်များ၏ အံ့သြဖွယ်စွမ်းဆောင်ရည်သည် 3D စာသားအရာဝတ္ထုများ၏ မျိုးဆက်အတွက် သုတေသနကို လှုံ့ဆော်ပေးပါသည်။သို့သော်လည်း မိနစ် သို့မဟုတ် စက္ကန့်အတွင်း အထွက်နှုန်းကို ထုတ်ပေးနိုင်သည့် 2D မော်ဒယ်များနှင့် မတူဘဲ၊ အရာဝတ္ထု ထုတ်ပေးသည့် မော်ဒယ်များသည် ပုံမှန်အားဖြင့် နမူနာတစ်ခုတည်းကို ထုတ်လုပ်ရန် GPU အလုပ်လုပ်ရန် နာရီပေါင်းများစွာ လိုအပ်သည်။
ဆောင်းပါးအသစ်တစ်ခုတွင် Point-E- ရှုပ်ထွေးသောအချက်ပြမှုများမှ 3D ပွိုင့်တိမ်များကိုထုတ်ပေးသည့်စနစ်တစ်ခုတွင် OpenAI သုတေသနအဖွဲ့မှ 3D ပွိုင့်တိမ်တိုက်များအတွက် စာသားအခြေအနေဆိုင်ရာပေါင်းစပ်မှုစနစ် Point·E ကို တင်ဆက်ထားပါသည်။ဤချဉ်းကပ်မှုအသစ်သည် GPU တစ်ခုတည်းတွင် တစ်မိနစ် သို့မဟုတ် နှစ်မိနစ်အတွင်း ရှုပ်ထွေးသော စာသားအချက်ပြမှုများမှ ကွဲပြားပြီး ရှုပ်ထွေးသော 3D ပုံသဏ္ဍာန်များကို ဖန်တီးရန် ဖြန့်ဝေသည့်ပုံစံကို အသုံးပြုသည်။
အဖွဲ့သည် virtual reality နှင့် gaming မှစက်မှုဒီဇိုင်းအထိ လက်တွေ့ကမ္ဘာအပလီကေးရှင်းများအတွက် 3D အကြောင်းအရာဖန်တီးမှုကို ဒီမိုကရေစီစနစ်သို့ ဒီမိုကရေစီအသွင်ကူးပြောင်းရန်အတွက် အရေးကြီးသောအချက်ဖြစ်သည့် 3D သို့ စာသားအဖြစ်ပြောင်းလဲခြင်း၏စိန်ခေါ်မှုအပေါ် အာရုံစိုက်ထားပါသည်။စာသားကို 3D သို့ပြောင်းလဲခြင်းအတွက် လက်ရှိနည်းလမ်းများသည် အမျိုးအစားနှစ်ခုအဖြစ် ကွဲလွဲနေပြီး တစ်ခုစီတွင် အားနည်းချက်များရှိသည်- 1) မျိုးဆက်သစ်မော်ဒယ်များကို ထိရောက်စွာနမူနာထုတ်ပေးရန် အသုံးပြုသော်လည်း ကွဲပြားပြီး ရှုပ်ထွေးသောစာသားအချက်ပြမှုများကို ထိရောက်စွာအတိုင်းအတာမသတ်မှတ်နိုင်ပါ။2) ရှုပ်ထွေးပြီး ကွဲပြားသော စာသားလမ်းညွှန်ချက်များကို ကိုင်တွယ်ရန် ကြိုတင်လေ့ကျင့်ထားသော စာသား-ရုပ်ပုံမော်ဒယ်၊ သို့သော် ဤချဉ်းကပ်မှုသည် တွက်ချက်မှုအရ ပြင်းထန်ပြီး မော်ဒယ်သည် အဓိပ္ပာယ်ပြည့်ဝသော သို့မဟုတ် ပေါင်းစပ်ထားသော 3D အရာဝတ္ထုများနှင့် မကိုက်ညီသည့် ဒေသတွင်း minima တွင် အလွယ်တကူ ပိတ်မိသွားနိုင်သည်။
ထို့ကြောင့်၊ အဖွဲ့သည် အထက်ဖော်ပြပါ ချဉ်းကပ်မှုနှစ်ခု၏ အားသာချက်များကို ပေါင်းစပ်ရန် ရည်မှန်းထားသည့် အစားထိုးနည်းလမ်းတစ်ခုကို ရှာဖွေလေ့လာခဲ့ပြီး၊ စာသားမှပုံတစ်ပုံသို့ ပျံ့နှံ့မှုပုံစံကို အသုံးပြု၍ (ကွဲပြားပြီး ရှုပ်ထွေးသော အချက်ပြမှုများကို ကိုင်တွယ်ရန် ခွင့်ပြုခြင်း) နှင့်၊ သေးငယ်သော စာသား-ရုပ်ပုံအတွဲများပေါ်တွင် လေ့ကျင့်ထားသော 3D ရုပ်ပုံပျံ့နှံ့မှုပုံစံ။image-3D အတွဲဒေတာအတွဲ။စာသားမှပုံတစ်ပုံမော်ဒယ်သည် ပေါင်းစပ်ဖွဲ့စည်းမှုတစ်ခုဖန်တီးရန်အတွက် ထည့်သွင်းပုံအား ဦးစွာနမူနာပြပြီး image-to-3D မော်ဒယ်သည် ရွေးချယ်ထားသောပုံအပေါ်အခြေခံ၍ 3D point cloud တစ်ခုကို ဖန်တီးပေးပါသည်။
အမိန့်ပေးသူ၏ မျိုးဆက်ပွားအစုသည် မကြာသေးမီက အဆိုပြုထားသော မျိုးဆက်သစ်ဘောင်များကို စာသားမှ ပုံများထုတ်ပေးခြင်းအတွက် အခြေခံဖြစ်သည် (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020)။၎င်းတို့သည် 3 ဘီလီယံ GLIDE ဘောင်များပါရှိသော GLIDE မော်ဒယ်ကို အသုံးပြုသည် (Nichol et al., 2021)၊ ၎င်းတို့၏ စာသားမှ ရုပ်ပုံအသွင်ပြောင်းသည့် မော်ဒယ်အဖြစ်၊ ပြန်ဆိုထားသည့် 3D မော်ဒယ်များပေါ်တွင် ကောင်းစွာ ချိန်ညှိထားပြီး RGB point clouds များအဖြစ် RGB point clouds များကို ထုတ်လုပ်ပေးသည့် ပျံ့နှံ့မှု မော်ဒယ်အစုံ အသွင်ပြောင်းမော်ဒယ်။ရုပ်ပုံများ ရုပ်ပုံများ။3D မော်ဒယ်များ။
ယခင်အလုပ်က point cloud များကိုလုပ်ဆောင်ရန် 3D ဗိသုကာများကိုအသုံးပြုခဲ့သော်လည်း၊ သုတေသီများသည် ထိရောက်မှုတိုးတက်စေရန်အတွက် ရိုးရှင်းသော transducer-based model (Vaswani et al., 2017) ကိုအသုံးပြုခဲ့သည်။၎င်းတို့၏ ပျံ့နှံ့မှု မော်ဒယ်ဗိသုကာတွင်၊ point cloud ပုံများကို ကြိုတင်လေ့ကျင့်ထားသော ViT-L/14 CLIP မော်ဒယ်သို့ ဦးစွာ ဖြည့်သွင်းပြီးနောက် အထွက်ကွက်များကို အမှတ်အသားများအဖြစ် converter အတွင်းသို့ ထည့်သွင်းပါသည်။
၎င်းတို့၏ လက်တွေ့ကျလေ့လာမှုတွင်၊ အဖွဲ့သည် အဆိုပြုထားသော Point·E နည်းလမ်းကို COCO အရာဝတ္ထုရှာဖွေခြင်း၊ အပိုင်းခွဲခြင်းနှင့် လက်မှတ်ဒေတာအတွဲများမှ အမှတ်ပေးသည့်အချက်ပြမှုများကို အခြားမျိုးဆက်သစ် 3D မော်ဒယ်များနှင့် နှိုင်းယှဉ်ခဲ့သည်။Point·E သည် ရှုပ်ထွေးသော စာသားအချက်ပြမှုများမှ ကွဲပြားပြီး ရှုပ်ထွေးသော 3D ပုံသဏ္ဍာန်များကို ထုတ်ပေးနိုင်ပြီး အနုမာနအချိန်ကို တစ်ခုမှ နှစ်ခုအထိ အရှိန်မြှင့်ပေးနိုင်ကြောင်း ရလဒ်များက အတည်ပြုသည်။အဖွဲ့သည် ၎င်းတို့၏အလုပ်သည် 3D စာသားပေါင်းစပ်မှုတွင် နောက်ထပ်သုတေသနပြုမှုကို လှုံ့ဆော်ပေးမည်ဟု မျှော်လင့်ပါသည်။
ပရောဂျက်၏ GitHub တွင် ကြိုတင်လေ့ကျင့်ထားသော အမှတ် cloud ပြန့်ပွားမှုပုံစံနှင့် အကဲဖြတ်ကုဒ်ကို ရနိုင်ပါသည်။Document Point-E- ရှုပ်ထွေးသောသဲလွန်စများမှ 3D ပွိုင့်တိမ်များကို ဖန်တီးရန်အတွက် စနစ်တစ်ခု arXiv တွင်ရှိသည်။
သတင်းများ သို့မဟုတ် သိပ္ပံနည်းကျရှာဖွေတွေ့ရှိမှုကို သင်လက်လွတ်မခံချင်ကြောင်း ကျွန်ုပ်တို့သိပါသည်။အပတ်စဉ် AI အပ်ဒိတ်များကို လက်ခံရရှိရန် ကျွန်ုပ်တို့၏နာမည်ကြီး Synced Global AI အပတ်စဉ်သတင်းလွှာကို စာရင်းသွင်းပါ။
စာတိုက်အချိန်- ဒီဇင်ဘာ-၂၈-၂၀၂၂