Berita

Dalam dunia penggambaran 3D dan visi komputer yang berkembang pesat, teknologi baharu yang dipanggil LiveSplat sedang menjana perhatian yang signifikan. Algoritma inovatif ini membolehkan percikan Gaussian masa nyata menggunakan aliran kamera RGBD, berpotensi mengubah cara kita menggambarkan dan berinteraksi dengan persekitaran 3D.Memecahkan Halangan Kelajuan dalam Percikan GaussianKaedah percikan Gaussian tradisional biasanya memerlukan berjam-jam pemprosesan untuk mencipta adegan 3D yang realistik dari imej 2D. LiveSplat, yang dibangunkan oleh Mark Liu, mengambil pendekatan yang berbeza secara radikal dengan memanfaatkan data kedalaman untuk menghasilkan representasi ini dalam masa hanya 33 milisaat setiap bingkai. Ini merupakan lompatan besar ke hadapan, membolehkan aplikasi masa nyata yang sebelum ini dianggap mustahil dengan teknik penggambaran ini.Saya bayangkan kita akan dapat memiliki tempat duduk barisan hadapan maya di mana-mana acara langsung, dan banyak lagi aplikasi lain yang belum terfikir oleh kita.Teknologi ini berfungsi dengan memasukkan data RGBD (RGB + Kedalaman) dari sehingga empat kamera ke dalam rangkaian neural yang menghasilkan output percikan Gaussian. Tidak seperti penggambaran awan titik tradisional, yang sering mengalami artifak visual dan objek yang boleh dilihat melaluinya, LiveSplat mencipta visualisasi 3D yang lebih koheren dengan penggambaran tekstur yang lebih baik, pengendalian oklusi, dan kesan bergantung pada pandangan.Kompromi Teknikal untuk Prestasi Masa NyataUntuk mencapai kelajuan yang luar biasa, LiveSplat membuat beberapa kompromi teknikal berbanding dengan kaedah percikan Gaussian tradisional. Pembangun mengakui bahawa sistem ini mempunyai keupayaan terhad untuk menyesuaikan semula kedudukan dan saiz percikan disebabkan oleh bajet pengiraan yang ketat, yang boleh mengakibatkan beberapa kesan pikselasi.Tidak seperti pendekatan konvensional yang menggunakan prosedur pengoptimuman berasaskan kecerunan yang mengambil masa minit atau jam, LiveSplat menggunakan rangkaian neural untuk menukar input RGBD dan maklumat kedudukan kamera secara langsung kepada output percikan Gaussian. Ini mengelakkan proses pengoptimuman yang memakan masa dengan memanfaatkan maklumat geometri yang sudah ada dalam saluran kedalaman.Rangkaian neural ini dilatih menggunakan pendekatan pembelajaran terselia yang bijak: dengan empat kamera yang tersedia, tiga akan digunakan sebagai input manakala yang keempat berfungsi sebagai kebenaran asas. Ini membolehkan sistem mempelajari kesan bergantung pada pandangan dan menginterpolasi antara perspektif kamera.Keperluan LiveSplatPython 3.12+Windows atau Ubuntu (distribusi Linux lain belum diuji)CPU x86_64Kad grafik NvidiaSatu hingga empat sensor RGBDPerbezaan Teknikal Utama daripada Gaussian Splatting TradisionalMasa pemprosesan 33ms berbanding minit/jam untuk kaedah tradisionalMenggunakan rangkaian neural dan bukannya pengoptimuman berasaskan kecerunanMemanfaatkan input RGBD untuk mengelakkan pembinaan semula geometri yang panjangPelaksanaan sumber tertutup dengan pengedaran binariKeupayaan masa nyata dengan pemprosesan bingkai demi bingkaiImplikasi dan Aplikasi Masa DepanRespons komuniti terhadap LiveSplat menyoroti potensi kepentingannya dalam dunia grafik. Ramai yang melihatnya sebagai batu loncatan ke arah pengalaman maya yang lebih mendalam, dengan aplikasi yang merangkumi telepresence VR hingga penyiaran acara langsung.Walaupun pada masa ini bersumber tertutup (diedarkan sebagai pakej binari untuk Windows dan Ubuntu), LiveSplat mewakili pencapaian penting dalam menjadikan teknik penggambaran lanjutan boleh diakses untuk aplikasi masa nyata. Teknologi ini boleh berfungsi melalui rangkaian IP, dengan pembangun menyatakan bahawa walaupun pemampatan RGB adalah masalah yang telah diselesaikan, pemampatan saluran kedalaman memerlukan pertimbangan khas.Melangkah ke hadapan, pengumpulan temporal kelihatan sebagai langkah pembangunan logikal seterusnya, yang boleh meningkatkan lagi kualiti visual sambil mengekalkan prestasi masa nyata. Seiring dengan teknik percikan Gaussian terus matang, kita mungkin akan melihatnya menjadi asas untuk generasi baru alat penciptaan dan penggunaan media 3D interaktif.Rujukan: LiveSplat