Een drone vliegen in een virtuele wereld: dit kunstmatige-intelligentiemodel kan statische en onbeperkte 3D-werelden genereren

Heb je al gehoord van MidJourney, Stable Diffusion of DALL-E? Dat deed je waarschijnlijk als je de laatste tijd geïnteresseerd bent geweest in het gebied van kunstmatige intelligentie. Deze AI-modellen zijn in staat zeer realistische afbeeldingen te produceren die meestal moeilijk te herkennen zijn aan door mensen gegenereerde afbeeldingen. Het is nu mogelijk om opmerkelijke niveaus van realisme te bereiken met behulp van door AI gegenereerde afbeeldingen en video’s.

Het is mogelijk om een ​​realistisch fotografisch beeld te genereren; We weten dat. Maar wat als we meer wilden doen? Wat als we het echt zouden willen Wees in beeld? Dit is een virtuele wereld en het vrij verkennen ervan zou een geweldige ervaring zijn. Stel je voor dat je met een drone door een adembenemende virtuele wereld vliegt waar rivieren vrij stromen, majestueuze bergen hoog boven je uit torenen en bomen gracieus in de wind zwaaien. De ervaring is ronduit buitengewoon, toch? Goed moment om elkaar te ontmoeten hardnekkig karakter.

hardnekkig karakter Het is een niet-modaal generatief model dat in staat is om onbeperkte 3D-scènes te creëren met een permanente basiswereldrepresentatie.

🚀 Word lid van de snelste ML Subreddit-community

hardnekkig karakter Het bouwt voort op ontwikkelingen op twee gebieden die zich richten op meeslepende werelden; Talloze 3D-modellen en videomodellen. 3D-modellen vertegenwoordigen een harmonieuze driedimensionale wereld door constructie en blinken uit in het weergeven van geïsoleerde objecten, hoewel ze beperkt zijn tot interieurscènes. hardnekkig karakter Het verwijdert deze beperking en lost het probleem op van het creëren van onbeperkte landschapsscènes op schaal. Aan de andere kant kunnen bestaande videomodellen visuele werelden van oneindige omvang simuleren, maar ze garanderen geen stabiele globale representatie, wat wordt opgelost door hardnekkig karakter.

De taak is eigenlijk om een ​​virtuele camera in een virtuele wereld te verplaatsen, hoewel dit niet eenvoudig te realiseren is. Inhoud moet worden gemaakt terwijl we de camera bewegen, en we moeten zorgen voor consistentie in ruimte en tijd. Als er niet aan wordt voldaan, kan de resulterende uitvoer eruit zien als een droom waarin dingen nogal vreemd bewegen, in plaats van iets dat we willen. Bovendien moet de gegenereerde inhoud hetzelfde blijven als we willekeurig weggaan en terugkeren naar dezelfde locatie, ongeacht het pad van de camera.

Om een ​​permanente generatie van natuur te bereiken, modelleert de voorgestelde aanpak naast parachutespringen ook de 3D-wereld als terrein. Het terrein wordt vertegenwoordigd door een scènelay-outraster dat fungeert als een kaart van het landschap. Vervolgens worden deze functies opgeschaald naar 3D en gedecodeerd met behulp van MLP in stralingsveld voor volumeweergave. De gerenderde terreinbeelden worden opgeschaald door middel van superresolutie en gecombineerd met weergaven van het skydome-model om de uiteindelijke beelden samen te stellen.

Een ander cruciaal aspect van ijverig genereren is de uitbreiding van het landschap. Het model trainen met het hele landschap is niet mogelijk. Daarom trainen ze het model met behulp van een kaartraster van eindige grootte en breiden ze de scène tijdens de inferentie met elke hoeveelheid uit. Dit maakt onbeperkte camerapaden mogelijk. Omdat de onderliggende representatie consistent is in ruimte en tijd, is het bovendien mogelijk om door 3D-landschappen te vliegen zonder dat er gegevens over meerdere schermen nodig zijn. hardnekkig karakter Het kan volledig worden getraind op landschapsfoto’s met één weergave met onbekende cameraposities.

Persistent Nature streeft ernaar het beste van twee werelden te combineren door onbeperkte scènes te creëren en toch een statische 3D-wereld weer te geven. Het is een modaal 3D-model van onbeperkte natuurtaferelen met een permanente weergave van de wereld.


scan de papier En github. Alle eer voor dit onderzoek gaat naar de onderzoekers van dit project. Vergeet ook niet mee te doen 17k+ML sub-redditEn onenigheid kanaalEn Email nieuwsbriefwaar we het laatste AI-onderzoeksnieuws, coole AI-projecten en meer delen.


Ekrem Cetinkaya heeft een bachelordiploma. in 2018 en MA. in 2019 van Ozyegin University, Istanbul, Türkiye. Hij schreef zijn masterdiploma. Scriptie over beeldruisonderdrukking met behulp van diepe convolutionele netwerken. Hij is momenteel bezig met zijn Ph.D. diploma aan de Universiteit van Klagenfurt, Oostenrijk, en werkt als onderzoeker aan het ATHENA-project. Zijn onderzoeksinteresses omvatten deep learning, computervisie en multimedianetwerken.


🔥 MOET LEZEN – Wat is een AI-hallucinatie? Wat gaat er mis met AI-chatbots? Hoe ontdek je de aanwezigheid van hallucinaties van kunstmatige intelligentie?

Kommentar veröffentlichen

Neuere Ältere

نموذج الاتصال