- OmniHuman kan generera mänskliga videor från en enda bild och ljud, vilket möjliggör mångfald i videohandlingar.
- Modellen stödjer olika kroppstyper och bildförhållanden, inklusive porträtt, halv-kropp och hela kroppen, vilket ökar dess flexibilitet.
- Den använder en blandad träningsteknik för att effektivt hantera bristen på högkvalitativ data, vilket förbättrar prestationsresultaten.
- Genom att förbättra rörelsedetaljer och ljussättning, kan OmniHuman producera mycket realistiska videoinnehåll.
- Tekniskt stödjer modellen både ljuddrivna och videodrivna generationer, vilket ger den högre precision i rörelsegenerering.
- OmniHuman kan hantera ett brett spektrum av indata, inklusive musikstilar och tecknade figurer, vilket ger stor variation i det genererade innehållet.
Den kinesiska teknologijätten ByteDance har nyligen presenterat ett revolutionerande framsteg inom artificiell intelligens genom lanseringen av OmniHuman-1, ett banbrytande system för generering av realistiska videosekvenser med människor. Detta innovativa verktyg representerar ett betydande steg framåt i utvecklingen av AI-drivna videoskapande teknologier.
OmniHuman-1 är resultatet av omfattande forskning vid ByteDances laboratorium och har publicerats som en vetenskaplig artikel i arXiv med titeln ”OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models”. Systemets förmåga att skapa högkvalitativa videosekvenser med mänskliga subjekt öppnar upp nya möjligheter inom olika tillämpningsområden, från underhållning till utbildning och professionell kommunikation.
En av systemets mest imponerande egenskaper är dess flexibilitet när det gäller olika visuella format. Det kan generera realistiska videosekvenser i valfri bildförhållande och kroppsställning, från porträtt till helfigursbilder, allt i samma sekvens
Denna mångsidighet kombineras med en imponerande uppmärksamhet på detaljer, där systemet tar hänsyn till flera viktiga aspekter för att uppnå maximal realism:
Först och främst hanterar systemet komplexa rörelsemönster med stor precision, vilket gör det möjligt att återskapa naturliga kroppsrörelser. Dessutom optimerar det ljussättningen för att skapa autentiska skuggningar och reflektioner som förstärker den övergripande realismen. Ytterligare ett viktigt inslag är texturhanteringen, där systemet säkerställer att hudtexturer och kläder återges på ett övertygande sätt.
Hur reagerar musikbranschen på upphovsrätten för videon?
En särskilt intressant aspekt av OmniHuman-1 är dess förmåga att hantera tal och sång. Systemet kan generera videosekvenser som visar människor som sjunger i olika musikstilar, med naturliga rörelsemönster som anpassas till den specifika genren. Detta inkluderar även hantering av högt belagda sångpartier och olika sångtekniker
omnihuman-lab.github.io. När det gäller tal har systemet förbättrat gesthanteringen väsentligt jämfört med tidigare metoder, vilket resulterar i mycket realistiska resultat.
Läs mer om OmniHuman-1
Get latest posts delivered right to your inbox