Sociala media filter från Snapchat och Instagram som ändrar en användares ansiktsdrag fungerar med en teknik som kallas Augmented Reality.
Jag förvandlade mig till en hund, en vampyr och en skönhetsdrottning med ett fullt ansikte av smink idag. På bara några sekunder kunde jag förvandla mig helt, utan att någonsin lyfta huvudet från sängen. Det är den sortens magi som Snapchat, Instagram och andra nymodiga appar ger oss nu för tiden.
Snapchat-filter låter oss lägga till alla möjliga dumma saker i våra ansikten (Foto Kredit: tjugo20)
Filter som ändrar vår ansiktsdrag i realtid är inget nytt, men de blir hela tiden bättre och mer realistiska. Men vad händer bakom kulisserna för dessa filter? Vilket tekniktrick är det egentligen som driver showen?
Var kom det ifrån?
Ansiktsigenkänning och modifiering är ingen ny uppfinning. Facebook hittade och taggade ansikten i bilder för länge sedan. Det är skalan och bearbetningshastigheten – möjligheten att göra detta i realtid – som är nytt.
Facebook hittade och taggade ansikten i bilder långt innan ansiktsförändrande filter. (Fotokredit: Axel Bueckert/Shutterstock)
Villen i sociala medier började redan 2015 när Snapchat förvärvade den ukrainska startupen Looksery. Vid den tiden var de den enda aktören på marknaden med förmågan att förbättra livevideor och bilder.
Nu har alla den här förmågan i sin påse med digitala trick. Filter kan nu modifiera dina ansiktsdrag med nästan kuslig noggrannhet och kan till och med upptäcka världen omkring dig – få dansande katter att dyka upp på trottoaren framför dig med lite mer än ett tryck.
En teknik som kallas Augmented Reality (AR) är ansvarig för alla dessa nya funktioner. Snapchat, Instagram och Facebook har sin egen version av dessa filter, men de är nästan alla samma sak. Vissa beskriver det hela som “social AR”, men mer korrekt, det är en kombination av datorseende, AR och artificiell intelligens (AI).
Augmented Reality
Augmented Reality är en teknik som gör att verkliga bilder kan förbättras och modifieras. Du kan kombinera den virtuella världen med den verkliga världen, överlagra den ena på den andra.
AR hittar applikationer inom navigering, marknadsföring, utbildning och andra sektorer, förutom att underhålla oss med filter. (Fotokredit: Zapp2Photo/Shutterstock)
AR hittar applikationer inom navigering, marknadsföring, utbildning och andra sektorer, förutom att underhålla oss med filter. (Fotokredit: Zapp2Photo/Shutterstock)
AR är en avancerad teknik som har möjligheter som sträcker sig långt bortom hundfilter, men för närvarande pratar vi om dessa grundläggande filter. I sin grundläggande form överlagrar AR bilder på livevideon som spelas in av en kamera. För dina sociala mediebehov tjänar din smartphonekamera vanligtvis detta syfte.
- Hur fungerar filtren?
- Upptäckt: Att lära datorer att upptäcka och känna igen ansikten och ansiktsdrag är ingen enkel bedrift.
Först måste datorn ta reda på var ditt ansikte är. Sedan kartlägger den funktionerna i ditt specifika ansikte, förvränger och applicerar effekter på ditt utseende.
Det är svårare för en dator att identifiera ett ansikte än det är för dig att hitta en specifik person i den här skaran. (Fotokredit: Idag)
- Datorn konverterar bilden till gråskala för att göra den enklare att förstå. Den analyserar sedan färgvärdena för pixlarna i en bild och känner igen kontrastmönster. Något som kallas Viola-Jones objektdetekteringsramverk används för detta.
- Mapping: Active Shape Models (ASM) används för att hitta specifika personer och tagga ansiktsdrag. Maskininlärningsmodeller tränas med hjälp av data där dessa funktioner redan har kartlagts. Ett ansikte har en uppsättning punkter markerade för att definiera dess egenskaper, och bildar en Point Distribution Model (PDM).
- I princip matar du datorn hundra bilder och talar om för dem var ögonen finns i varje bild. Datorn blir då kapabel att peka ut ögonen i en ny bild.
- När du fångar ditt eget ansikte med din kamera, placerar datorn punkterna på ett genomsnittligt ansikte runt där det upptäckte ditt ansikte vara. Dessa punkter justeras efter deras kunskap om hur ett ansikte “ska” se ut. Den skapar sedan ett “nät” av ditt ansikte från dessa punkter.
Ett nät av ditt ansikte skapas från de kartlagda punkterna. (Fotokredit: GermanVectorPro/Shutterstock)
- Ändring: 3D-nätet i ditt ansikte kan röra sig med dig. Det är därför läppstiftsfiltret du applicerar inte skakas av när du flyttar ansiktet åt sidan. Detta nät kan förvrängas för att skapa önskade förändringar, dvs det kan få ditt ansikte att se svullet ut, din näsa ser spetsig ut eller dina ögon ser större ut.
- Bilderna är överlagrade till skapa specifika effekter, som smink. Bilden av läppstiftet har punkter som är avsedda att matcha punkterna som indikerar positionen för dina läppar, vilket genererar en mycket exakt positionering av bilden.
Slutsats
Nu kanske du bättre förstår hur sociala medier AR-filter fungerar. De använder det de redan vet om ansikten för att upptäcka och kartlägga ditt ansikte. Sedan kan de göra vad de vill med det, inklusive göra det till konstiga och fåniga former.
I takt med att tekniken blir bättre i framtiden kommer AR-filter att vara så bra på att efterlikna verkligheten att det blir omöjligt att avgöra vad som är verkligt och vad som inte är det. Men nu ska vi bara ha lite kul med kaninöron och färgat hår.
