Tuesday, 05 Mar 2024
(Illustratie door The Epoch Times, Getty Images, Shutterstock)

De ‘wapenwedloop’ voor vervalste AI-verkiezingsinhoud is begonnen

Zal het volgende ‘verkiezingsdossier’ bestaan uit door AI gegenereerde video's?

Kunstmatige intelligentie bereikt nu een punt waarop breed toegankelijke gereedschappen de synthetische creatie van zeer realistische materialen mogelijk maken – afbeeldingen, audio en, steeds vaker, videobeelden die volledig door AI zijn gegenereerd.

Terwijl de industrie een sprong voorwaarts maakt en het menselijk oog moeite heeft om echt van kunstmatig te onderscheiden, hebben sommige experts en ondernemers zich in allerlei bochten gewrongen om oplossingen te bedenken.

De digitale ruimte staat op het punt steeds verraderlijker te worden, aldus verschillende experts die door The Epoch Times zijn geraadpleegd.

Fabricages van hoge kwaliteit zijn al snel en gemakkelijk te produceren. Er zijn verificatiediensten ontstaan die AI gebruiken om AI te herkennen. De logische ontwikkeling zal echter een wapenwedloop zijn tussen AI-generatoren en AI-detectoren, wat leidt tot steeds geavanceerdere vervalsingen.

Het resultaat zal een virtuele realiteit zijn waarin gebruikers grotendeels het vermogen verliezen om echt van nep te onderscheiden door naar de inhoud zelf te kijken. Ze zullen steeds meer moeten vertrouwen op verificatiediensten van derden of informatiebronnen die een solide reputatie van authenticiteit hebben opgebouwd.

De kwestie zal waarschijnlijk in de schijnwerpers komen te staan tijdens het komende verkiezingsseizoen, nu de bezorgdheid over de authenticiteit van politieke informatie toeneemt.

De kracht van video

Generatieve AI is het afgelopen jaar met sprongen vooruit gegaan, van verrassend vaardig tot angstaanjagend realistisch.

“We zagen van het begin tot het einde van 2023 dat beelden een soort van oogtest doorstaan,” zei Anatoly Kvitnitsky, oprichter en CEO van kunstmatige intelligentie detectiedienst AI or Not.

“Onze voorspelling is dat video in 2024 een soortgelijk moment zal beleven.”

“Realistische AI-video ligt zeker binnen ons bereik,” aldus Robert Marks, een hoogleraar computerwetenschappen aan de Baylor University die een belangrijke bijdrage heeft geleverd aan het gebied van machinaal leren.

“In de toekomst kun je het vanaf niets doen en zal het echt realistisch zijn,” vertelde hij aan The Epoch Times.

Sommige experts wezen erop dat valse informatie, politiek of anderszins, geen nieuw fenomeen is en dat het al lang mogelijk is om beeldmateriaal te fabriceren.

“Nepdingen bestaan al heel lang. … Alleen nu hebben we een automatische manier om het te genereren,” zei Marks.

Het OpenAI-logo wordt weergegeven op een mobiele telefoon met een beeld op een computerscherm dat is gegenereerd door ChatGPT’s Dall-E tekst-naar-beeldmodel in Boston op 8 december 2023. (Michael Dwyer/AP Foto)

Het produceren van valse videobeelden is echter altijd lastig geweest en kostte veel middelen. Bij videofraude wordt meestal echt beeldmateriaal bewerkt.

De mogelijkheid van realistische video’s die vanaf nul zijn gemaakt, vormt een gevaar op een nieuw niveau, volgens John Maly, een computeringenieur en advocaat op het gebied van intellectueel eigendom die zich heeft verdiept in de kwestie van AI-gebruik en -misbruik.

“Het gevaar van een video is dat het veel meer impact heeft,” vertelde hij aan The Epoch Times.

Evenals bij eerdere verkiezingen zal de “gemiddelde persoon het niet lezen als er een ‘dossier’ met aantijgingen over een kandidaat opduikt,” aldus Maly. De meeste mensen zullen de kern van de beschuldigingen waarschijnlijk te weten komen via het filter van het mediakanaal van hun voorkeur, op voorwaarde dat het mediakanaal er überhaupt voor kiest om er aandacht aan te besteden.

Maar video is anders, zei hij.

“Als er een 30 seconden durende video is van iemand die racistische opmerkingen maakt of iets dergelijks, dan heeft dat een onmiddellijke impact op iedereen,” zei Maly.

“En ik denk dat deze directheid dit echt een gevaarlijker middel maakt dan de andere.”

“AI zou krachtige desinformatiemiddelen beschikbaar maken voor groepen en individuen die te klein zijn om de middelen te verkrijgen die voorheen nodig waren om toegang te krijgen tot dergelijke capaciteiten,” zei hij.

“Activisten kunnen deze dingen goedkoop samenstellen en lekken en laten circuleren,” zei Maly.

“AI zou ook de geheimhouding van desinformatieoperaties kunnen vergroten,” zei hij.

Als je bijvoorbeeld een nep-evenement in scène zet, neemt het risico dat het wordt onthuld met elke deelnemer toe. Door de hele scène digitaal te maken, wordt het aantal mensen dat op de hoogte is van het plan drastisch verminderd.

“Eén persoon kan een hele diepgaande nepvideo schrijven en maken, en alleen die persoon zal weten dat hij het gemaakt heeft. Het maakt het veel moeilijker om het achteraf te traceren,” zei Maly.

De in Los Angeles gevestigde contentmaker McKenzi Brooke (L) staat naast een weergave van een AI-tweeling bij de Hollo AI-stand op Pepcom voorafgaand aan de techbeurs CES in Las Vegas op 8 januari 2024. (John Locher/AP Foto)

Tijd tot volwassenheid

Tot nu toe is AI met succes gebruikt om een video te manipuleren, bijvoorbeeld door objecten toe te voegen of te verwijderen of door het gezicht van een persoon in de video te manipuleren. Sommige van de meest recente tools maken het mogelijk om volledig synthetische videoclips te maken, hoewel deze tot nu toe beperkt zijn tot slechts enkele seconden en eenvoudige acties, zoals een persoon die zijn hoofd draait of over straat loopt.

Verwacht wordt dat de mogelijkheden de komende maanden aanzienlijk zullen toenemen.

“Het zal net op tijd zijn om verkeerde informatie over de politiek te creëren nu we gefocussed zijn op het verkiezingsseizoen,” vertelde Kvitnitsky aan The Epoch Times.

Marks wil niet zover gaan om een volledig realistische AI-video te voorspellen voor de verkiezingsdag, maar hij sluit de mogelijkheid niet uit.

“Wat gaat er in oktober gebeuren? Ik weet het niet. Maar de ontwikkeling van kunstmatige intelligentie is verbazingwekkend snel gegaan,” zei hij.

Marks verwacht dat als de technologie wordt gebruikt om de verkiezingen te beïnvloeden, dit zal gebeuren als een “verrassing in oktober”, zodat de kans om het te ontkrachten voordat de stemmen binnen zijn, wordt verkleind.

“Nu hebben we de middelen om veel geraffineerder verrassingen in oktober uit te voeren dan in het verleden,” zei hij, en hij merkte op dat “het moeilijker zal worden om er iets tegen te doen.”

Maly voorspelt dat realistische AI-videotechnologie nog twee tot drie jaar op zich laat wachten.

“Ik denk niet dat het komend jaar zal gebeuren, maar ik denk dat de manier waarop we zullen ontdekken dat het mogelijk is, is dat de entiteiten met de diepste zakken – dus overheidsorganisaties uit landen van de eerste wereld – waarschijnlijk een van de eersten zullen zijn die erin slagen om een  niet detecteerbare vervalsing te verpatsen die pas veel later zal worden ontdekt,” zei hij.

Een mobiele telefoon toont een social media-video gemarkeerd als “gewijzigde video”, voor een op feiten gecontroleerd beeld van nieuwspresentatoren waarbij de bewering over hen onjuist werd bevonden, in een foto-illustratie op 17 november 2023. (Stefani Reynolds/AFP via Getty Images)

AI opsporing

Ondanks de technologische vooruitgang was AI-gegenereerde inhoud tot voor kort met weinig moeite te detecteren. Synthesizestemmen spreken met een onnatuurlijke stembuiging, vooral als ze emotie proberen na te bootsen; figuren in gegenereerde beelden hebben een onnatuurlijke anatomie, zoals ontbrekende of extra vingers.

Toch zijn deze problemen de afgelopen maanden sterk verminderd. AI-synthesizers kunnen nu de stemmen van echte mensen spreken op een levendige, zelfs geanimeerde manier; AI-afbeeldingen tonen nu personen met een natuurlijke huidtextuur en accurate anatomie.

Er zijn nog steeds merkbare gebreken, vooral in gecompliceerdere scènes met meerdere mensen in beeld. De AI lijkt nog steeds moeite te hebben met tekst op de achtergrond. Een uithangbord in een winkel op de achtergrond laat bijvoorbeeld vaak een onlogische of vervormde tekst zien.

“Maar als die ‘giveaways’ er niet zijn, wordt het echt moeilijk om ze te detecteren, vooral in de beelden van hogere kwaliteit, zoals in de nieuwere modellen,” zei Kvitnitsky.

“In veel gevallen is het niet met het blote oog te zien,” zei Marks.

In de afgelopen jaren hebben verschillende bedrijven tools ontwikkeld die AI gebruiken om AI-gegenereerde inhoud te detecteren.

AI or Not van Kvitnitsky is er daar één van.

“We hebben ons model getraind op miljoenen afbeeldingen, zowel echte als door AI gegenereerde. … We hebben hetzelfde gedaan met audio,” zei hij.

Kvitnitsky zei dat  elk AI-model altijd artefacten achterlaat – een “combinatie van pixels” of golflengtepatronen van onder de seconde in een audiobestand, die voor het menselijk oog of oor onbegrijpelijk zouden zijn.

Een foto-illustratie van een AI-striptekenaar die demonstreert hoe hij AI-graphics maakt tijdens een interview in Tokio op 31 januari 2023. (Richard A. Brooks/AFP via Getty Images)

“Het is dat niveau van granulariteit dat nodig is,” zei hij.

De AI or Not website slaat de afbeeldingen en audiobestanden die het controleert niet op en kan daarom geen algemene statistieken over de betrouwbaarheid van de tool produceren, aldus Kvitnitsky. Hij heeft wel informatie van enkele van zijn klanten die ongeveer 90% betrouwbaarheid rapporteren.

De Epoch Times testte de tool op een mix van ongeveer 20 echte foto’s en AI-gegenereerde afbeeldingen. De meeste echte foto’s waren van mensen, in portret- of fotojournalistieke stijl en bewerkt voor belichting, contrast en kleurtoon. De AI-foto’s waren allemaal van mensen in openhartige, selfie- of portretstijl, gemaakt door Midjourney V6, een pas uitgebrachte versie van een populaire AI-afbeeldinggenerator die lovende kritieken heeft gekregen vanwege het realisme. AI or Not identificeerde alle AI-foto’s correct, maar labelde een van de echte foto’s verkeerd als een foto die mogelijk was gemaakt door AI.

“Het probleem van valse positieven – het verwarren van door mensen gemaakte inhoud met kunstmatige inhoud – is een van de redenen waarom Marks betwijfelt of AI-detectoren een “effectieve manier” zijn om met deepfakes om te gaan. Als de tools zouden worden gebruikt om valse inhoud te identificeren en als dergelijke inhoud zou worden verwijderd en gebruikers zouden worden gestraft voor het plaatsen ervan, zouden veel gebruikers onterecht worden gestraft,” zei hij.

“Geen van de detectietechnieken is 100 procent effectief,” zei Marks.

YouTube, dat eigendom is van Alphabet, heeft al aangekondigd dat het van plan is om nieuwe regels in te voeren die gebruikers verplichten om zelf video’s te labelen die “realistisch veranderd of synthetisch materiaal” bevatten, zoals “een door AI gegenereerde video die een gebeurtenis realistisch weergeeft die nooit heeft plaatsgevonden, of inhoud die iemand laat zien die iets zegt of doet wat hij in werkelijkheid niet heeft gedaan.”

“Ontwerpers die er consequent voor kiezen deze informatie niet openbaar te maken, kunnen worden onderworpen aan verwijdering van de content, schorsing uit het YouTube-partnerprogramma of andere straffen,” aldus de aankondiging van 14 november 2023.

Sundar Pichai, CEO van Alphabet, houdt de keynote speech tijdens een Google ontwikkelaarsconferentie in Mountain View, Californië, op 10 mei 2023. (Justin Sullivan/Getty Images)

Maar op een vraag van The Epoch Times wilden de woordvoerders van het bedrijf niet zeggen welke methode zal worden gebruikt om te bepalen welke inhoud wel en niet door AI is gegenereerd.

Maly uitte zijn bezorgdheid over het feit dat een dergelijk proces uiteindelijk ondoorzichtig en eenrichtingsverkeer zal zijn.

“Als je te maken hebt met iets als Facebook, is er niet echt een beroepsprocedure. Je krijgt een knop die je het gevoel geeft dat je in beroep bent gegaan, maar er is geen mens met wie je kunt praten. Er is geen zaak die je echt kunt indienen,” zei hij.

Facebook, dat eigendom is van Meta, heeft niet gereageerd op een verzoek om informatie over hoe het bedrijf denkt om te gaan met AI-gegenereerde inhoud.

Wapenwedloop

Er is nog een nadeel aan AI-detectoren: Ze kunnen voor de gek worden gehouden, aldus Marks.

Hij wees op een publicatie uit 2022 genaamd ” Het creëren, gebruiken, misbruiken en detecteren van Deep Fakes” van Hany Farid, een professor in computerwetenschappen aan de Universiteit van Californië-Berkeley. Het artikel beschreef een methode genaamd “adversarial perturbation”, waarbij een geluidspatroon dat onwaarneembaar is voor het menselijk oog, door de detector voor de gek wordt gehouden door de afbeelding als authentiek door te geven, wordt toegevoegd aan een AI-gegenereerde afbeelding.

De Epoch Times testte het concept door een aantal bijzonder realistische Midjourney V6 AI-afbeeldingen herhaaldelijk te bewerken. De AI or Not tool bestempelde ze in eerste instantie correct als waarschijnlijk kunstmatig, maar na herhaalde bewerkingen, zoals het toevoegen en verminderen van ruis, verkleinen, verscherpen en herhaaldelijk aanpassen van belichting en contrast, werden de meeste afbeeldingen goedgekeurd als “waarschijnlijk menselijk”, hoewel ze ook de waarschuwing “lage beeldkwaliteit” van de tool activeerden.

De waarschuwing verschijnt wanneer de tool wijzigingen in de belichting, bestandsindeling en “andere knoeitechnieken” detecteert, aldus Kvitnitsky in een reactie via e-mail.

“De bedoeling is om een markering aan te brengen als we denken dat het beeld verder onderzoek vereist,” zei hij.

Het probleem is dat alle authentieke foto’s die The Epoch Times gebruikte om de tool te testen ook de waarschuwing voor lage kwaliteit triggerden.

Kvitnitsky zei dat zijn klanten met een “premium” abonnement niet alleen het binaire ” waarschijnlijk AI”/”waarschijnlijk menselijk” resultaat te zien krijgen, maar ook een “betrouwbaarheidsscore” voor elk resultaat.

Hij benadrukte dat zijn team voortdurend bezig is met het verbeteren van de tool, die nu getraind wordt om beelden te herkennen die gemaakt zijn door de nieuwe Midjourney V6.

“We vinden grensgevallen, we identificeren ze binnen ons eigen team en dan lossen we ze op om er zeker van te zijn dat we ze detecteren,” zei Kvitnitsky.

Het verbeteringsproces werkt echter twee kanten op, aldus Marks.

Amerikaanse luchtmacht kapitein Shannon Bender bekijkt computerinformatie tijdens een cyberoorlogstraining in Michigan op 8 maart 2022. (Master Sgt. David Eichaker/U.S. Air National Guard)

“Het is een soort wapenwedloop. Jij bedenkt een manier om een video te vervalsen, iemand bedenkt een manier om het te detecteren. Maar dan kijkt de andere kant naar de manier om het te detecteren en bedenken ze hoe ze dat kunnen omzeilen,” zei hij.

“Uiteindelijk zullen de vervalsingen het punt bereiken dat ze heel moeilijk op te sporen zijn,” voorspelde Marks.

Kvitnitsky erkende dat de situatie verwant is aan het inhaalspelletje dat cyberbeveiligingsontwikkelaars spelen met hackers.

“We proberen het voor te blijven, maar ja, dat is het precies. Het is een nieuwe fase van cyberbeveiliging,” zei hij, waarbij hij opmerkte dat enkele van zijn grootste klanten zich op het gebied van cyberbeveiliging bevinden.

Bovendien zijn er een aantal opmerkelijke obstakels voor het spelen van de inhaalslag in de onvolmaakte wereld van informatie, zei Maly.

“Zo ontwikkelen generatieve AI-modellen zich niet noodzakelijkerwijs stapsgewijs,” zei hij.

“Om de twee of drie jaar worden ze helemaal afgesloten en beginnen ze helemaal opnieuw. Als gebruiker zie je dat misschien niet omdat ze nog steeds dezelfde front-end hebben en nog steeds dezelfde naam voor het product,” zei Maly.

En een nieuw model betekent dat de detectietool opnieuw moet worden getraind.

Bovendien kan kunstmatige video in langere vorm behoorlijk complex zijn en waarschijnlijk worden geproduceerd door verschillende tools die elk hun handtekening achterlaten, die vervolgens worden samengevoegd in het eindproduct.

“Hoe meer we meerdere dingen samenvoegen tot een product van een hoger niveau, hoe moeilijker het is om de oorsprong van de verschillende componenten te achterhalen,” zei Maly.

Vervalsingen zijn ook makkelijker te verdoezelen als je chaotische gebeurtenissen afbeeldt, zoals een oorlog of een rel.

“Ze hebben misschien een vreemde camerahoek, misschien zijn ze wazig, of misschien zit er water of vuil op de camera,” zei hij.

“Dus ik denk dat het waarschijnlijk gemakkelijker zou zijn om dat soort beelden te verdoezelen, omdat we gewend zijn dat die van onvolmaakte kwaliteit zijn.”

Digitale handtekeningen

Sommige bedrijven en niet-overheidsorganisaties hebben voorgesteld om deepfakes uit te roeien door middel van “cryptografische handtekeningen.”

Een journalist kijkt naar een interview met voormalig president Donald Trump tijdens het eerste Republikeinse presidentsdebat in Milwaukee, Wis, op 23 augustus 2023. (Alex Wroblewski/AFP via Getty Images)

Het idee is dat de software die een stuk inhoud produceert er gecodeerde informatie in opslaat, zoals wanneer, waar en door wie het is gemaakt. Een versleutelde versie van de code wordt dan opgeslagen op een vertrouwde locatie. Het zou dan mogelijk zijn om de “herkomst” van de inhoud te controleren.

“Bedrijven moeten effectieve methoden ontwikkelen om AI-gegenereerde inhoud te labelen, wat het gebruik van een cryptografische handtekening inhoudt, en samenwerken met maatschappelijke organisaties om te standaardiseren hoe de industrie de herkomst van specifieke inhoud documenteert,” stelt Freedom House, een mensenrechtenorganisatie, in haar AI-beleidsaanbevelingen voor 2023. De groep stelt ook voor dat bedrijven investeren in de ontwikkeling van software om AI-gegenereerde inhoud te detecteren.

“Het voordeel van deze op herkomst gebaseerde benaderingen is dat ze het hoofd kunnen bieden aan contentcreatie en -consumptie op internetschaal”, aldus Farid in zijn artikel uit 2022.

“Het nadeel is dat ze brede acceptatie vereisen van makers, uitgevers en sociale mediagiganten.”

Brede acceptatie lijkt niet in zicht. Een van de problemen van het systeem komt neer op privacy. Een vrije samenleving wil het de autoriteiten niet per se makkelijk maken om de herkomst van elk stukje informatie te achterhalen, vooral als het gaat om politieke uitingen.

Voorstanders van het systeem stellen daarom een variant voor waarbij makers van inhoud kunnen beperken welke “herkomstinformatie” ze willen delen. Het systeem zou dan echter niet de juistheid van de informatie zelf bewijzen, maar alleen dat het de informatie is die de maker wilde delen.

Grotere impact

De introductie van realistische AI-creaties zal de online cultuur waarschijnlijk veranderen en het vertrouwen in digitale informatie zonder verificatie offline aantasten.

“Het zal nu veel moeilijker worden dan ooit om de waarheid te onderscheiden,” zei Marks.

Zelfs zonder deepfake verrassingen creëert alleen al het bestaan van deepfake tools wat Farid het “leugenaarsdividend” noemt – waarin mensen kunnen proberen om echte informatie als nep af te doen.

Hij acht het waarschijnlijk dat “een versie van een op herkomst gebaseerde oplossing, naast de detectieschema’s … nodig zal zijn om het vertrouwen in online inhoud te herstellen.”

Kvitnitsky sprak het vertrouwen uit dat zijn bedrijf zal helpen om dat vertrouwen te versterken.

“Vertrouwen op AI om AI tegen te gaan betekent echter dat gebruikers de controle over het onderscheiden van de waarheid uit handen geven,” aldus Maly.

“Dit lijkt precies het sociale ecosysteem te zijn waar we op het punt staan ons in te begeven: [We vertrouwen er niet op dat AI’s ons niet bedriegen, maar de enige manier om dit te controleren is door andere AI’s te gebruiken die we niet hebben gemaakt,” zei hij in een reactie per e-mail.

“Het zou zelfs kunnen leiden tot een situatie waarin een paar gigantische Tech bedrijven zowel AI-generatie als AI-detectie aanbieden en beide kanten van de vergelijking beheersen,” aldus Maly.

Een AI-logo gemengd met vier valse Twitter-accounts met profielfoto’s die blijkbaar zijn gegenereerd door AI-software, genomen in Helsinki, Finland, op 12 juni 2023. (Olivier Morin/AFP via Getty Images)

Het is onwaarschijnlijk dat de detectiemiddelen zelfs maar kunnen worden doorgelicht, zei hij.

“Als de AI open-source is, zodat het kan worden doorgelicht, dan kan het worden ontleed en omzeild, dus ik denk dat het een ecosysteem van gesloten, propriëtaire oplossingen zal zijn, zoals we al hebben met anti-virussoftware – er zijn vertrouwde namen, maar we maken nog steeds aannames over de beveiligingspraktijken en motieven van onze leverancier,” zei Maly.

“Het zal cruciaal zijn voor mensen om zich te informeren over de werking en mogelijkheden van AI,” zei hij.

“Enige mate van kennis van AI’s en het volgen van AI-nieuws zal verplicht zijn voor iedereen die enige hoop wil hebben om de waarheid te kennen, anders wordt het vertrouwen op AI-gegenereerde gegevens bijna alsof je je leven baseert op een magische achtbal,” zei Maly. “Je zou kunnen zeggen dat zelfgenoegzaamheid altijd al de vijand van de waarheid is geweest, maar de kosten ervan voor de maatschappelijke opinie zullen ongetwijfeld nog veel hoger worden.”

Marks suggereerde dat mensen “oude hulpmiddelen” zullen moeten gebruiken om de waarheidsgetrouwheid van digitale inhoud te beoordelen.

“Je kijkt naar de bron, de mate van interesse die ze hebben in het promoten van het artikel. … Er zijn een aantal hulpmiddelen die gebruikt kunnen worden om de waarheid te beoordelen. Zijn ze 100 procent effectief? Nee. Maar ik denk dat ze ongelooflijk, ongelooflijk nuttig zijn,” zei hij.

“Dit is geen probleem met AI, dit is een probleem met het probleem. Je hebt voortdurend desinformatie. En het probleem van het probleem is dat mensen valse informatie verspreiden en jij moet uitzoeken of het waar is of niet.

“De vervalsing is realistischer geworden door kunstmatige intelligentie, maar het probleem blijft hetzelfde. En ik denk dat er geen andere manier is dan vrije pers en politiek debat.”

Origineel gepubliceerd op The Epoch Times (11 januari 2024): The ‘Arms Race’ for Fake AI Election Content Is On

Hoe u ons kunt helpen om u op de hoogte te blijven houden

Epoch Times is een onafhankelijke nieuwsorganisatie die niet beïnvloed wordt door een regering, bedrijf of politieke partij. Vanaf de oprichting is Epoch Times geconfronteerd met pogingen om de waarheid te onderdrukken – vooral door de Chinese Communistische Partij. Maar we zullen niet buigen. De Nederlandstalige editie van Epoch Times biedt op dit moment geen betalende abonnementen aan en aanvaardt op dit moment geen donaties. U kan echter wel bijdragen aan de verdere groei van onze publicatie door onze artikelen te liken en te her-posten op sociale media en door uw familie, vrienden en collega’s over Epoch Times te vertellen. Deze dingen zijn echt waardevol voor ons.