Sand AI, een Chinese video-startup, heeft onlangs een open-source AI-model voor videocreatie gelanceerd, wat lof oogst van prominente figuren zoals Kai-Fu Lee, de oprichter van Microsoft Research Asia. Uit tests van TechCrunch blijkt echter dat Sand AI de publiek gehoste versie van haar model censureert, waardoor het genereren van beelden die de woede van Chinese regelgevers zouden kunnen opwekken, wordt voorkomen.
Magi-1: Een veelbelovend maar beperkt model
Eerder deze week onthulde Sand AI Magi-1, een model dat in staat is om video’s te genereren door ‘autoregressief’ reeksen frames te voorspellen. Het bedrijf beweert dat dit model hoogwaardige, controleerbare beelden kan produceren die de fysica nauwkeuriger vastleggen dan zijn open-source concurrenten.
Ondanks het potentieel is Magi-1 momenteel onpraktisch voor de meeste consumentenhardware. Met 24 miljard parameters heeft het tussen de vier en acht Nvidia H100 GPU’s nodig om effectief te functioneren. Parameters zijn de interne variabelen die AI-modellen gebruiken om voorspellingen te doen. Voor veel gebruikers, waaronder de TechCrunch-journalist die het testte, is het Sand AI-platform de enige toegankelijke manier om Magi-1 te evalueren.
Censuur in actie: welke beelden worden geblokkeerd?
Het platform vereist een tekstprompt of een eerste afbeelding om de videogeneratie te starten. Niet alle prompts zijn echter toegestaan, zoals TechCrunch al snel ontdekte. Sand AI blokkeert actief het uploaden van afbeeldingen met:
- Xi Jinping
- Tiananmen Square en de Tank Man
- De Taiwanese vlag
- Borden die de bevrijding van Hong Kong steunen
De filtering lijkt plaats te vinden op afbeeldingsniveau, aangezien het hernoemen van de afbeeldingsbestanden de blokkade niet omzeilde.
Sand AI staat niet alleen in het implementeren van censuur
Sand AI is niet uniek in zijn aanpak. Hailuo AI, een generatief mediaplatform dat wordt beheerd door het in Shanghai gevestigde MiniMax, voorkomt ook het uploaden van politiek gevoelige afbeeldingen, met name die van Xi Jinping. De filtering van Sand AI lijkt echter bijzonder streng te zijn, aangezien Hailuo AI afbeeldingen van Tiananmen Square toestaat.
Het juridisch landschap van AI-censuur in China
Zoals Wired in een artikel in januari uitlegde, zijn AI-modellen die in China actief zijn onderworpen aan strikte informatiecontroles. Een wet uit 2023 verbiedt deze modellen om inhoud te genereren die ‘de nationale eenheid en sociale harmonie in gevaar brengt’. Dit kan worden geïnterpreteerd als inhoud die in tegenspraak is met de historische en politieke verhalen van de overheid. Om aan deze regelgeving te voldoen, censureren Chinese startups hun modellen vaak via filters op promptniveau of fine-tuning.
Een contrast in censuur: politiek versus pornografie
Interessant is dat, terwijl Chinese AI-modellen de neiging hebben om politieke uitingen te blokkeren, ze vaak minder filters tegen pornografische inhoud hebben dan hun Amerikaanse tegenhangers. 404 meldde onlangs dat verschillende videogeneratoren die door Chinese bedrijven zijn uitgebracht, geen basisbescherming hebben om de creatie van niet-consensuele expliciete afbeeldingen te voorkomen.
De implicaties van AI-censuur
De censuurpraktijken van Sand AI en andere Chinese AI-bedrijven roepen belangrijke vragen op over de toekomst van AI-ontwikkeling en toegankelijkheid in China. Deze praktijken beperken niet alleen het scala aan inhoud dat kan worden gegenereerd, maar weerspiegelen ook de bredere politieke en sociale beperkingen waaronder deze bedrijven opereren.
Gedetailleerde analyse van geblokkeerde afbeeldingen
De specifieke afbeeldingen die door Sand AI worden geblokkeerd, bieden een kijkje in de gevoeligheden van de Chinese overheid. De censuur van afbeeldingen van Xi Jinping onderstreept bijvoorbeeld de nadruk van de overheid op het handhaven van een zorgvuldig samengesteld beeld van haar leider. Evenzo benadrukt het blokkeren van afbeeldingen van Tiananmen Square en de Tank Man de inspanningen van de overheid om de discussie en herdenking van de protesten van 1989 te onderdrukken. De censuur van de Taiwanese vlag en borden die de bevrijding van Hong Kong steunen, weerspiegelt het standpunt van de overheid over deze politiek gevoelige kwesties.
Technische aspecten van censuur
Het feit dat de censuur van Sand AI op afbeeldingsniveau werkt, suggereert een geavanceerd filtersysteem dat specifieke visuele inhoud kan identificeren en blokkeren. Dit systeem maakt waarschijnlijk gebruik van beeldherkenningstechnologie om geüploade afbeeldingen te analyseren en te vergelijken met een database met verboden inhoud. Het feit dat het hernoemen van de afbeeldingsbestanden de blokkade niet omzeilt, geeft aan dat het systeem niet simpelweg afhankelijk is van bestandsnamen, maar daadwerkelijk de afbeeldingsgegevens zelf analyseert.
De wereldwijde context van AI-censuur
Hoewel de Chinese aanpak van AI-censuur bijzonder streng is, is het niet het enige land dat worstelt met de vraag hoe AI-gegenereerde inhoud moet worden gereguleerd. In de Verenigde Staten en Europa overwegen beleidsmakers regelgeving om problemen aan te pakken zoals desinformatie, deepfakes en inbreuk op het auteursrecht. De specifieke benaderingen en prioriteiten verschillen echter aanzienlijk van die in China.
De rol van open-source AI
Het feit dat Sand AI zijn Magi-1-model als open-source heeft uitgebracht, roept interessante vragen op over het evenwicht tussen innovatie en censuur. Aan de ene kant kan open-source AI innovatie en samenwerking bevorderen door onderzoekers en ontwikkelaars in staat te stellen de code vrijelijk te openen en aan te passen. Aan de andere kant kan het het ook moeilijker maken om het gebruik van de technologie te controleren en te voorkomen dat deze voor kwaadaardige doeleinden wordt gebruikt.
De toekomst van AI in China
De toekomst van AI in China zal waarschijnlijk worden gevormd door de voortdurende spanning tussen de wens van de overheid om technologische innovatie te bevorderen en haar toewijding aan het handhaven van sociale en politieke controle. Chinese AI-bedrijven zullen een complex regelgevingslandschap moeten navigeren en manieren moeten vinden om hun technologie te ontwikkelen en in te zetten op een manier die zowel innovatief is als voldoet aan de overheidsvoorschriften.
De bredere implicaties
De zaak van Sand AI benadrukt de bredere implicaties van AI-censuur voor de vrijheid van meningsuiting en toegang tot informatie. Naarmate AI-technologie krachtiger en alomtegenwoordiger wordt, is het steeds belangrijker om na te denken over de ethische en sociale implicaties van het gebruik ervan en ervoor te zorgen dat het niet wordt gebruikt om andersdenkenden te onderdrukken of de toegang tot informatie te beperken.
Vergelijkende analyse met andere platforms
De vergelijking van de censuurpraktijken van Sand AI met die van Hailuo AI onthult dat er enige variatie is in de strengheid van de censuur tussen Chinese AI-bedrijven. Het feit dat Hailuo AI afbeeldingen van Tiananmen Square toestaat, suggereert dat het censuurbeleid minder uitgebreid is dan dat van Sand AI. Deze variatie kan verschillen in de risicotolerantie van de bedrijven, hun interpretatie van overheidsvoorschriften of hun technische mogelijkheden weerspiegelen.
De economische impact van censuur
De censuur van AI-gegenereerde inhoud in China kan ook economische implicaties hebben. Aan de ene kant kan het binnenlandse bedrijven beschermen tegen concurrentie van buitenlandse bedrijven die niet aan dezelfde censuurvereisten zijn onderworpen. Aan de andere kant kan het ook innovatie belemmeren en het potentieel van Chinese AI-bedrijven om te concurreren op de wereldmarkt beperken.
De uitdaging van het in evenwicht brengen van innovatie en controle
De Chinese overheid staat voor de uitdaging om haar wens om AI-innovatie te bevorderen in evenwicht te brengen met haar toewijding aan het handhaven van sociale en politieke controle. Te veel censuur zou innovatie kunnen belemmeren en het potentieel van Chinese AI-bedrijven kunnen beperken. Te weinig censuur zou kunnen leiden tot de verspreiding van desinformatie en de uitholling van sociale en politieke stabiliteit.
Het wereldwijde AI-landschap
Het AI-landschap evolueert snel, met voortdurend nieuwe technologieën en toepassingen die opkomen. China is een belangrijke speler op het AI-gebied, maar staat voor uitdagingen met betrekking tot censuur, gegevensprivacy en toegang tot talent. De toekomst van AI zal afhangen van hoe deze uitdagingen worden aangepakt en in hoeverre landen kunnen samenwerken en concurreren op een eerlijke en open manier.
De ethische overwegingen
Het gebruik van AI roept een aantal ethische overwegingen op, waaronder kwesties met betrekking tot vooringenomenheid, eerlijkheid, transparantie en verantwoordelijkheid. Het is belangrijk om ethische richtlijnen en normen te ontwikkelen voor de ontwikkeling en implementatie van AI om ervoor te zorgen dat het op een verantwoorde en nuttige manier wordt gebruikt.
Het belang van transparantie
Transparantie is essentieel voor het opbouwen van vertrouwen in AI-systemen. Het is belangrijk om te begrijpen hoe AI-modellen werken en hoe ze beslissingen nemen. Dit vereist het verstrekken van toegang tot gegevens, algoritmen en besluitvormingsprocessen. Transparantie kan helpen om vooroordelen te identificeren en te verminderen, eerlijkheid te waarborgen en verantwoordelijkheid te bevorderen.
De rol van onderwijs
Onderwijs speelt een cruciale rol bij het voorbereiden van individuen en samenlevingen op het AI-tijdperk. Het is belangrijk om mensen voor te lichten over AI-technologie, de potentiële voordelen en risico’s ervan en de ethische en sociale implicaties ervan. Onderwijs kan helpen om AI-geletterdheid, kritisch denken en verantwoorde innovatie te bevorderen.
De toekomst van werk
AI zal waarschijnlijk een aanzienlijke impact hebben op de toekomst van werk. Sommige banen kunnen worden geautomatiseerd, terwijl andere kunnen worden gecreëerd of getransformeerd. Het is belangrijk om werknemers voor te bereiden op deze veranderingen door hen de vaardigheden en training te bieden die ze nodig hebben om te slagen in de AI-gedreven economie.
Het belang van samenwerking
Samenwerking is essentieel voor het aanpakken van de uitdagingen en kansen die AI biedt. Dit omvat samenwerking tussen onderzoekers, ontwikkelaars, beleidsmakers en het publiek. Samenwerking kan helpen ervoor te zorgen dat AI wordt ontwikkeld en ingezet op een manier die voor iedereen gunstig is.
AI en nationale veiligheid
AI speelt ook een steeds belangrijkere rol in de nationale veiligheid. Het wordt gebruikt voor toepassingen zoals surveillance, het verzamelen van inlichtingen en autonome wapensystemen. Het gebruik van AI in de nationale veiligheid roept complexe ethische en strategische vragen op die zorgvuldig moeten worden overwogen.
De noodzaak van regulering
De regulering van AI is een complexe en evoluerende kwestie. Sommigen beweren dat AI streng moet worden gereguleerd om potentiële schade te voorkomen, terwijl anderen beweren dat overmatige regulering innovatie zou kunnen belemmeren. Het is belangrijk om een evenwicht te vinden tussen het bevorderen van innovatie en het beschermen tegen risico’s.
AI en gezondheidszorg
AI heeft het potentieel om de gezondheidszorg op een aantal manieren te transformeren. Het kan worden gebruikt om de diagnose, behandeling en preventie van ziekten te verbeteren. AI kan ook worden gebruikt om de gezondheidszorg te personaliseren en toegankelijker en betaalbaarder te maken.
AI en onderwijs
AI kan ook worden gebruikt om het onderwijs te verbeteren. Het kan worden gebruikt om het leren te personaliseren, feedback te geven en administratieve taken te automatiseren. AI kan ook worden gebruikt om nieuwe educatieve hulpmiddelen en bronnen te creëren.
AI en het milieu
AI kan worden gebruikt om milieu-uitdagingen aan te pakken, zoals klimaatverandering, vervuiling en uitputting van hulpbronnen. Het kan worden gebruikt om het energieverbruik te optimaliseren, de landbouwpraktijken te verbeteren en de milieuomstandigheden te monitoren.
De kracht van AI
AI is een krachtige technologie die het potentieel heeft om veel aspecten van ons leven te transformeren. Het is belangrijk om AI op een verantwoorde en ethische manier te ontwikkelen en in te zetten om ervoor te zorgen dat het de hele mensheid ten goede komt. De censuurpraktijken in China bieden een duidelijke herinnering aan het potentieel van AI om te worden gebruikt voor doeleinden van controle en onderdrukking. Naarmate AI zich verder ontwikkelt, is het cruciaal om een voortdurende dialoog en debat aan te gaan over de ethische implicaties ervan en ervoor te zorgen dat het wordt gebruikt om vrijheid, gerechtigheid en menselijk welzijn te bevorderen. De open-source aard van sommige AI-modellen biedt in dit opzicht zowel kansen als uitdagingen. Hoewel open-source AI innovatie en samenwerking kan bevorderen, maakt het het ook moeilijker om het gebruik van de technologie te controleren en te voorkomen dat deze voor kwaadaardige doeleinden wordt gebruikt. De uitdaging is om de kracht van AI te benutten en tegelijkertijd de risico’s ervan te beperken en ervoor te zorgen dat het ten goede komt aan iedereen. Dit vereist een veelzijdige aanpak die ethische richtlijnen, regelgeving, onderwijs en een voortdurende dialoog en debat omvat.
De rol van internationale samenwerking
De ontwikkeling en implementatie van AI zijn mondiale inspanningen die internationale samenwerking vereisen. Landen moeten samenwerken om gemeenschappelijke normen te ontwikkelen, best practices te delen en de ethische en sociale implicaties van AI aan te pakken. Internationale samenwerking kan helpen ervoor te zorgen dat AI wordt gebruikt om vrede, veiligheid en welvaart voor iedereen te bevorderen.
Conclusie
Het verhaal van Sand AI en de censuurpraktijken ervan is een microkosmos van de grotere uitdagingen en kansen die AI biedt. Naarmate AI zich verder ontwikkelt en alomtegenwoordiger wordt, is het essentieel om de ethische, sociale en politieke implicaties van het gebruik ervan aan te pakken. De toekomst van AI zal afhangen van ons vermogen om de kracht ervan ten goede te benutten en tegelijkertijd de risico’s ervan te beperken en ervoor te zorgen dat het wordt gebruikt om vrijheid, gerechtigheid en menselijk welzijn te bevorderen. De voortdurende dialoog en debat over AI is essentieel voor het vormgeven van de toekomst ervan en ervoor te zorgen dat het wordt gebruikt om een betere wereld voor iedereen te creëren.