Ein besonders schockierendes Beispiel ereignete sich in Almendralejo, Spanien, wo mehr als 20 junge Mädchen im Alter von elf bis 17 Jahren Opfer von manipulierten Nacktbildern durch künstliche Intelligenz (KI) wurden. Ähnliche Vorfälle wurden auch in den USA gemeldet, wo Jugendliche an einer Highschool in New Jersey beschuldigt wurden, mithilfe von KI-Technologie pornografische Bilder ihrer Mitschüler zu erstellen.

Obwohl die Erstellung von Deepfakes an sich oft nicht illegal ist, ändert sich dies, wenn Persönlichkeitsrechte verletzt werden. Dank leicht zugänglicher KI-Tools ist es nun möglich, Personen auf Fotos virtuell zu „entkleiden“ oder Gesichter in pornografische Videos einzufügen. Dies hat zu einem Anstieg von KI-generierten pornografischen Inhalten geführt, wie aus dem Bericht der Internet Watch Foundation hervorgeht. Dort wird von über 20.000 KI-generierten Bildern in nur einem Monat in einem Forum berichtet, das sich auf sexuellen Kindesmissbrauch spezialisiert hat.

Kinderrechtsaktivisten wie Sarah Adams warnen eindringlich davor, Bilder von Kindern in sozialen Medien zu veröffentlichen, und kritisieren Eltern, die dies tun, als Mitschuldige an der Online-Ausbeutung von Kindern. Sie fordert dazu auf, keine persönlichen Informationen von Minderjährigen online zu teilen.

Auch die Sicherheitsprobleme auf Social-Media-Plattformen, wie unerwünschte sexuelle Annäherungsversuche gegenüber Minderjährigen, werden von ehemaligen Beratern des Unternehmens Meta (ehemals Facebook) thematisiert. Der US-Kongress erwägt derzeit ein Verbot von Deepfakes, die ohne Einwilligung der betroffenen Person verbreitet werden.

In Großbritannien hat sich die Regierung verpflichtet, gegen KI-generierte sexuelle Missbrauchsinhalte vorzugehen und hohe Geldstrafen als mögliche Konsequenz einzuführen. In der EU wird derzeit an einem KI-Gesetz gearbeitet, das KI-Anwendungen in verschiedene Risikoklassen einteilen und regulieren soll. Bis dieses Gesetz in Kraft tritt, setzt die EU auf freiwillige Selbstkontrolle der Unternehmen.