Flag&Safe – Deine digitale Schutzstelle

Digitale Soforthilfe bei problematischen Inhalten, Förderung der Selbstwirksamkeit von jungen Nutzer:innen, und institutionelle Vernetzung für eine sichere Online-Schweiz

📋 Projekt-Überblick

Das Problem: Online-Gefahren für Junge Nutzer:innen

Kinder und Jugendliche stossen immer häufiger auf problematische Inhalte wie hate speech, Falschinformationen oder extreme Inhalte in sozialen Medien. Bestehende Schutzmassnahmen zielen oft auf Prävention ab - jedoch fehlt es an direkter Unterstützung für Kinder und Lehrpersonen nach akuter Konfrontation mit solchen Inhalten.

Unsere Lösungsansatz: Flag&Safe

Wir entwickeln mit “Flag&Safe” eine kindgerechte Plattform, auf der junge Nutzer:innen bedenkliche Online-Inhalte einfach und sicher melden können. Die Plattform führt eine automatische Vorprüfung durch und leitet dringende Fälle an ein Netzwerk von Fachpersonen (z.B. Schulpsycholog:innen, Beratungsstellen) weiter. Dabei bleiben Daten und Metadaten der Inhalte erhalten, was diese Fachpersonen befähigt, schnell und unkompliziert einzugreifen.

Mehr zur Vision

In jüngster Zeit häufen sich Berichte über radikalisierende Inhalte in sozialen Medien – auch in der Schweiz sorgen Schlagzeilen wie „Radikalisierung im Internet: Mit TikTok zum IS-Fanatiker" für Aufmerksamkeit. Gleichzeitig berichten immer mehr junge Nutzer:innen, dass sie in ihren Social-Media-Feeds auf unerwünschte sexuelle, irreführende und hasserfüllte Inhalte stossen. Mit dem Inkrafttreten des Digital Services Act in der Europäischen Union werden strengere Regeln für soziale Medien eingeführt, insbesondere um Kinder besser zu schützen. Ein zentraler Aspekt solcher Massnahmen sind sogenannte "Trusted Flagger". Diese Akteure identifizieren problematische Inhalte, melden sie und entfernen sie von Social-Media Plattformen. Jedoch existiert in der Schweiz keine entsprechende Meldestelle. Dieses Problem versuchen wir, mit dem Flag&Safe Projekt zu lösen.

🔄 So funktioniert Flag&Safe

Systemdiagramm der Flag&Safe Plattform

Schritt A: Kinder und Jugendliche melden Inhalte

Wenn Kinder oder Jugendliche in sozialen Medien auf problematische Inhalte stossen (z.B. extreme, radikale, hasserfüllte oder sexuelle Inhalte), können sie diese über die Flag&Safe Plattform melden. Hierfür schicken sie einen link zum Inhalt oder nutzen einen integrierten Chatbot.

Schritt B: Inhalte werden gesammelt und geprüft

Sobald ein potenziell problematischer Inhalt gemeldet wird, sammelt unser System diesen automatisch und speichert ihn sicher ab. Spezielle Computerprogramme schauen sich den Inhalt unter Zuhilfenahme von künstlicher Intelligenz an und prüfen, ob er gegen Regeln verstößt oder sogar illegal sein könnte. Dabei werden auch bekannte Listen mit verbotenen Inhalten abgeglichen.

Schritt C: Automatische Meldung an Plattformen und Behörden

Wenn ein Inhalt gegen die Regeln der sozialen Medien oder gegen Gesetze verstößt, meldet unser System ihn automatisch direkt an die Betreiber der Social-Media-Plattform (z.B. TikTok, Instagram). Wenn der Inhalt klar illegal ist, könnte der Inhalt sogar vollautomatisch an die zuständigen Polizeibehörden gemeldet werden.

Schritt D: Schnelle Hilfe für Betroffene

Gleichzeitig informiert das System auch lokale Hilfsstellen, wie Schulpsychologen oder Medienpädagogen. Diese Fachleute erhalten dann die wichtigsten Informationen über den gemeldeten Inhalt und können dem betroffenen Kind schnell helfen, zum Beispiel durch ein Beratungsgespräch.

Schritt E: System lernt dazu und wird besser

Alle gemeldeten Inhalte werden gesammelt und helfen dabei, unser System immer weiter zu verbessern. Die künstliche Intelligenz lernt aus neuen Fällen unter Wahrung der Anonymität der beteiligten Personen und kann so problematische Inhalte in Zukunft noch schneller und genauer erkennen. Wir können ausserdem so auch besser verstehen, welche potenziell gefährlichen Trends sich gerade online entwickeln.

Schritt F: Infos für die Politik

Unsere gesammelten Erkenntnisse geben wir auch an die Politik weiter. So können Politikerinnen und Politiker besser verstehen, welchen Gefahren Kinder und Jugendliche online ausgesetzt sind und neue Gesetze entwickeln, um sie besser zu schützen.

🎯 Was wir bieten

Unsere Outputs

✅ Trusted Flagger Plattform: Eine Open-Source Softwarelösung, mit der Kinder und Jugendliche problematische Inhalte einfach melden können.
✅ Workshops: Workshops für Schulen und Beratungsstellen, um Bedürfnisse zu verstehen und den Umgang mit der Plattform zu schulen.
✅ Usability-Studie: Tests mit Kindern und Jugendlichen zur Evaluierung und Verbesserung der Plattform.
✅ Wissenschaftliche Veröffentlichungen: Publikationen zu technischen Entwicklungen und Ergebnissen.

Zielgruppen

Unser Angebot richtet sich speziell an Kinder und Jugendliche in der Schweiz, die auf Social-Media-Plattformen aktiv sind.

👥 Das Projektteam

Ein interdisziplinäres Team aus Informatik, Rechtswissenschaft und Medienpädagogik:

Universität St.Gallen
Institut für Informatik

Doktorand Luka Bekavac

Prof. Simon Mayer

Universität Lausanne
Rechtswissenschaftliche Abteilung

Doktorand Alice Palmieri

Prof. Aurelia Tamò-Larrieux

Primarschule Halden
St.Gallen

Benjamin Lizinger
Medienpädagoge

Universität Maastricht
Law&Tech Lab

Prof. Konrad Kollnig
(Unterstützende Funktion)

📅 Zeitplan

Projektstart: 01.04.2025
Projektende: 30.04.2026

Nachhaltigkeit

Die Universität St.Gallen sichert den Betrieb der Plattform für 5 Jahre nach Projektende zu. Die Open-Source-Lösung ermöglicht zudem die Weiterentwicklung und den Betrieb der Plattform durch Dritte.

📄 Lizenz

Dieses Projekt wird als Open-Source-Lösung entwickelt und bereitgestellt.

Ein Projekt mit Unterstützung der