FORSCHUNGSGRUPPEN

In ILLUMINATION wird ein Werkzeugkasten mit technischen Privatsphäre-Methoden und interdisziplinären Handlungsempfehlungen für die privatsphäreschonende Nutzung von zentralen LLMs im Gesundheitsbereich entwickelt. Die technischen Methoden erlauben es LLM-Anwender:innen angemessenen Datenschutz im Sinne eines „Privacy by Design“ für ihre Nutzer:innen zu implementieren. Die Handlungsempfehlungen, die auf technischen, rechtlichen, menschzentrierten und anwendungsspezifischen Perspektiven beruhen, tragen zur Stärkung verantwortungsvoller und datenschutzkonformer LLM-Praktiken bei, unterstützen bei der Navigation durch die komplexe Landschaft der LLM-Implementierung und legen den Grundstein für gesetzeskonforme Privatsphäre-Methoden in LLM-basierten Anwendungen.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Partner

Partner

Freie Universität Berlin

Freie Universität Berlin

Partner

Universität Heidelberg

Universität Heidelberg

Partner

Charité – Universitätsmedizin Berlin

Charité – Universitätsmedizin Berlin

Partner

Algonaut (KMU)

Algonaut (KMU)

While there is a long-standing tradition of training various machine learning models for different application tasks on visual data, only the most recent advances in the domain of foundation models managed to unify those endeavors into obtaining highly powerful multi-purpose deep learning models. These models, such as DINO_v21, or SAM,2 are pre-trained on large amounts of public data which turns them into efficient feature extractors. Using only small amounts of sensitive downstream data and reduced compute resources in comparison to a from-scratch training, these feature extractors can then be adapted (through full or partial fine-tuning, transfer learning, or prompting approaches) to solve a wide range of downstream applications. Our goal is to bring foundation models and the new and powerful learning paradigms for their adaptation to the complex and sensitive medical domain with a focus on CT and MRI data.

Fördergeber

Fördergeber

Helmholtz - Artificial Intelligence Cooperation Unit

Partner

Partner

Deutsches Krebsforschungszentrum (DKFZ)

Self-Supervised Learning (SSL) hat sich als ein neues, leistungsfähiges Lernparadigma im maschinellen Lernen erwiesen. Im Gegensatz zum standardmäßigem Supervised Learning, bei dem Datenlabels erforderlich sind, stützt sich SSL auf ungelabelte Daten, um leistungsfähige Featureencoder zu trainieren. Dadurch birgt SSL das Potenzial, den Wert der großen Mengen an ungelabelten Daten zu erschließen, die unter Supervised Learning ungenutzt bleiben. Dies gilt vor allem in sensiblen Bereichen wie der medizinischen Bildgebung oder der Biometrie, wo das Labeln von Daten naturgemäß schwierig und teuer ist. Trotz ihrer vielversprechenden Leistung ist die Anwendbarkeit von SSL-Encodern in sensiblen Bereichen bisher begrenzt. Ein wichtiger Grund dafür ist, dass SSL-Encoder nachweislich sensible Informationen über ihre Trainingsdaten preisgeben, was ein erhebliches Risiko für deren Privatsphäre darstellt. Bislang gibt es keine gezielten Methoden, um das Risiko zu mindern und gleichzeitig die Leistung der Encoder aufrechtzuerhalten.

In diesem Projekt nutzen wir das Konzept der Memorisierung, d. h. die Fähigkeit eines maschinellen Lernmodells, Informationen über seine Trainingsdaten zu speichern, um Privatsphärerisiken in SSL auf strukturierte Weise zu analysieren und zu mindern. Dafür erarbeiten wir zunächst ein grundlegendes Verständnis für Memorisierung in SSL und lokalisieren, wo die Informationen über einzelne Trainingsdatenpunkte in SSL-Encodern gespeichert werden. Anschließend quantifizieren wir die daraus resultierenden Privatsphärerisiken, identifizieren ihre Ursachen und verknüpfen das

Privatsphärerisiko einzelner Datenpunkte formal mit dem Grad ihrer Memorisierung. Schließlich entwickeln wir auf der Grundlage unserer Erkenntnisse darüber, warum bestimmte Datenpunkte eine hohe Memorisierung aufweisen und wo in den Encodern sie gespeichert sind, gezielte Maßnahmen, die Privatsphärerisiken zu vermindern und es gleichzeitig zu ermöglichen leistungsstarke Encoder zu trainieren. Unser Ansatz eröffnet einen neuen Weg zum Einsatz hochleistungsfähiger SSL-Encoder in sensiblen Bereichen unter der Wahrung der Privatsphäre ihrer Trainingsdaten.

Fördergeber

Fördergeber

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) - 550224287

Neuartige Foundation Models (FMs) wie GPT, LLaMA und Stable Diffusion erzielen über eine Vielzahl unterschiedlicher Aufgaben hinweg außergewöhnliche Leistungen, indem sie hochwertige Texte, Bilder und Audiodaten generieren und damit Innovationen in der Industrie vorantreiben. Dieser Fortschritt beruht auf einem Paradigmenwechsel im maschinellen Lernen: Anstatt aufgaben­spezifische Modelle auf kuratierten Datensätzen zu trainieren, werden FMs zunächst auf riesigen, unkuratierten Datenmengen vortrainiert, um leistungsstarke Allzweckmodelle zu werden, und anschließend auf kleineren, domänenspezifischen Datensätzen für konkrete Aufgaben angepasst.

Allerdings geben FMs Informationen aus ihren Trainingsdaten preis. So zeigen aktuelle Studien, dass sie einzelne Datenpunkte aus ihren Vortrainings- und Anpassungsdatensätzen rekonstruieren können. Dies stellt ein erhebliches Datenschutzrisiko dar, insbesondere wenn private Daten betroffen sind. Um eine Offenlegung zu verhindern, müssen Methoden entwickelt werden, die den Schutz der Privatsphäre über den gesamten Lebenszyklus von FMs hinweg gewährleisten – von der Vortrainingsphase bis zur Bereitstellung. Zu diesem Zweck wird unser Projekt Quellen von Datenschutzlecks identifizieren, formale Datenschutzgarantien sowohl für das Vortraining als auch für die Anpassung bereitstellen und FMs auditieren, um Datenschutzverletzungen aufzudecken. Dabei müssen drei zentrale Herausforderungen überwunden werden: das begrenzte Verständnis der Datenschutzrisiken beim Vortraining von FMs, das Fehlen formaler gemeinsamer Datenschutzgarantien für Vortraining und Anpassung sowie die Unwirksamkeit bestehender Methoden zur Datenschutzprüfung.

Die von uns vorgeschlagene Lösung etabliert einen neuartigen theoretischen Rahmen für Datenschutzgarantien in FMs im Pretrain-Adapt-Paradigma. Unsere grundlegenden Innovationen beruhen auf der Erkenntnis, dass aufgrund komplexer Wechselwirkungen zwischen Vortrainings- und Anpassungsdaten unterschiedliche Datenpunkte individuelle Schutzstufen benötigen, um Informationslecks zu verhindern. Die Weiterentwicklung von Methoden zur Identifikation, Umsetzung und Berücksichtigung solcher individuellen Garantien wird es ermöglichen, Datenschutzlecks über beide Trainingsphasen hinweg formal zu begrenzen und Verletzungen zuverlässig zu erkennen. Diese Innovationen werden es der Gesellschaft erlauben, von den technologischen Fortschritten durch FMs zu profitieren, ohne die Privatsphäre einzelner Personen zu gefährden.

Funded by the European Union. Views and opinions expressed are however those of the author(s) only and do not necessarily reflect those of the European Union or [name of the granting authority]. Neither the European Union nor the granting authority can be held responsible for them.

Fördergeber

Fördergeber

European Union - EU – Starting Grant (ERC-2025-StG)

Das Projekt hat zum Ziel, Softwareentwickler:innen die Möglichkeit zu geben, schnell Informationen über Code-Snippets zu sammeln, die sie in ihrer Codebasis wiederverwenden. Dazu gehören Benachrichtigungen über Änderungen an den Codequellen, Warnungen vor Sicherheitsproblemen und Fehlern oder Zusammenfassungen von Diskussionen über solche Code-Snippets. Die Field Study Fellowship zielt darauf ab, die Software an die Bedürfnisse der Entwickler anzupassen und die Effektivität der Code-Wiederverwendung zu verbessern.

Fördergeber

Fördergeber

Helmholtz - Field Study Fellowship Modul

Das Projekt Aletheia zielt auf eine innovative technische und interaktive Erkennung von Deepfakes in Bildern, Videos und Audiofrequenzen ab.

Das Ziel einer Erkennung besteht darin, Desinformation zu bekämpfen und Authentizität zu wahren. Basierend auf maschinellem Lernen werden Anomalien gefunden, die in authentischen Inhalten nicht vorkommen. Die Ergebnisse werden für den Nutzer forensisch detailliert aufbereitet. Damit die Entscheidung auf Fake oder Nicht-Fake für den Anwender nachvollziehbar ist, wird das Ergebnis mittels erklärbarer künstlicher Intelligenz verständlich gestaltet. Dabei werden innovative lnterpretationsmodelle verwendet, die Anomalien und Auffälligkeiten hervorheben, um eine neuartige forensische Analyse durch den Endnutzer zu ermöglichen. Es ergibt sich ein präzises, detailliertes und interpretierbares Ergebnis, das erklärt, warum ein bestimmter Inhalt als Deepfake eingestuft wurde. Hierdurch wird ein nutzerzentriertes Umfeld des Vertrauens und der Transparenz geschaffen.

Darüber hinaus liegt ein Fokus auf einer multimodalen und skalierbaren Analyse. Hierbei werden Videos zunächst getrennt hinsichtlich Tons und Bild analysiert, anschließend auf ihre Kohärenz. Die Motivation hinter dem StartUp Secure Förderprogramm ist die schnelle Umsetzung marktrelevanter Lösungen. Somit steht als Gesamtziel dieses Vorhabens die Entwicklung eines Technologiedemonstrators im Vordergrund, um das Wissen aus Forschung und Entwicklung am Markt anbieten zu können. Aus dem Projekt soll somit letztlich eine Unternehmensgründung hervorgehen, die die hier entwickelten Technologien anbietet.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

In jüngster Zeit haben generative Machine-Learning-Modelle (ML-Modelle) wie ChatGPT und Stable Diffusion rasante Fortschritte bei der Erstellung hochwertiger Texte und Bilder gemacht. Trotz ihrer bemerkenswerten Leistungen bei der Generierung qualitativ hochwertiger Inhalte betont dieses Projekt die Notwendigkeit, ihrer Sicherheit Priorität einzuräumen – ein Aspekt, der häufig unzureichend erforscht ist. Sicherheit bedeutet in diesem Zusammenhang, sicherzustellen, dass die Modelle ohne unbeabsichtigte Schäden arbeiten – insbesondere im Hinblick auf den Schutz der Vertraulichkeit und Integrität der verarbeiteten Daten sowie die Vermeidung irreführender oder schädlicher Inhalte. Darüber hinaus bezieht sich Sicherheit auch auf den Schutz der Modelle selbst vor unrechtmäßiger Nutzung. Unser Projekt basiert auf der grundlegenden Hypothese, dass eine enge Verbindung zwischen der Sicherheit generativer Modelle und dem Umgang mit ihren Trainingsdaten besteht: Das Fundament zuverlässiger und rechtskonformer KI-Systeme liegt in der Beschaffenheit und Handhabung der Daten, mit denen diese Systeme trainiert werden. Um diese Verbindung weiter zu erforschen, haben wir unsere Forschung in drei Teile gegliedert: Unser erstes Ziel ist die Untersuchung der Lernmechanismen generativer Modelle, mit besonderem Fokus auf deren Fähigkeit, Trainingsdaten zu „memorieren“. Dieser Aspekt ist besonders kritisch, da er häufig zu einer unbeabsichtigten Offenlegung sensibler oder urheberrechtlich geschützter Inhalte während der Inferenzphase des Modells führt. Unser zweites Ziel konzentriert sich auf die Entwicklung innovativer Verifikationstechniken, die zwei Hauptszenarien abdecken sollen: Im ersten Szenario sollen Einzelpersonen, beispielsweise Künstlerinnen und Künstler, in die Lage versetzt werden, festzustellen, ob ihre kreativen Werke – selbst wenn sie nicht explizit vom Modell gespeichert wurden – unrechtmäßig im Training verwendet wurden. Das zweite Szenario, die sogenannte Output-Verifikation, zielt darauf ab, Modellinhabern die Möglichkeit zu geben, die Erzeugung potenziell schädlicher Inhalte durch ihre Modelle zu bestätigen oder zu widerlegen. Schließlich schlagen wir wegweisende Strategien vor, um sowohl generative Modelle als auch die daran beteiligten Parteien (in der Regel API-Anbieter), die große Mengen an Rechenleistung und manueller Arbeit investieren, zu schützen. Unser Ansatz beinhaltet die Entwicklung aktiver Abwehrmechanismen, um Versuche des Modell-Diebstahls zu vereiteln. Für den Fall, dass ein Diebstahl dennoch erfolgt, untersuchen wir Verfahren zur Klärung der Eigentumsverhältnisse, um rechtlich gegen solche Handlungen vorzugehen. Zusammenfassend zielt unser Projekt darauf ab, die Sicherheit generativer Modelle zu verbessern – durch die Untersuchung von Memorierung, die Entwicklung von Verifikationstechniken und das Vorschlagen von Schutzstrategien für Modelle und Daten. Durch die Zusammenführung unserer Methoden in einem sicheren Framework für generative ML und dessen Validierung in realen Anwendungsfällen wollen wir zur verantwortungsvollen Nutzung generativer Modelle beitragen und ihre Integrität sowie Vertraulichkeit im sich wandelnden Umfeld der künstlichen Intelligenz sicherstellen. Wir planen, unser Framework über Schulungsmaterialien und eine Open-Source-Bibliothek zu verbreiten sowie die Wirksamkeit unserer Methoden anhand realer Anwendungen zu überprüfen.

Fördergeber

Fördergeber

Funded by the Deutsche Forschungsgemeinschaft (DFG, German Research Foundation) – 545047250

Communication efficiency is one of the central challenges for cryptography. Modern distributed computing techniques work on large quantities of data, and critically depend on keeping the amount of information exchanged between parties as low as possible. However, classical cryptographic protocols for secure distributed computation cause a prohibitive blow-up of communication in this setting. Laconic cryptography is an emerging paradigm in cryptography aiming to realize protocols for complex tasks with a minimal amount of interaction and a sub-linear overall communication complexity. If we manage to construct truly efficient laconic protocols, we could add a cryptographic layer of protection to modern data-driven techniques in computing. My initial results in laconic cryptography did not just demonstrate the potential of this paradigm, but proved to be a game-changer in solving several long standing open problems in cryptography, e.g. enabling me to construct identity-based encryption from weak assumptions. However, the field faces two major challenges: (a) Current constructions employ techniques that are inherently inefficient. (b) The most advanced notions in laconic cryptography are only known from very specific combinations of assumptions, and are therefore just one cryptanalytic breakthrough away from becoming void. This project will make a leap forward in both challenges. I will systematically address these challenges in a work program which pursues the following objectives: (i) Develop new tools and mechanisms to realize crucial cryptographic primitives in a compact way. (ii) Design efficient protocols for advanced laconic functionalities which sidestep the need for inherently inefficient low-level techniques and widen the foundation of underlying assumptions. (iii) Strengthen the conceptual bridge between laconic cryptography and cryptographically secure obfuscation, transferring new techniques and ideas between these domains.

Partner

Fördergeber

European Research Council

Moderne Industrie- und Produktionsumgebungen werden zunehmend computerisiert und vernetzt; daher wird Cybersicherheit für sie immer relevanter. Cybersicherheit ist sowohl eine notwendige Voraussetzung als auch ein Wegbereiter für neuartige Anwendungen. Angriffe auf industrielle Produktionssysteme können Ausfallzeiten, Schäden an Maschinen und Verletzungen menschlicher Bediener verursachen und potenziell die gesamte Lieferkette beeinträchtigen. Sie können außerdem industriellen Geheimnisdiebstahl erleichtern, indem große Mengen digitaler Informationen entwendet werden. Die Gewährleistung von Cybersicherheit in komplexen und vernetzten Industrie- und Produktionsumgebungen ist eine anspruchsvolle Herausforderung, die einen vielschichtigen Ansatz und eine Vielzahl von Perspektiven erfordert – von „klassischer“ Software-, Hardware- und Netzwerksicherheit über formale Analysen und formale Garantien sowie menschliche Faktoren bis hin zu praktischen Erfahrungen in Produktionssystemen und den damit verbundenen Arbeitsabläufen. Im vorgeschlagenen Forschungsprojekt wollen wir diese Herausforderungen mit einem Team angehen, das unterschiedliche Hintergründe abdeckt und exzellente wissenschaftliche Qualität aufweist. Das Team vereint die gemeinsame Expertise führender internationaler Forschender des CISPA Helmholtz-Zentrums für Informationssicherheit (CISPA) und der Leibniz Universität Hannover (LUH). Zentrale Ziele sind exzellente Forschung zur Weiterentwicklung des derzeit sehr begrenzten Stands der Technik sowie die breite Förderung der Zusammenarbeit zwischen CISPA und der LUH.

Fördergeber

Fördergeber

Niedersächsisches Ministerium für Wissenschaft und Kultur - zukunft.niedersachsen

Partner

Partner

Leibniz University Hannover (Lead)

Cyber-Physische Systeme (CPS), welche die physische Umgebung und zahlreiche eingebettete Computersysteme mittels digitaler Netzwerke zu einem eng gekoppelten Gesamtsystem verknüpfen, bilden die Schlüsseltechnologie der immer zahlreicher werdenden smarten Umgebungen. Die meisten dieser Anwendungen sind hochgradig sicherheitskritisch, da Fehlfunktionen der cyber-physischen Systeme unmittelbare Gefährdungen für Leib, Leben, Umwelt oder Güter nach sich ziehen. Die durchgängige Laufzeitüberwachung der Systemfunktionen durch geeignete Monitorprozesse stellt ein wichtiges Element zur Sicherstellung zuverlässigen, vorhersagbaren und sicheren Systemverhaltens dar.

Die Anforderungen an die ein CPS überwachenden Monitorprozesse sind dabei extrem hoch, da fehlende Detektion von Ausnahmesituationen die vorgenannten Gefährdungen induziert, überflüssige Signalisierung umgekehrt die Systemleistung massiv herabsetzen kann. Das Projekt PreCePT leistet mittels eines Brückenschlags zwischen formalen Methoden der Informatik und Fehlermodellen der Messtechnik entscheidende Grundlagenforschung zur Deckung des Bedarfs an entsprechend zuverlässigen, nachweislich korrekten Monitorprozessen, indem es aus formalen Spezifikationen automatisch Laufzeitmonitore synthetisiert, welche die bei sensorischer Überwachung der Umwelt unvermeidbaren messtechnischen Ungenauigkeiten und partielle Beobachtbarkeit berücksichtigen.

Die generierten Monitoringalgorithmen vereinen maximale Exaktheit mit harten Echtzeitgarantien und sind aufgrund stringenter Ableitung aus formalen semantischen Modellen von CPS sowie Nutzung fortschrittlicher arithmetischer Constraintsolvingtechniken in dieser Hinsicht nachweislich optimal.

Fördergeber

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) -521273327

Deutsche Forschungsgemeinschaft (DFG)

The quest for a science of perspicuous computing continues. With the results that were achieved in the first funding period, we are spearheading a larger movement towards building and reasoning about software-based systems that are understandable and predictable. As a result, CPEC is gradually enlarging its scope in its second funding period. This pertains to three interrelated facets of our research:

·      Deepening investigation of various feedback loops within the system lifecycle which are required to feed system analysis insights – in particular, insights from inspection-time justification – back into the design-time engineering of perspicuous systems.

·      Emphasising human-centred and psychological research regarding the human-in-the-loop, reflecting the need to investigate the interaction of perspicuous systems with various groups of human stakeholders.

·      Interfacing to the societal dimension of perspicuity – society-in-the-loop – echoing the increasing number of regulatory requirements regarding perspicuity put forward in recent years.

CPEC joins the pertinent forces at Saarbrücken and Dresden that are apt to master the challenge of putting perspicuous computing research into the loop. It comprises computer science experts and links to psychology and juridical expertise at Universität des Saarlandes and Technische Universität Dresden as well as the Max Planck Institute for Software Systems and the CISPA Helmholtz Center for Information Security. The participating institutions have developed a joint research agenda to deepen the transregional network of experts in perspicuous systems. It will serve our society in its need to stay in well-informed control over the computerised systems we all interact with. It enables comprehension and control in a cyber-physical world.

Source: https://www.perspicuous-computing.science/research/ (Stand: 3.5.23)

Fördergeber

Deutsche Forschungsgemeinschaft

Partner

Saarland University

Technical University Dresden

Max Planck Institute for Software Systems

Eine grundlegende Herausforderung bei der Entwicklung von KI-Systemen besteht darin, sicherzustellen, dass die vom System getroffenen Entscheidungen soziale Werte wie Fairness widerspiegeln. Zu den wichtigsten Anliegen gehören auch die Erläuterung des Entscheidungsprozesses der Maschine und der Schutz personenbezogener Daten. Im Rahmen des EU-finanzierten Projekts HYPER wird angestrebt, eine Spezifikationssprache zu entwickeln, die komplexe Konzepte wie Fairness, Erklärbarkeit oder Datenschutz mathematisch formalisieren kann. Die Formalisierungen basieren auf Hypereigenschaften, einer Klasse von Systemeigenschaften, die viel aussagekräftiger sind als die Eigenschaften, die traditionell zur Beschreibung der Korrektheit und Zuverlässigkeit von Computerprogrammen verwendet werden. Es werden neue Algorithmen für logische Schlussfolgerungen, Verifikation und Programmsynthese erstellt.

Fördergeber

European Union

Dieses wird sich mit den großen, grundlegenden Herausforderungen befassen, die den Einsatz der KI-Technologie beeinträchtigen. Die nachhaltige Bewältigung dieser Herausforderungen erfordert einen Leuchtturm, der auf wissenschaftlicher Exzellenz und rigorosen Methoden beruht. Wir werden eine strategische Forschungsagenda entwickeln, die sich auf "technical robustness and safety”, "privacy preserving techniques and infrastructures" und "human agency and oversight” konzentriert. Darüber hinaus fokussieren wir unsere Bemühungen zur Erkennung, Verhinderung und Abschwächung von Bedrohungen und zur Behebung von Schäden auf die drei Grand Challenges “Robustness guarantees and certification”,“Private and robust collaborative learning at scale” und “Human-in-the-loop decision making: Integrated governance to ensure meaningful oversight”. Diese betrachten wir in den sechs Anwendungsfällen Gesundheit, autonomes Fahren, Robotik, Cybersicherheit, Multimedia und Dokumentenanalyse. 

Im Rahmen unseres Projekts versuchen wir, robuste technische Ansätze mit rechtlichen und ethischen Grundsätzen zu verbinden, die durch sinnvolle und wirksame Governance-Architekturen unterstützt werden, um die Entwicklung und den Einsatz einer KI-Technologie zu unterstützen, die den grundlegenden europäischen Werten dient. Unsere Initiative erweitert das international anerkannte, erfolgreiche und voll funktionsfähige Exzellenznetzwerk “ELLIS”. Wir bauen auf dessen drei Säulen auf: Forschungsprogramme, eine Reihe von Forschungseinheiten und ein Doktoranden-/Postdoktorandenprogramm. Damit verbinden wir ein Netzwerk von über 100 Organisationen und mehr als 337 ELLIS-Stipendiaten und -Wissenschaftlern (113 ERC-Grants), die sich gemeinsamen Exzellenzstandards verpflichtet haben. Wir werden nicht nur ein virtuelles Exzellenzzentrum einrichten. Wir werden alle unsere Aktivitäten auch für Beiträge, Interaktionen und Zusammenarbeit mit KI-Forschenden und Industriepartner:innen öffnen, um das gesamte Feld voranzutreiben.

Fördergeber

Funding Body

European Commission

Seit der letzten Coronavirus-Epidemie, die durch SARS-CoV-1 verursacht wurde, werden Pläne und Instrumente zur Eindämmung von Epidemien entwickelt. Dennoch existiert bislang kein geeignetes Frühwarnsystem für Gesundheitsämter, das diesen Bedarf auf regionaler und gezielter Ebene adressiert. In der aktuellen SARS-CoV-2-Pandemie wird der Bedarf an einem solchen System zunehmend deutlich. Die Heterogenität unterschiedlicher Regionen und lokal begrenzter Ausbrüche erfordert ein lokal angepasstes Monitoring und eine entsprechende Bewertung der Infektionsdynamik.

Die frühzeitige Erkennung einer sich abzeichnenden Epidemie ist ein entscheidender Bestandteil erfolgreicher Intervention. Der Vergleich Deutschlands mit anderen europäischen Ländern verdeutlicht, wie wesentlich die rechtzeitige Umsetzung nicht-pharmazeutischer Maßnahmen für die Eindämmung einer Epidemie ist. Daher ist eine kontinuierliche Überwachung des Infektionsgeschehens unerlässlich. Für die strategische Planung politischer Maßnahmen haben sich epidemiologische Modellierungen und Szenariorechnungen zur Vorhersage und Bewertung von Interventionen und Szenarien als äußerst wichtig erwiesen. Die Genauigkeit solcher Prognosen hängt in hohem Maße von der Robustheit und Breite der zugrundeliegenden Daten ab. Zudem besteht ein Bedarf an einer verständlichen Darstellung der häufig komplexen Simulationsergebnisse, ohne deren Interpretation und inhärente Unsicherheiten zu stark zu vereinfachen.

In diesem Vorhaben entwickeln wir eine Plattform, die Datenströme aus verschiedenen Quellen datenschutzkonform integriert. Für deren Analyse kommen vielfältige Methoden zum Einsatz – von maschinellem Lernen bis hin zur epidemiologischen Modellierung – um lokale Ausbrüche frühzeitig zu erkennen und Bewertungen unter verschiedenen Annahmen und auf unterschiedlichen Skalen zu ermöglichen. Diese Modelle werden in automatisierte Workflows integriert und in einer interaktiven Webanwendung mit benutzerdefinierten Szenariosimulationen aufbereitet. Die Plattform basiert auf Erkenntnissen aus der retrospektiven und prospektiven Auswertung der COVID-19-Pandemie und nutzt SARS-CoV-2 als Blaupause für die Prävention und Eindämmung zukünftiger Epidemien durch Atemwegsviren. Die Plattform wird an die Akademie für Öffentliches Gesundheitswesen übergeben und in Pilotprojekten mit ausgewählten Gesundheitsämtern unter realen Bedingungen optimiert.

Fördergeber

Helmholtz-Gemeinschaft e.V.; Impuls- und Vernetzungsfonds

Partner

Helmholtz-Zentrum für Infektionsforschung (HZI)

Deutsches Zentrum für Luft- und Raumfahrt (DLR)

Forschungszentrum Jülich

Helmholtz-Zentrum für Umweltforschung (UFZ)

Teilvorhaben:  Föderierte Analytik und maschinelles Lernen, Datenschutzmodelle und Benchmarking: CISPA

Das Ziel von PrivateAIM ist die Entwicklung einer föderierten Plattform für maschinelles Lernen (ML) und Datenanalyse im Rahmen der Medizininformatik-Initiative (MII), bei der die Analysen zu den Daten gebracht werden und nicht die Daten zu den Analysen. Methoden, die eine verteilte Datenverarbeitung in den von der MII eingerichteten Datenintegrationszentren ermöglichen, sind aus mehreren Gründen wichtig:

1) Daten von Patientinnen und Patienten dürfen ohne Einwilligung nur verwendet werden, wenn Anonymität gewährleistet ist;

2) föderierte Technologien können dazu beitragen, die MII mit anderen Gesundheitsdatennetzen zu verbinden.

Die derzeit in der MII etablierten Mechanismen weisen jedoch erhebliche Einschränkungen auf und sind beispielsweise nicht für komplexe ML- und Data-Science-Tasks geeignet. Darüber hinaus sind föderierte Plattformen, die in anderen Zusammenhängen entwickelt wurden,

1) kompliziert einzurichten und zu betreiben,

2) unterstützen eine begrenzte Anzahl von Analyse- oder ML-Methoden,

3) implementieren keine modernen Technologien zur Wahrung der Privatheit und

4) sind nicht skalierbar oder ausgereift.

Das PrivateAIM-Konsortium, das von allen MII-Konsortien unterstützt wird, bringt Experten zusammen, um die nächste Generation der föderierten Analyse- und ML-Plattform für die MII zu entwickeln. Die Plattform für föderierte Lern- und Analysemethoden (FLAME) wird modernste Föderierungsmethoden mit innovativen Datenschutzmodellen für multimodale Daten kombinieren. Unter Verwendung von Komponenten zur Überwachung und Kontrolle des Schutzniveaus werden diese in eine verteilte Infrastruktur integriert, die von den Datenintegrationszentren leicht übernommen werden kann. Die Umsetzung in die Praxis wird durch die Berücksichtigung von Herausforderungen an der Schnittstelle von Technologie und Recht, die Entwicklung von Konzepten für den Betrieb durch die IT-Abteilungen der Krankenhäuser und die Abstimmung mit Ethikkommissionen sowie Datenschutzbeauftragten begleitet.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Partner

Projektpartner

Universität zu Köln

Universität zu Köln

Projektpartner

Universität Leipzig

Universität Leipzig

Projektpartner

Deutsches Krebsforschungszentrum (DKFZ)

Projektpartner

Universität Ulm

Universität Ulm

Projektpartner

Universität Heidelberg

Universität Heidelberg

Projektpartner

Albert-Ludwigs-Universität Freiburg

Albert-Ludwigs-Universität Freiburg

Projektpartner

Charité - Universitätsmedizin Berlin

Charité - Universitätsmedizin Berlin

Projektpartner

Technische Universität München

Technische Universität München

Projektpartner

Eberhard Karls Universität Tübingen

Eberhard Karls Universität Tübingen

Projektpartner

TMF - Technologie- und Methodenplattform für die vernetzte medizinische Forschung e. V. Berlin

TMF - Technologie- und Methodenplattform für die vernetzte medizinische Forschung e. V. Berlin

Projektpartner

Friedrich-Alexander-Universität Erlangen-Nürnberg

Friedrich-Alexander-Universität Erlangen-Nürnberg

Projektpartner

Ludwig-Maximilians-Universität München

Ludwig-Maximilians-Universität München

Das Projekt "AlgenCY" verfolgt das Ziel, die vielfältigen Möglichkeiten und Herausforderungen, die generative KI-Methoden für die Cybersicherheit mit sich bringen, gründlich zu untersuchen und zu bewerten. Wir wollen herausfinden, wie diese Technologien wirksam zur Abwehr von Cyberbedrohungen genutzt werden können, aber auch, welche potenziellen Schwachstellen und Risiken sie möglicherweise selbst darstellen. Als Ergebnis dieser Forschung streben wir an, fundierte Vorhersagen über die zukünftigen Einflüsse generativer KI auf die Cybersicherheit zu treffen. Auf dieser Basis sollen gezielte Strategien und Lösungen entwickelt werden, um die digitale Sicherheit zu stärken. Im Rahmen dieses Teilprojekts wird das CISPA insbesondere die Sicherheitsaspekte von großen Sprachmodellen (Large Language Models, LLMs) sowie andere generative KI-Methoden untersuchen. Der Schwerpunkt liegt dabei sowohl auf der Absicherung dieser Methoden selbst als auch auf den Möglichkeiten, wie sie in der IT-Sicherheit eingesetzt werden können.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Partner

Projektpartner

Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein, München

Projektpartner

Freie Universität Berlin, Berlin

Freie Universität Berlin, Berlin

Projektpartner

Technische Universität Berlin, Berlin

Technische Universität Berlin, Berlin

Assoziierter Partner

Aleph Alpha GmbH

Aleph Alpha GmbH

Computersysteme in Banken und Versicherungsgesellschaften, aber auch in autonomen Fahrzeugen oder Satelliten sind vielversprechende Ziele für Cyberattacken und müssen geschützt werden um solchen Attacken zu widerstehen, oder um sie auszuhalten und dennoch sicher zu funktionieren. Leider gewinnen Angreifer mit zunehmender Komplexität dieser Systeme immer mehr Möglichkeiten, weshalb wir bei ihrer Verteidigung annehmen müssen, dass manche Attacken erfolgreich sein könnten. Glücklicherweise existieren bereits Resilienz-Techniken, wie etwa die dreifache Replikation des Computersystems mitsamt des Protokolls, um dann durch Abstimmung das korrekte Ergebnis zu bestimmen, auch wenn eine der Instanzen wegen einer erfolgreichen Cyberattacke ein fehlerhaftes Ergebnis liefert. Damit diese Techniken angewendet werden können, müssen sie aber auf die Struktur des Systems abgestimmt sein, insbesondere darauf wie die Komponenten des Systems miteinander interagieren. Die Resilienz-Techniken, die bisher entwickelt wurden, sind auf gewisse Formen der Interaktion eingeschränkt, und die Entwicklung neuer Techniken für aufwendigere Formen der Interaktion ist immer noch eine schwierige und fehleranfällige Aufgabe. Insbesondere können Tools, die die Entwicklung solcher Protokolle durch Korrektheitsprüfungen unterstützen, üblicherweise nur auf komplett fertiggestellte Protokolle angewandt werden, und ihre Anwendung benötigt darüber hinaus seltenes Expertenwissen. Im FM-CReST Projekt haben sich Forscher vom CISPA, Deutschland, und aus dem SnT der Universität Luxembourg zusammengeschlossen, um eine neue Klasse in hohem Maße automatisierter und leicht bedienbarer Tools zu entwickeln, die beim Design beweisbar korrekter Resilienz-Protokolle Unterstützung bieten. Um dies zu erreichen, setzen wir auf Co-Design von Protokollen mit komplexen Interaktionsformen, und basieren die Entwicklung unserer Tools auf den Beobachtungen während der Protokollentwicklung, mit dem Ziel ähnliche Aufgaben in Zukunft zu vereinfachen.

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) -513487900

Fördergeber

Fördergeber

Deutsche Forschungsgemeinschaft

In diesem Projekt wollen wir Globale Synchronisationsprotokolle (GSPs) als ein neues Rechenmodell für nebenläufige Systeme mit einer parametrischen Anzahl von Komponenten einführen. Zusätzlich zu lokalen Updates einer Komponente unterstützen GSPs synchrone globale Updates des Systems, die mittels Bedingungen an den globalen Zustand des Systems beschränkt sein können. Mit dieser Kombination eignen sie sich zur Modellierung von Anwendungen, die auf globaler Synchronisation, z.B. mittels Consensus oder Leader Election, basieren - auf einem Abstraktionslevel der die interne Implementierung des Übereinstimmungsprotokolls verbirgt, aber seine Vor- und Nachbedingungen originalgetreu abbildet. Wir werden Bedingungen identifizieren, unter denen parametrierte Sicherheitsverifikation von GSPs entscheidbar bleibt, obwohl dieses Problem im Allgemeinen für die Kombination der in GSPs unterstützten Kommunikationsprimitive unentscheidbar ist. Eine vorläufige Version der GSPs unterstützt bereits globale Synchronisation und globale Transitionsbedingungen, und wir planen eine Erweiterung des Systemmodells um asynchrone Nachrichtenübermittlung sowie verschiedene Arten der Fehlerbehandlung, so dass die Entscheidbarkeit der parametrierten Verifikation erhalten bleibt. Weiterhin werden wir Bedingungen für kleine Cutoffs für die Sicherheitsverifikation identifizieren, d.h. kleine Schranken auf die Anzahl der Komponenten, die in Betracht gezogen werden müssen um parametrische Sicherheitsgarantien zu bestimmen. Basierend auf diesen Cutoffs werden wir auch einen Ansatz zur automatischen Synthese von GSPs entwickeln, die gegebene Eigenschaften per Konstruktion erfüllen. Zuletzt werden wir auch einen verfeinerungs-basierten Syntheseansatz für GSPs untersuchen, und seine Eigenschaften mit dem Cutoff-basierten Ansatz vergleichen.Unsere Erforschung entscheidbarer Fragmente von GSPs wird geleitet von Anwendungen in verschiedenen Bereichen, darunter Sensornetzwerke, Roboterschwärme und auf Blockchains basierende Anwendungen.

Fördergeber

Funding Body

Deutsche Forschungsgemeinschaft (DFG)

Neuartige, am Körper getragene Geräte bieten neue, skalierbare Benutzerschnittstellen, die intuitiver und direkter zu bedienen sind. Allerdings birgt die körpernahe Ein- und Ausgabe ernsthafte neue Risiken für die Privatsphäre der Nutzer: Die großen Hand- und Fingergesten, die typischerweise für die Eingabe verwendet werden, sind wesentlich anfälliger für Beobachtung durch Dritte als die etablierten Formen der Toucheingabe. Das gilt in noch größerem Maße für visuelle Ausgabe am Körper. Dies ist besonders problematisch, da am Körper getragene Geräte typischerweise bei mobilen Aktivitäten in nicht-privaten Umgebungen verwendet werden. Das primäre Ziel dieses Projekts ist es, einen Beitrag zur Skalierbarkeit von On-Body-Computing in öffentlichen Umgebungen zu leisten, indem Interaktionstechniken für die Eingabe und Ausgabe privater Informationen entwickelt werden, die eine verbesserte Widerstandsfähigkeit gegenüber Verletzungen der Privatsphäre bieten. Im Mittelpunkt unseres Ansatzes steht das Ziel, die einzigartigen Interaktionseigenschaften des menschlichen Körpers zu nutzen: hohe manuelle Geschicklichkeit, hohe taktile Sensibilität und eine große verfügbare Oberfläche für Ein- und Ausgabe, gepaart mit der Möglichkeit, Ein- und Ausgabe durch variable Körperhaltung flexibel abzuschirmen. Diese Eigenschaften können die Grundlage für neue körperbasierte Ein- und Ausgabetechniken bilden, die skalierbar und (praktisch) unbeobachtbar sind. Dieses Ziel ist bisher weitgehend unerforscht. Es ist sehr anspruchsvoll aufgrund der neuen und höchst unterschiedlichen Formen und Skalierungen von körpernahen Geräten sowie der neuartigen Formen multimodaler Ein- und Ausgabe. Diese werden durch die inhärente Komplexität sozialer Umgebungen, die jeweilige Proxemik und die Aufmerksamkeit von Nutzern und Umstehenden weiter erschwert. Um einen Design-Raum für die Interaktionen zu erstellen, werden wir die Privatsphäre von taktiler Eingabe, visueller und haptischer Ausgabe an verschiedenen Körperstellen empirisch untersuchen, abhängig von der Körperhaltung und den proxemischen Konfigurationen. Anschließend werden wir systematisch körperbezogene Eingabegesten sowie skalierbare Techniken für multimodale Interaktion konzipieren und implementieren, die die Privatsphäre in sozialen Umgebungen hinsichtlich eines generalisierten Bedrohungsmodells wahren. Wir verwenden hierbei Aufmerksamkeitsmodelle, die den menschlichen Körper beinhalten. Die neuen Interaktionstechniken werden empirisch mit Nutzern in realistischen Szenarien und im Labor evaluiert, um zu bewerten, wie ihre Eigenschaften die Benutzerfreundlichkeit, den Datenschutz und die Skalierbarkeit beeinflussen. Beides wird uns helfen, die interne und externe Validität unseres Ansatzes zu verstehen. Wir erwarten, dass die Ergebnisse dieses Projekts wesentlich dazu beitragen werden, die Grundlagen für skalierbare körperbasierte Interaktionen zu schaffen, die die Privatsphäre wahren.

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) -521601028

Fördergeber

Fördergeber

Deutsche Forschungsgemeinschaft

Viele der heutigen kritischen Infrastrukturen, wie zum Beispiel Stromnetze oder Mobilfunknetze, sind verteilte Systeme. Sie bestehen aus autonomen Knoten, die über ein Peer-to-Peer-Netz verbunden sind. Ein zentrales Ziel der verteilten Datenverarbeitung ist solche Systeme fehlertolerant zu implementieren, um einzelne Fehlerpunkte zu vermeiden. Fehlertolerante Systeme bleiben sicher und verfügbar, auch wenn eine Minderheit von Knoten ausfällt oder falsche Informationen verbreitet.

Verteilte Systeme stützen sich häufig auf die Kryptografie, die sich als leistungsfähiges Werkzeug für Robustheit und Skalierbarkeit erwiesen hat. Trotz ihrer Vorteile kann die Kryptografie jedoch Leistungseinbußen verursachen oder zu Schwachstellen führen, wenn sie nicht vorsichtig eingesetzt wird. Diese beiden Aspekte erschweren den Einsatz in der Praxis erheblich. Infolgedessen verwenden viele reale Systeme sparsam mit der Kryptografie um, was zu mangelnder Robustheit und Skalierbarkeit führt.

CRYPTOSYSTEMS wird die Widerstandsfähigkeit und Effizienz verteilter Algorithmen, die das Herzstück vieler verteilter Systeme bilden, erheblich verbessern. Die Ziele des Projekts sind die Entwicklung und Erforschung formaler Sicherheitsmodelle für kryptographische verteilte Algorithmen, die reale Bedrohungen genau widerspiegeln. Außerdem wollen wir die Kryptographie nutzen, um robuste und skalierbare verteilte Algorithmen zu entwerfen, die die theoretischen Grenzen von Fehlern tolerieren. Dazu entwickeln wir außerdem neuartige Kryptografie, wie kompakte Signaturen und kommunikationseffiziente verteilte Zufallsgeneratoren, um die Effizienz und Sicherheit verteilter Algorithmen zu erhöhen. Diese Innovationen sind ein wichtiger Schritt auf dem Weg zu einem breiten Einsatz sicherer und skalierbarer verteilter Infrastrukturen.

Fördergeber

Digitale Signaturen sind ein wesentliches und vielseitiges kryptographisches Werkzeug. In einem digitalen Signaturverfahren kann ein Unterzeichner, der über einen geheimen Schlüssel verfügt, eine Nachricht so signieren, dass die Signatur von anderen mit einem entsprechenden öffentlichen Schlüssel effizient überprüft werden kann. Gleichzeitig sollte es unmöglich sein, eine Signatur im Namen des Unterzeichners zu erstellen (solange sein geheimer Schlüssel tatsächlich geheim bleibt). Eine wichtige Variante des Signaturverfahrens ist eine Multi-Signer Version, bei der mehrere Unterzeichner gemeinsam eine kompakte Signatur für eine Nachricht erstellen können. Später kann die daraus resultierende Signatur mit ihren öffentlichen Schlüsseln (als Aggregat) effizient verifiziert werden. Auf diese Weise kann ein speichereffizienter Beweis dafür erbracht werden, dass eine bestimmte Anzahl von Personen, beispielsweise die Hälfte aller Parteien im System, eine Nachricht unterzeichnet hat. Dieser faszinierende Aspekt von Multi-Party Signatures hat in letzter Zeit im Zusammenhang mit Blockchain- und Konsensprotokollen enorme Aufmerksamkeit erregt.

Ziel dieses Projekts ist es, die Sicherheit und das Verständnis von Multi-Signer Signatures zu verbessern, um 1) modulare Frameworks für den Aufbau von Multi-Signer Signatures aus schwächeren Primitiven wie Identifikationsschemata zu entwickeln. Diese Art des Design-Ansatzes hat sich bei der Konstruktion von einfachen Signaturen als sehr erfolgreich erwiesen und wird zu Multisigner-Signaturschemata aus einer breiteren Palette mathematischer Härteannahmen führen. 2) Sicherheitsgarantien bestehender, in der Praxis verwendeter Multi-Signer Verfahren zu überprüfen und zu verbessern. Unser Hauptziel ist es, zu beweisen, dass bestehende Konstruktionen sicher gegenüber einem mächtigen Gegner sind, der Unterzeichner im Laufe der Zeit korrumpieren kann. Diese Art von Sicherheitsgarantie wird in praktischen Anwendungen, z. B. bei Konsensprotokollen, oft gefordert, wird aber von den meisten effizienten Verfahren nicht erfüllt. 3) Robustheit von Protokollen zur verteilten Schlüsselerzeugung (distributed key generation, DKG) zu verbessern. Viele Multi-Signer Verfahren verlassen sich auf einen vertrauenswürdigen Händler, um korrelierende Schlüssel zwischen den Unterzeichnern zu erstellen. Dies ist für viele natürliche Anwendungen wie Blockchain-Protokolle problematisch, bei denen ein solcher Händler möglicherweise nicht verfügbar ist. Daher können die Parteien stattdessen ein DKG-Protokoll verwenden, um gemeinsam einen korrelierenden Satz von Schlüsseln zu erstellen. Dies macht DKG-Protokolle zu einem wichtigen Instrument für die "trust-free" Ausführung von Multi-Signer Protokollen. Leider beruhen die bestehenden DKG-Protokolle auf unrealistischen Netzwerkannahmen oder tolerieren nur eine geringe Anzahl von Korruptionen. Das Ziel dieses Projekts ist es, ihre Robustheit in diesen beiden Punkten zu verbessern.

Fördergeber

Fördergeber

German Research Foundation (DFG)

Mit den Releases neuer Webstandards in Browsern (WebAssembly, WebGPU, WebUSB usw.) können immer mehr Funktionen von angeschlossenen Geräten direkt über das Internet genutzt werden. Während diese Spezifikationen aus Performance-Sicht sehr vielversprechend sind, werfen sie auch erhebliche Sicherheitsbedenken auf. In diesem Projekt analysieren wir die Sicherheitsauswirkungen neuer Funktionen, die direkten oder indirekten Zugriff auf Low-Level-Hardwarefunktionen bieten. Aufbauend auf unserer vorangegangenen Forschung werden wir (1) die Auswirkungen direkter nativer Seitenkanalangriffe aus dem Web untersuchen, (2) neue Methoden zur effizienten Portierung von Angriffen auf Browser entwickeln, um eine schnellere Risikobewertung neuartiger Angriffe zu ermöglichen, (3) untersuchen, wie Seitenkanalangriffe Geheimnisse preisgeben oder die Verfolgung von Nutzern über Hardware-Fingerabdrücke ermöglichen können, und (4) die Grundlagen für sichere Low-Level-Webstandards legen, indem wir die Wirksamkeit bestehender und neuartiger Gegenmaßnahmen (z. B. Sandboxing) mit Blick auf Hardware-/Softwareverträge untersuchen.

Fördergeber

Fördergeber

Deutsche Forschungsgemeinschaft (DFG)

Die spezifischen Ziele des Fellowships umfassen die Entwicklung neuartiger Methoden und Systeme zur autonomen Ausnutzung von Binärprogrammen durch die Kombination von Programmanalyse, symbolischem Schließen und generativen KI-Modellen sowie die Erforschung entsprechender Gegenmaßnahmen und Verteidigungsmechanismen. Bis zum Ende des Fellowships wird von Nanda Rani erwartet, ein umfassendes Spektrum an Forschungsergebnissen vorzuweisen, darunter (i) Prototypen zur autonomen Binärausnutzung, die durch LLM-gestützte Schlussfolgerungsmechanismen angetrieben werden, (ii) Methoden zum Benchmarking und zur Evaluierung autonomer Ausnutzungssysteme anhand von CTF-ähnlichen und realen Binärprogrammen sowie (iii) kuratierte Datensätze und reproduzierbare Pipelines zum Training und Testen KI-gestützter Exploit-Generierung.

Fördergeber

Fördergeber

Impulse and Networking Fund from the Helmholtz Association

Stabile kritische Infrastrukturen sind die Grundvoraussetzung einer funktionierenden Gesellschaft. Eingebettete Systeme, wie sie in Fahrzeugen, dem Energienetz und in medizinischen Geräten verbaut sind, übernehmen dabei zentrale Funktionen. Ihre Vernetzung bietet viele Vorteile, resultiert jedoch auch in einer neuen Angreifbarkeit. Bisher lassen sich bestehende Techniken zur Sicherheitsüberprüfung nicht auf eingebettete Systeme anwenden. Dies liegt hauptsächlich daran, dass eingebettete Systeme eine zu geringe Rechenleistung aufweisen, um ausführliche Tests zu erlauben.

Das Forschungsprojekt „Fuzzware“ verfolgt das Ziel, eine skalierbare automatisierte Sicherheitsüberprüfung eingebetteter Systeme zu ermöglichen. Hierzu wird die sogenannte Rehosting Technik verwendet, welche Firmware performant auf Servern ausführt, ohne die ursprüngliche Hardware zu benötigen. Somit werden tausendfach pro Sekunde unerwartete Eingaben in das eingebettete System gespeist. Dies erlaubt es Fuzzware, systematisch und skalierbar Sicherheitslücken im eingebetteten System zu identifizieren. Dadurch können Entwickler und Integratoren ihre Produkte frühzeitig auf Schwachstellen hin prüfen und diese noch während der Entwicklung beheben.

Das Projekt hat das Potenzial, die Art und Weise, wie eingebettete Systeme auf ihre Robustheit und Sicherheit hin getestet werden, zu revolutionieren. Im Vordergrund der Innovation steht die Skalierbarkeit dieser Sicherheitstests. Hiermit wird die Perspektive eröffnet, systematisch und großflächig eingebettete Systeme abzusichern.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Die politische Meinungsbildung zählt zu den Grundlagen einer funktionierenden demokratischen Gesellschaft. Allerdings ist sie in den letzten Jahren großen Änderungen unterworfen: Neben den klassischen Medien bestimmen heute diverse Akteure den öffentlichen Diskurs, der dann häufig unter dem Einfluss einseitiger Filterblasen und Echokammern steht. Für Bürger:innen ergeben sich Unsicherheiten, Unübersichtlichkeiten und nicht zuletzt Polarisierungen. Ob und wen sie aber wählen, hängt maßgeblich von den im Alltag konsumierten Informationen ab.

Die Informationslandschaft ist in unterschiedliche Content-Anbieter:innen fragmentiert – soziale Medien, Influencer:innen, Messenger-Dienste und viele mehr. Informationen werden dort häufig ohne Quellenangaben und einordnenden Kontext dargestellt. Im Gegensatz zu Informationen aus dem klassischen Journalismus haben Rezipient:innen hier keine Überprüfungsmöglichkeiten. Falschdarstellungen, Manipulationen, Verzerrungen oder künstlich erstellten Inhalten sind Tür und Tor geöffnet. Demokratische Prozesse, wie politische Meinungsbildung und freie Wahlen, werden gestört, bestehende Anschauungen verfestigt und konstruktive Diskurse untergraben.

An dieser Stelle setzt der von der Stiftung geförderte Forschungsverbund an. Während der Projektlaufzeit soll insbesondere ein innovatives Software-Werkzeug (KonCheck) entwickelt und erprobt werden, das als anwenderfreundliche App politisch relevante Informationen kontextualisieren sowie auf ihre Echtheit und Vertrauenswürdigkeit hin überprüfen kann. Technologisch sollen dabei Sprachmodelle der künstlichen Intelligenz zum Einsatz kommen. Nutzer:innen können dann Fragen zu bestimmten Texten stellen, sich Quellen anzeigen lassen, Artikel in einfacher Sprache abrufen oder sich Inhalte im Kontext einordnen lassen. KonCheck soll Menschen zur Partizipation motivieren, indem es einfache Möglichkeiten zur Interaktion schafft.

Die Gestaltung des KI-Tools erfolgt in einem intuitiven und leicht verständlichen Design, da es sich vor allem an vulnerable Nutzergruppen richtet. Dazu gehören Menschen mit kognitiven Beeinträchtigungen, Senior:innen und junge Erstwähler:innen. Als sogenannte Digital Immigrants teilen ältere Menschen wegen mangelnder Medienkompetenz mitunter gefährliche Fake News. Jungwähler:innen hingegen sind durch den frühen Konsum sozialer Medien oftmals in polarisierenden Informationsumgebungen sozialisiert und wenig kompromissbereit.

Leiter und Koordinator des interdisziplinären Forschungsverbunds ist Prof. Dr. Jens Gerken, der an der Technischen Universität Dortmund die Forschungseinheit „Inklusive Mensch-Roboter-Interaktion“ verantwortet. Die Entstehung des neuen KI-Tools wird aus sozialpsychologischer und kommunikationswissenschaftlicher Perspektive begleitet. Erklärtes Ziel des Ladenburger Kollegs „KI-basierte Methoden zur Unterstützung von Meinungsbildung und Partizipation“ ist es, Menschen in persönlichen Entscheidungsprozessen zu unterstützten und ihre Resilienz gegenüber Manipulation zu stärken. Politische Partizipation ist ein Ausdruck sozialer Gerechtigkeit und stärkt demokratische Mechanismen.

Fördergeber

Fördergeber

Daimler und Benz Stiftung

Partner

Partner

TU Dortmund (Konsortialführer)

TU Dortmund (Konsortialführer)

Partner

Hochschule Rhein-Waal

Hochschule Rhein-Waal

Partner

Westfälische Hochschule

Westfälische Hochschule

Das Forschungsprojekt „SisWiss“ zielt darauf ab, Unternehmen den sicheren und rechtskonformen Einsatz großer Sprachmodelle (LLM) zu ermöglichen. Diese Technologie bietet großes Potenzial, um verteilte Wissensbasen effizient zu nutzen und Einblicke in Geschäftsprozesse zu gewinnen. Gleichzeitig stellen LLMs ein Risiko dar, da sie sensible Informationen zugänglich machen können. Deshalb entwickelt das Projektteam praxisnahe Werkzeuge und Methoden zur Bewertung, Verbesserung und Zertifizierung von Sprachmodellen – basierend auf bestehenden Open-Source-Modellen.

Kernbestandteile des Projekts sind eine Softwarebibliothek sowie ein Testmodul zur Überprüfung der Robustheit gegenüber Angriffen, etwa durch manipulativ formulierte Eingaben. Zusätzlich werden theoretische Ansätze zur Zertifizierung nach EU-Rechtsvorgaben wie dem AI Act und Data Governance Act erforscht. Die Projektergebnisse sollen insbesondere kleinen und mittleren Unternehmen helfen, vertrauliche Daten innerhalb ihrer eigenen Infrastruktur zu verarbeiten, ohne auf externe Dienste angewiesen zu sein.

Insgesamt kombiniert das Projekt theoretische Ansätze zur Sicherheitszertifizierung von LLMs mit konkreten Sicherheitstests, sodass Unternehmen Sprachmodelle sicher und in Übereinstimmung mit bestehenden und geplanten EU-Vorschriften nutzen können.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Partner

Partner

Leibniz Universität Hannover

Leibniz Universität Hannover

Partner

L3S Research Center (L3S)

L3S Research Center (L3S)

Partner

AandBI.com GmbH (AandBI®)

AandBI.com GmbH (AandBI®)

Partner

Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)

Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)

Partner

Laverana GmbH & Co. KG (Laverana)

Laverana GmbH & Co. KG (Laverana)

Die Entwicklung verlässlicher und sicherer Software-Systeme verlangt systematisches und umfassendes Testen. Da strukturierte und standardisierte Datenformate über viele Software-Anwendungen hinweg zum Austausch von Daten genutzt werden, müssen die verwendeten Systeme robust und sicher auch mit manipulierten oder fehlerhaften Datensätzen umgehen können. Die für die Tests benötigten Testdaten können für strukturierte Formate, die unter anderem in elektronischen Rechnungen verwendet werden, bislang nur händisch erzeugt werden. Dadurch sind diese in ihrer Verfügbarkeit begrenzt und entsprechend kostenintensiv.

Die Forschenden im Vorhaben „InputLab“ entwickeln Verfahren zur automatischen Erzeugung von Testdaten für Datenformate, für die ein Datenschema vorliegt. Solche Schemas werden in Standardisierungsverfahren für digitale Formate mitdefiniert und tragen zur Interoperabilität verschiedener Software-Systeme bei. Die im Vorhaben generierten Testdaten können genutzt werden, um Fehlverhalten in Anwendungen auszulösen, zu diagnostizieren und reparieren. Dabei können auch subtile Fehler erkannt werden, die sich nicht durch drastisches Verhalten wie Software-Abstürze zeigen. So können schwerwiegende Probleme und Kosten vermieden werden. Damit Entwicklungsteams die Datensätze für ihre Zwecke einfacher verwenden können, sollen diese flexibel an die Eigenschaften von Beispieldatensätzen anpassbar sein.

Durch die Projektentwicklungen wird der vielfältige Bedarf an hochwertigen Testdaten für Software-Systeme mit strukturierten Formaten adressiert. Dabei soll eine möglichst kleine Anzahl an Datensätzen eine große Bandbreite fehlerhafter oder manipulierter Datenpunkte abdecken, um effektive und kosteneffiziente Tests zu ermöglichen. Gleichzeitig kann mit den erzeugten Testdaten eine Vielzahl unterschiedlicher Software-Anwendungen auf Schwachstellen untersucht und somit nachhaltig sicherer gestaltet werden.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Maschinelle Lernmodelle werden immer größer und komplexer, wodurch das Training zunehmend ressourcenintensiv wird. Gleichzeitig verändert sich unsere Welt – und damit fortlaufend auch die Trainingsdaten. Das erfordert eine permanente Aktualisierung oder Neu-Training der Modelle, um auf sich ändernde Datenverteilungen zu reagieren. Gegenwärtig ist der verlässlichste Weg, mit solchen Verteilungsverschiebungen umzugehen, das Modell komplett neu mit aktuellen Trainingsdaten zu trainieren. Das führt jedoch zu erheblichem Ressourcenverbrauch, einem größeren CO₂-Fußabdruck und erhöhtem Energieverbrauch – und beschränkt entscheidende Fortschritte im Bereich des maschinellen Lernens auf große Industrieakteure. Stellen wir uns eine Welt vor, in der Modelle einander beim Lernen unterstützen. Wenn sich die Datenverteilung ändert, wäre ein vollständiges Neutraining nicht nötig – vorausgesetzt, das neue Modell kann mithilfe verlässlicher und nachweislich effektiver Methoden vom veralteten Modell lernen. Darüber hinaus könnte die bisher übliche Praxis, sich auf große, vielseitige monolithische Modelle zu stützen, durch einen Zusammenschluss kleiner, spezialisierter Modelle ersetzt werden. Jedes bringt sein spezifisches Fachwissen ein, sobald es gebraucht wird. Durch diese Form der Dezentralisierung könnte der Ressourcenverbrauch gesenkt werden, da einzelne Komponenten unabhängig voneinander aktualisiert werden können. Basierend auf bahnbrechender Forschung im verteilten Training von ML-Modellen strebt CollectiveMinds danach, anpassungsfähige ML-Modelle zu entwickeln. Diese Modelle sollen sowohl effektiv auf Änderungen in den Trainingsdaten als auch auf Aufgabenmodifikationen reagieren können, gleichzeitig effizienten Wissensaustausch zwischen verschiedenen Modellen ermöglichen – und so großflächiges, kollaboratives Lernen fördern sowie ein nachhaltiges Rahmenwerk für kooperative künstliche Intelligenz bilden. Diese Initiative könnte Branchen wie das Gesundheitswesen revolutionieren, in denen Trainingsdaten oft begrenzt sind und vertrauenswürdige KI hohe Anforderungen an Datenbesitz und Kontrolle stellt. Darüber hinaus könnte sie die wissenschaftliche Zusammenarbeit verbessern. CollectiveMinds verkörpert damit einen bedeutenden Paradigmenwechsel hin zur Demokratisierung des maschinellen Lernens – mit Fokus auf kooperatives und gemeinsames Denken.

"Funded by the European Union. Views and opinions expressed are however those ofthe author(s) only and do not necessarily reflect those of the European Union. Neither the European Union nor the granting authority can be held re-sponsible for them."

Fördergeber

Fördergeber

Funded by the European Union

Das exponentielle Wachstum von Datensätzen und Modellen beim maschinellen Lernen erfordert skalierbare Optimierungsmethoden, um verteilte Systeme effizient zu nutzen. Dieser Antrag befasst sich mit den Herausforderungen der verteilten Deep Learning Optimierung, insbesondere in nicht-konvexen Umgebungen. Herkömmliche Optimierungsmethoden und Erkenntnisse aus der konvexen Optimierung lassen sich nicht gut auf diese Szenarien verallgemeinern, was zu Ineffizienzen und er-höhtem Ressourcenverbrauch führt. Unsere Forschung zielt darauf ab, neue Optimierungsverfahren zu entwickeln und zu validieren, die den einzigartigen Herausforderungen des verteilten Deep Learning gewachsen sind. Wir werden uns auf skalierbare föderierte Lern- und dezentrale Optimierungsmethoden konzentrieren und dabei kritische Themen wie Driftkorrektur, Regeln für die Parameterskalierung und die Integration fortschritt-licher neuronaler Netzwerkarchitekturen wie Transformatoren angehen. Durch Benchmarking dieser Techniken in verschiedenen simulierten Umgebungen und realen Anwendungen wollen wir umfas-sende Richtlinien ableiten, die die Effizienz und Skalierbarkeit des verteilten Deep Learning verbes-sern. Unser interdisziplinäres Team vereint Fachwissen in den Bereichen stochastische Optimierung, föderiertes Lernen und Training neuronaler Netze und gewährleistet so einen umfassenden Ansatz zur Lösung dieser komplexen Probleme. Die Ergebnisse dieses Projekts werden einen wichtigen Beitrag zum Bereich des verteilten maschinellen Lernens leisten, indem sie praktische Lösungen für effizientes Training von großen Modellen bieten, was wiederum dazu beitragen wird, den CO2-Fussabdruck des Deep Learning zu verringern. 

Fördergeber

Fördergeber

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) – 553954458

Verbundprojekt: Supply Chain Security-Identifikation von (absichtlichen und unabsichtlichen) Sicherheitsschwachstellen - ASRIOT

Ziel des Projektes „Automatisierte Sicherheitsanalyse von RTOS- und MCU-basierter IoT-Firmware (ASRIOT)“ ist es, automatisierte Sicherheitsanalysen von Firmware zu erforschen, die auf Echtzeitbetriebssystemen (RTOS) und Ein-Chip-Computersystemen, sog. Mikrocontrollern (MCU), basieren, um so vertrauenswürdige Steuerungssysteme zu schaffen. Solche Steuerungssysteme werden beispielsweise zur Überwachung von Fertigungsprozessen oder der Steuerung von Fahrzeugen eingesetzt. Die anvisierte Plattform soll im Einsatz zunächst die proprietäre Firmware automatisch analysieren können, um herstellerspezifische Komponenten und Bibliotheken zu registrieren. Durch Analyse von sogenannten Binärdateien, die nach einem vorher festgelegten Schema aufgebaut werden, sollen die zusätzlichen oder angepassten Komponenten automatisch detektiert werden. Des Weiteren soll die Plattform typische Sicherheitsschwachstellen in Kommunikation, Verschlüsselung und Speicherverwendung automatisch erkennen sowie die Befunde in detaillierten Berichten aufbereiten. Die Maßnahmen werden im Rahmen des Projektes an einem integrierten Demonstrator getestet, um zum Abschluss des Projektes unmittelbar anwendbare Technologien vorweisen zu können.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Partner

Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein, München

ONEKEY GmbH, Düsseldorf

ZF Friedrichshafen AG, Friedrichshafen

Autonome Fahrzeuge treffen auf den Straßen autonom Steuerentscheidungen basierend auf KI-basierter Verarbeitung diverser Sensordaten. Mögliche böswillige Angriffe können zu Unfällen aufgrund falscher Manöver autonomer Fahrzeuge führen und müssen daher bei der Diskussion um die Zuverlässigkeit solcher Systeme zusammen mit Gegenmaßnahmen systematisch erforscht werden.

In diesem Projekt werden die Auswirkungen von Manipulationen auf aktuelle Sensoren und Sensorverarbeitungspipelines analysiert. Darüber hinaus werden sichere Plattformen für Sensordatenverarbeitung entworfen und implementiert sowie deren Wirksamkeit bei der zuverlässigen Abwehr von Manipulations- und Kompromissversuchen demonstriert. Das resultierende Design einer sicherheitsorientierten Plattform wird als Referenz für zukünftige Forschung und Produktentwicklung in diesem Bereich dienen. 

Wir gehen das Problem aus drei komplementären Forschungsrichtungen an: Verteidigung gegen physische Sensormanipulationen, Erkennung und Verhinderung von Manipulationen in der Sensorfusion-Pipeline und Vertrauenswürdige Verarbeitungsplattformen für die Automobil-branche. Lösungen zu einzelnen Themen wer-den zuerst theoretisch analysiert, dann in Simulationen auf ihre Wirksamkeit überprüft. Parallel zu der Bedrohungsanalyse und der Entwicklung der Gegenmaßnahmen werden wir unsere praktische Demonstratorenplattform entwickeln und umsetzen

Fördergeber

Fördergeber

Bundesministerium für Digitales und Verkehr

Teilvorhaben: Erforschung sicherheitsrelevanter Cyberangriffe, Bedrohungsszenarien und Angriffsdetektoren

Das Ziel von ProSeCA ist es moderne Cybersicherheits-Architekturen für Fahrzeuge zu erforschen und umzusetzen. ProSeCA setzt dabei zur Gewährleistung größtmöglicher Funktions- und Datensicherheit auf einen ganzheitlichen Ansatz, mit dem auf fundamentaler Ebene typische Sicherheitsprobleme wie Speicherfehler gar nicht erst entstehen. Die Cybersicherheit von vernetzten autonomen Fahren  (z.B. eine sichere interne/externe Kommunikation) ist kritisch für die Sicherheit der Passagiere und anderen Verkehrsteilnehmer. Die Vielfalt heterogener Elemente und Funktionen heutiger Automotive-Architekturen erzeugt bei steigenden Anforderungen große Angriffsflächen für Cyber­Angriffe.

Zwar fordert die Richtlinie UNECE R155 für künftige Neuzulassungen Cybersecurity-Management, doch fehlt bisher Erfahrung mit geeigneten Architekturen und Sicherheitsbausteinen. In diese Lücke zielt ProSeCA: Nach dem Leitgedanken „Ein System ist nur so sicher wie sein schwächstes Glied" geht es, ausgerichtet an ISO/SAE 21434, um ein Sicherheitskonzept als modularisierbare und standardisierbare vertrauenswürdige Hardware-/Softwarearchitektur für Fahrzeugsteuergeräte. Es beinhaltet als Sicherheitsbausteine neben Hardware-basierten Schutzmaßnahmen die Programmiersprache Rust und Lösungen zum automatisierten Testen der Softwarekomponenten. Ein Demonstrator zeigt die Realisierbarkeit derart neuer Architekturen als OEM-offene Lösung. Das Konsortium aus acht Partnern ist ein gezielter Ausschnitt der Automotive-Wertschöpfungskette.

Fördergeber

Fördergeber

Bundesministerium für Wirtschaft und Klimaschutz der Bundesrepublik Deutschland (BMWK)

Partner

Partner

Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein, München

Partner

Ferrous Systems GmbH, Berlin

Ferrous Systems GmbH, Berlin

Partner

Infineon Technologies AG, Neubiberg

Infineon Technologies AG, Neubiberg

Partner

SYSGO GmbH, Klein-Winternheim

SYSGO GmbH, Klein-Winternheim

Partner

ZF Friedrichshafen AG, Friedrichshafen

Partner

HighTec EDV-Systeme GmbH, Saarbrücken

HighTec EDV-Systeme GmbH, Saarbrücken

Ziel dieses Graduiertenkollegs (RTG) ist die Entwicklung neuartiger neuroexpliziter Modelle, die Aufgaben in den Bereichen natürliche Sprachverarbeitung, Computer Vision und Handlungs-Entscheidungsfindung präzise lösen können, sowie die Erforschung der theoretischen und praktischen Prinzipien für das Design effektiver neuroexpliziter Modelle. Wir werden drei Kohorten von Doktorand:innen ausbilden, die auf höchstem internationalen Niveau an diesen Modellen forschen und als hochqualifizierte Absolvent*innen sowohl für den akademischen als auch den industriellen Arbeitsmarkt hervorragend vorbereitet sein werden. In den letzten zehn Jahren haben tiefe neuronale Modelle die Informatik revolutioniert und neue Maßstäbe dafür gesetzt, was künstliche Intelligenz leisten kann. Im Gegensatz dazu stehen explizite Modelle, die darauf ausgelegt sind, Wissen über einen bestimmten Bereich oder eine bestimmte Aufgabe mithilfe von Repräsentationen zu erfassen, die von menschlichen Expert:innen verstanden und gestaltet werden können. Neuroexplizite Modelle kombinieren neuronale und explizite Komponenten mit dem Ziel, die Stärken beider Modelltypen zu vereinen. Zu expliziten Modellen zählen symbolische Modelle, etwa in der Computerlinguistik oder der Handlungsplanung, aber auch Ansätze im Bereich Computer Vision, die die Physik der Welt durch differenzierbare Gleichungen modellieren. Neuroexplizite Modelle umfassen somit auch neurosymbolische Modelle, die in vielen Bereichen der KI in letzter Zeit an Popularität gewinnen. Trotz des wachsenden internationalen Interesses wird dieses RTG das erste Forschungszentrum und insbesondere das erste strukturierte Promotionsprogramm für neuroexplizite Methoden in Europa sein. Neuronale Modelle übertreffen rein explizite Modelle in Bezug auf Genauigkeit und Skalierbarkeit deutlich. Gleichzeitig haben sie jedoch eigene Einschränkungen, insbesondere hinsichtlich der Generalisierung (also der Fähigkeit, erlernte Abstraktionen auf verwandte Aufgaben zu übertragen), der Robustheit gegenüber Störungen im Input und der Interpretierbarkeit. Wie die beteiligten Forschenden dieses RTG sowie andere gezeigt haben, können neuroexplizite Modelle helfen, diese Schwächen zu überwinden. Allerdings müssen die Konstruktionsherausforderungen neuroexpliziter Modelle derzeit für jede neue Aufgabe von Grund auf neu angegangen werden, und die grundlegenden Gestaltungsprinzipien solcher Modelle sind noch nicht gut verstanden. Dies macht die Entwicklung neuer neuroexpliziter Modelle aufwändig und erfordert viele Experimente, um ein funktionierendes Modell zu erhalten. In diesem RTG werden wir durch die interdisziplinäre Zusammenarbeit von Doktorand*innen aus verschiedenen Bereichen der Künstlichen Intelligenz Gestaltungsprinzipien für effektive neuroexplizite Modelle erarbeiten und so die Entwicklung effizienter und präziser neuroexpliziter Modelle in der Zukunft beschleunigen.

Fördergeber

Fördergeber

Funded by the Deutsche Forschungsgemeinschaft (DFG, Ger-man Research Foundation) – Project number: 471607914

Partner

Partner

Universität des Saarlandes

Akuter ischämischer Schlaganfall bleibt eine der führenden Ursachen für Behinderung und Tod, wobei aktuelle Reperfusions­therapien durch enge Zeitfenster und eine variierende Wirksamkeit eingeschränkt sind. Wir schlagen ein erklärbares, auf U-Net basierendes Modell vor, das multimodale Daten – Demografie, klinische Scores, Biomarker und Bildgebung – innerhalb einer dezentralen Swarm-Learning-Infrastruktur integriert, um Patient:innen für eine mechanische Thrombektomie basierend auf 90-Tage-Ergebnisprognosen zu stratifizieren.

Durch den Aufbau eines skalierbaren Swarm-Learning-Netzwerks über Zentren des Deutschen Schlaganfallregisters ermöglichen wir eine datenschutzkonforme Nutzung von Datensätzen und verbessern gleichzeitig die Generalisierbarkeit des Modells auf aktuelle, heterogene Real-World-Daten.

Zur Gewährleistung von Erklärbarkeit und Vertrauenswürdigkeit der Modelle vergleichen wir die Merkmalswichtigkeit (Feature Importance) zwischen dezentralen, lokalen und zentralen Modellen, verwenden Saliency Maps zur Lokalisierung bildbasierter Vorhersagen und identifizieren leistungsschwache Subgruppen, um eine Spezialisierung des Modells zu ermöglichen.

Insgesamt liefert unser Framework eine personalisierte Risikobewertung zur Optimierung der Patientenselektion und stellt gleichzeitig eine nachhaltige und skalierbare Pipeline für KI-gestützte Diagnostik und Prognostik in Schlaganfallzentren über unser Swarm-Learning-Netzwerk bereit.

Fördergeber

Fördergeber

Impuls- und Vernetzungsfonds der Helmholtz-Gemeinschaft

Stabile kritische Infrastrukturen sind die Grundvoraussetzung einer funktionierenden Gesellschaft. Eingebettete Systeme, wie sie in Fahrzeugen, dem Energienetz und in medizinischen Geräten verbaut sind, übernehmen dabei zentrale Funktionen. Ihre Vernetzung bietet viele Vorteile, resultiert jedoch auch in einer neuen Angreifbarkeit. Es wurden daher bestehende Techniken zur Sicherheitsüberprüfung eingebetteter Systeme entwickelt. Diese sind vor allem für Experten nutzbar, was die Anwendung in der Praxis begrenzt.

Das Forschungsprojekt „Fuzzware" verfolgt das Ziel, die Sicherheitsüberprüfung eingebetteter Systeme für Nutzer anwendbarer zu machen, die nur über begrenzte Vorerfahrungen im Fuzz Testing verfügen. Hierzu wird die sogenannte Rehosting Technik anwenderfreundlicher gestaltet, welche Firmware performant auf Servern ausführt, ohne die ursprüngliche Hardware zu benötigen. Somit werden tausendfach pro Sekunde unerwartete Eingaben in das eingebettete System gespeist. Dies soll es Anwendern mittels Fuzzware erlauben, systematisch und skalierbar Sicherheitslücken im eingebetteten System zu identifizieren. Dadurch können Entwickler und Integratoren ihre Produkte frühzeitig auf Schwachstellen hin prüfen und diese noch während der Entwicklung beheben.

Die Rehosting Technik hat das Potenzial, die Art und Weise, wie eingebettete Systeme auf ihre Robustheit und Sicherheit hin getestet werden, zu revolutionieren. Im Vordergrund dieses Projekts steht die Anwenderfreundlichkeit dieser Sicherheitstests. Hiermit wird die Perspektive eröffnet, systematische und großflächige Sicherheitstests eingebetteter Systeme in die Anwendungspraxis zu übertragen.

Fördergeber

Fördergeber

Impuls- und Vernetzungsfonds der Helmholtz-Gemeinschaft

In den letzten Jahren sind neuartige KI-gestützte Programmierassistenten, die auf großen Sprachmodellen (LLMs) basieren, beim Erstellen von Code äußerst populär geworden. Allerdings entfällt mindestens 50 % des Aufwands in der Softwareentwicklung auf das Verstehen und Warten bestehender Software – Aufgaben, die für LLMs nach wie vor große Herausforderungen darstellen. Dies liegt daran, dass die meisten Wartungsaufgaben mit dem dynamischen Verhalten von Programmen zusammenhängen, welches durch das Lernen ausschließlich aus statischem Code unzureichend erfasst wird. Das Verstehen, wie die einzelnen Komponenten eines großen Programms zusammenarbeiten, kann menschlichen Experten Monate bis Jahre in Anspruch nehmen.

Im Rahmen unseres ERC Advanced Grants „S3 – Semantics of Software Systems“ haben wir innovative Techniken entwickelt, um Softwaresysteme systematisch zu testen und ihr Verhalten umfassend zu erforschen. Dadurch können wir die dynamischen Eigenschaften von Eingaben, Ausgaben und Ausführungen erfassen und programmspezifische maschinelle Lernmodelle trainieren, die diese zueinander in Beziehung setzen. Das resultierende Modell kann dann Wartungsfragen beantworten wie „Welche Konfigurationseingabe benötige ich, damit dieser Button grün wird?“ oder „Welche Eingabe löst diese Fehlermeldung aus?“

Unsere zugrunde liegende Forschung hat bereits die prinzipielle Machbarkeit dieses Ansatzes gezeigt, war jedoch auf kleine Beispiele beschränkt. Die Frage ist, ob diese Ansätze auf die Vielzahl von Merkmalen skalieren, die bei der Ausführung eines komplexen Programms auftreten. Ziel dieses Proof-of-Concept-Antrags ist es daher, einen Demonstrator eines Programmspezifischen Agenten zu erstellen, der automatisch aus einem nicht-trivialen Softwarestück trainiert wird und mit hoher Genauigkeit wartungsbezogene Fragen beantworten kann.

Das Training eines solchen Agenten für auch nur ein einziges Softwarestück wird erhebliche Ressourcen erfordern, weshalb dieser Förderantrag gestellt wird. Ein derart trainierter Agent wird jedoch solange als Experte für das Verhalten der Software agieren, wie diese existiert, und verspricht damit erhebliche Kosteneinsparungen für die Zukunft der Softwareentwicklung.

Funded by the European Union. Views and opinions expressed are however those of the author(s) only and do not necessarily reflect those of the European Union or [name of the granting authority]. Neither the European Union nor the granting authority can be held responsible for them.

Fördergeber

Fördergeber

European Union - EU – Proof of Concept (ERC-2025-PoC)

Programme nutzen Zeichenketten (Strings), um alle Arten von Textdaten darzustellen: Namen, Kreditkartennummern, E-Mail-Adressen, URLs, Bankkonten, Farbcodes und vieles mehr.

Programmiersprachen bieten jedoch nur wenig Unterstützung, um zu überprüfen, ob der Inhalt dieser Strings auch tatsächlich den Erwartungen entspricht. Dies kann nicht nur zu Funktionsfehlern, sondern auch zu häufigen Angriffen wie Skript- oder SQL-Injektionen führen. In diesem Antrag führen wir String-Typen ein; ein Mittel, um die gültigen Werte von Strings mit Hilfe von formalen Sprachen wie regulären Ausdrücken und Grammatiken auszudrücken. Wir führen Verfahren ein, um zu spezifizieren, welche Mengen von Strings als Werte akzeptabel sind, und um dynamisch und statisch zu prüfen, ob das Programm in Bezug auf die spezifizierten String-Typen korrekt ist. Da es sich um formale Sprachen handelt, ermöglichen String-Typen auch das Erzeugen von Instanzen aus diesen Spezifikationen.

Hiermit wird ein massives automatisiertes Testen von String-Verarbeitungsfunktionen mit gültigen Eingaben möglich, wobei String-Typen wiederum String-Ergebnisse auf lexikalische, syntaktische und semantische Korrektheit prüfen. Schließlich führen wir Mittel ein, um solche Spezifikationen aus dem Code und seinen Ausführungen zu erlernen, so dass String-Typen leicht einzuführen sind. Das Konsortium bringt umfangreiche Erfahrung in der statischen Analyse von Parsing-Code, der Generierung von Unit-Tests und Orakeln sowie sprachbasierter Spezifikation und Testen mit. Ihre gemeinsame Expertise wird dieses Vorhaben zum Erfolg führen.

Fördergeber

Fördergeber

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) -535740946

Dieses Projekt wird die Grundlagen für datenschutzwahrende Verfahren zur Überprüfung der KI-Sicherheit entwickeln. Dadurch wird es möglich, Sicherheitsgarantien von KI-Systemen zu verifizieren, ohne sensible Details über das zugrunde liegende Modell oder die verwendeten Daten offenzulegen. Die Technologie wird mathematische Nachweise liefern, dass KI-Systeme Sicherheitsanforderungen einhalten und gleichzeitig die Vertraulichkeit ihrer Modelle und Daten wahren – ein entscheidender Aspekt in Anwendungsbereichen, in denen sowohl Sicherheit als auch Datenschutz von zentraler Bedeutung sind.

Fördergeber

Fördergeber

Advanced Research and Invention Agency (ARIA, UK)

Partner

Partner

University of Birmingham

Hepatitis D ist die bei weitem schwerste Form der chronischen Virushepatitis, die häufig zu Leberversagen, hepatozellulärem Karzinom und Tod führt. Hepatitis D wird durch eine Koinfektion von Hepatitis-B-Patienten mit dem Hepatitis-D-Virus (HDV) verursacht. Weltweit sind bis zu 20 Millionen Menschen mit HDV infiziert, darunter etwa 250 000 Patienten in der Europäischen Union. Es gibt nur sehr wenige Erkenntnisse über die Pathophysiologie der Krankheit und die Wechselwirkungen zwischen Wirt und Virus, die die große interindividuelle Variabilität im Verlauf der Hepatitis D erklären. Insbesondere ist nicht bekannt, warum 20-50 % der Patienten spontan in der Lage sind, die HDV-Replikation zu kontrollieren, warum die meisten, aber nicht alle Patienten ein fortgeschrittenes Stadium der Lebererkrankung erreichen und warum nur einige Patienten auf eine antivirale Behandlung mit pegyliertem Interferon alpha oder dem neuen HBV/HDV-Eintrittsinhibitor Bulevirtid ansprechen. Da es sich bei HDV um eine Seltene Krankheit handelt, gibt es keine multizentrischen Kohorten von HDV-infizierten Patienten mit geeigneten Biobanken. Es gibt auch kein zuverlässiges tierisches Modell, an dem die Reaktionen des Wirtes untersucht werden könnten. Daher besteht ein dringender klinischer, sozialer und wirtschaftlicher Bedarf an einem besseren Verständnis der individuellen Faktoren, die den Verlauf der Infektion bestimmen, und an der Ermittlung von Patienten, die von den derzeit verfügbaren Behandlungen profitieren. Hepatitis D ist eine Prototyp-Infektion, die von einem neuen individualisierten infektionsmedizinischen Ansatz enorm profitieren könnte. Unser Ziel ist es, ein unvoreingenommenes Screening einer großen multizentrischen Kohorte gut definierter HDV-infizierter Patienten durchzuführen, gefolgt von mechanistischen Studien zur Bestimmung der funktionellen Rolle bestimmter Moleküle. Die identifizierten spezifischen Parameter könnten unmittelbare Auswirkungen auf die personalisierten Überwachungsstrategien und antiviralen Behandlungsansätze haben. D-SOLVE zielt darauf ab, die Last der Krankheit zu verringern, die Lebensqualität der Patienten zu verbessern und die durch HDV-Infektionen verursachten direkten und indirekten Kosten zu senken, indem hervorragende klinische, immunologische, bioinformatische und virologische Fachkenntnisse aus führenden europäischen Zentren kombiniert werden.

Fördergeber

Fördergeber

European Health and Digital Executive Agency (HADEA)