Von Secure Prompting bis Agenten-Härtung: ein Hands-on-Tag für Entwicklungsteams.
Übersicht
KI-Coding-Assistenten wie GitHub Copilot, Claude Code und Cursor schreiben inzwischen einen erheblichen Teil des Produktivcodes. Dieser ist messbar unsicherer, als er wirkt: Veracode fand in seinem 2025 GenAI Code Security Report über 100 LLMs hinweg in 45 % der Coding-Aufgaben Sicherheitsschwachstellen (Java: über 70 %, XSS: 86 % Fehlerrate). Bereits 2022 zeigte die NYU-Studie „Asleep at the Keyboard?“, dass rund 40 % der von Copilot generierten Programme verwundbar waren. Eine Stanford-Studie belegt zudem, dass Entwickler:innen mit KI-Assistent unsichereren Code schreiben, ihn aber für sicherer halten als die Kontrollgruppe ohne KI. Gleichzeitig wird die KI-Toolchain selbst zur Angriffsfläche: Prompt Injection über Ticket-Texte und READMEs, bösartige angebundene Server, Agenten mit zu weitreichenden Rechten und halluzinierte Pakete. Laut einer USENIX-Security-Studie sind 19,7 % der von LLMs vorgeschlagenen Abhängigkeiten frei erfunden.
In diesem eintägigen, praxisorientierten Kurs lernen Sie, KI-Assistenten so einzusetzen, dass Geschwindigkeit und Sicherheit zusammenkommen. Sie erfahren, welche Schwachstellenmuster KI-Code typischerweise enthält, wie Sie Sicherheitsanforderungen schon vor dem ersten Prompt festlegen, wie Sie der KI einen Sicherheitsleitfaden mitgeben, der bei jeder Codegenerierung wirkt, wie Sie KI-Code effizient und adversarial reviewen und wie Sie Ihre Entwicklungsumgebung selbst gegen Angriffe härten. Zum Abschluss stehen automatische Leitplanken im Workflow und ein gemeinsamer Debrief. Ein großer Teil des Kurses besteht aus Labs an vorbereiteten Übungsumgebungen.
Agenda
| Zeit | Modul | Inhalt |
|---|---|---|
| 09:00-09:30 | Begrüßung & Lagebild | Wie Copilot, Claude Code & Cursor arbeiten; Zahlen zu Schwachstellenraten; warum „läuft beim ersten Versuch“ das gefährlichste Signal ist |
| 09:30-10:30 | Typische Schwachstellen in KI-Code | Warum KI-generierter Code anders (und vorhersagbar) fehlschlägt als von Menschen geschriebener; welche Fehlerklassen immer wieder auftreten und woran man sie im Alltag erkennt. Lab: Schwachstellen in echtem KI-generiertem Code finden und ausnutzen |
| 10:30-10:45 | Pause | |
| 10:45-11:30 | Security vor dem Prompt | Leichtgewichtiges Threat Modeling für Features; Sicherheitsanforderungen als Akzeptanzkriterien formulieren. Lab: Bedrohungsanalyse für eine Beispiel-Story |
| 11:30-12:30 | Secure Prompting & Sicherheitsleitplanken | Sichere Prompts formulieren; der KI einen Sicherheitsleitfaden mitgeben, der projekt- und organisationsweit bei jeder Codegenerierung greift. Lab: Unsichere Prompts umschreiben, eigenen Sicherheitsleitfaden für den Assistenten erstellen und die Wirkung messen |
| 12:30-13:30 | Mittagspause | |
| 13:30-14:30 | KI-Code reviewen | Review-Checkliste für KI-Diffs; Risiken bei von der KI vorgeschlagenen Abhängigkeiten; Sicherheitstests, die die KI nicht von selbst schreibt. Lab: Adversarialer Review und KI-gestützt Security-Tests generieren |
| 14:30-15:30 | Die KI-Toolchain als Angriffsfläche | Prompt Injection über Issues, Kommentare, Doku; Risiken angebundener Tools und Server; Agenten-Rechte, Sandboxing, Secrets-Schutz. Lab/Demo: Injection-Angriff auf einen Agenten und Härtung der Konfiguration |
| 15:30-15:45 | Pause | |
| 15:45-16:45 | Guardrails & Automatisierung | Automatische Sicherheitsprüfungen im KI-Workflow; Leitplanken, die Verstöße stoppen, bevor Code entsteht; Metriken und Team-Rollout |
| 16:45-17:00 | Abschluss & Wrap-up | Gemeinsamer Debrief, Ressourcenliste, Transfer in den Alltag, Feedback |
Eckdaten
- 1 Tag, 09:00-17:00 Uhr, hoher Praxisanteil
- Zielgruppe: Entwickler:innen, Tech Leads, DevSecOps- und AppSec-Engineers
- Voraussetzungen: Programmiererfahrung; eigener Laptop mit lokal installiertem Docker, die Übungsumgebung wird gestellt
Methodik
Learning by doing is one of the most important paradigms. More about the training methodology here.
Trainer
Timo Pagel lässt sein Wissen aus über 20 Jahren im Betrieb und der Entwicklung in seine Trainings einfließen. Als DevSecOps-Berater berät er nicht nur auf der strategischen Ebene sondern legt auch „Hand an“.
Kundenstimmen
+ Sehr guter Anteil konkreter Übungen!
Anonym, IT-Beratungsbranche
+ Wichtige Bereiche wurden immer mit der „Übersichtskarte“ gezeigt.
+ Guter Rundumblick
Schönes Beispiel aus der Praxis von docker12321 🙂
Anonym, Versicherungsbranche
interaktiver Ansatz gefällt mir gut!
Anonym, Versicherungsbranche
Beispielseiten wie die „Check Security Header“ gefallen mir sehr gut.
Anonym, Versicherungsbranche
Sehr gute Idee, dass einem Zeit gelassen wird die praktischen Aufgaben direkt zu machen und gewartet wird, dass wirklich alle fertig sind (indem alle die Hand heben). Gut waren auch die Anzahl an Übungen und die erklären dazu was denn genau passiert. Auch die Themen der Übungen wurden gut gewählt, sodass man versteht, was die Tools machen und wie sie funktionieren
Anonym, Versicherungsbranche
Gute Übungen, die einen sinnvollen Lerneffekt hatten
Anonym, Versicherungsbranche
Sehr angenehme Einführung in das Thema des Threads Modelling, sodass man sich schon selbst Gedanken bezüglich der potentiellen Threats machen kann.
Anonym, Versicherungsdienstleister
Wir müssen uns alle an die aktuelle Situation gewöhnen. Insofern war heute alles cool! Vielen Dank
Anonym, Versicherungsbranche
(Hinweis: Erster Workshop beim Corona-Start)
Angenehm aufbereitet. Vor allem die praktischen Beispiele helfen immer enorm!
Anonym, Versicherungsdienstleister
Viele Übungen; einiges an Input, aber durch den Praxisbezug sehr verständlich! Nicht nur firmenbezogenen, sondern auch für die private Anwendung interessant
Anonym, IT-Beratungsbranche
Kostenloses Erstgespräch vereinbaren
Referenzen
- Veracode, 2025 GenAI Code Security Report (veracode.com)
- Pearce et al., „Asleep at the Keyboard?“, IEEE S&P 2022, arxiv.org/abs/2108.09293
- Perry et al., „Do Users Write More Insecure Code with AI Assistants?“, ACM CCS 2023, arxiv.org/abs/2211.03622
- Spracklen et al., „We Have a Package for You!“, USENIX Security 2025, arxiv.org/abs/2406.10279