LLM Security 101

Eintauchen in die Welt der LLM-Sicherheit: Eine Erkundung offensiver und defensiver Tools und ihrer aktuellen Fähigkeiten.

Da wir Large Language Models (LLMs) in verschiedenen Anwendungen und Funktionen einsetzen, ist es entscheidend, die damit verbundenen Risiken zu verstehen und die potenziellen Sicherheitsimplikationen aktiv zu minimieren, wenn nicht sogar vollständig zu beseitigen. In den folgenden Abschnitten untersuchen wir die potenziellen Risiken, Schwachstellen und ethischen Überlegungen, die mit diesen leistungsstarken Sprachmodellen verbunden sind – alle basierend auf meinen Erfahrungen mit LLMs in den letzten Wochen.

• Was ist LLM?
• Was besagt das OWASP Top 10 für LLM-Anwendungen?
• Kategorisierung von LLM-Schwachstellen
• Offensive LLM-Sicherheitstools
• Defensive LLM-Sicherheitstools
• Bekannte Hacks & Exploits
• Sicherheitsempfehlungen
• Gute Lektüre

Diese Forschung soll Sicherheitsbegeisterten wie mir, die neu im Bereich LLM-Sicherheit sind und vielleicht nicht die Zeit haben, die riesigen Informationen im Internet zu diesem Thema durchzugehen, Einblicke liefern. Ein Abschnitt des Blogs behandelt auch einige Open-Source-LLM-Sicherheitstools, die ein Bug-Bounty-Jäger oder Pentester ausprobieren kann. In einem großen Unternehmensumfeld ist das Identifizieren von Sicherheitslücken nur ein Teil der Stellenbeschreibung. Der andere Teil besteht darin, die Schwachstelle zu beheben und Muster zu erkennen, damit dieselbe Klasse von Schwachstellen nicht erneut auftritt. Ein Abschnitt des Blogs beleuchtet einige der beliebten defensiven Tools, die Sie ausprobieren können, um herauszufinden, welches Tool in Ihrer Umgebung am besten funktioniert.

Was ist LLM?

Bevor wir in die Feinheiten der LLM-Sicherheit eintauchen, beginnen wir mit den Grundlagen. LLM steht für „Large Language Model“ (Großes Sprachmodell). Einfach ausgedrückt handelt es sich um massive KI-Systeme, die entwickelt wurden, um menschenähnlichen Text in beispiellosem Umfang zu verstehen und zu erzeugen. Zu den beliebtesten Aufgaben, für die LLMs derzeit verwendet werden, gehören Textvervollständigung, Sprachübersetzung, Inhaltserzeugung, menschenähnliche Konversationen und Zusammenfassungen. All dies, da die meisten LLM-Modelle in der Lage sind, menschlichen Text zu verstehen, daraus zu lernen und mit Genauigkeit und Geschwindigkeit zu antworten, zu schreiben oder menschenähnliche Inhalte zu erzeugen.

Was besagt das OWASP Top 10 für LLM-Anwendungen?

Es ist wichtig, das Tempo zu erkennen, mit dem die OWASP-Richtlinien für LLM-Anwendungen veröffentlicht wurden. Dabei handelt es sich um eine Forschung von über 370 Mitgliedern aus verschiedenen Branchen, die in einer gemeinsamen Anstrengung die Top-10-Kategorien für LLM-Sicherheit erarbeitet haben. Ich habe die Top 10 basierend auf meinem Verständnis der Klassifikationen vereinfacht, aber ich empfehle Ihnen, die verlinkte Quelle für ein umfassenderes Bild durchzugehen.

Einige der oben genannten Top-10-Kategorien werden im nächsten Abschnitt weiter aufgeschlüsselt und erweitert.

Kategorisierung von LLM-Schwachstellen:

In diesem Abschnitt werden gängige Schwachstellen und Risiken innerhalb von LLMs klassifiziert, indem sie grob in Sicherheitslücken, Bias/Fairness und ethische Bedenken unterteilt werden.

A. Sicherheitsschwachstellen:

B. Bias und Fairness:

C. Ethische Bedenken:

Offensive LLM-Sicherheitstools

Angesichts der breiten Einführung von LLMs in verschiedenen Anwendungen ist der Einsatz offensiver Tools unerlässlich, um potenzielle Schwachstellen in mehreren Kategorien zu erkennen. Ich habe einige gängige LLM-Schwachstellen-Scan-Tools identifiziert, die Sie für einen Penetrationstest in Betracht ziehen können.

Wenn Sie Erfahrung mit einem dieser Tools haben, freue ich mich über Ihre Gedanken. Wenn Sie außerdem weitere offensive Sicherheitstools kennen, die diese Liste ergänzen könnten, teilen Sie Ihre Vorschläge gerne über einen PR mit.

Defensive LLM-Sicherheitstools

Nachdem Sie nun eine LLM-Schwachstelle gefunden haben, was kommt als Nächstes? Als Sicherheitsexperte ist es entscheidend, Schwachstellen nicht nur zu entdecken, sondern sie auch zu beheben und abzusichern. Ebenso wichtig ist es, wiederkehrende Schwachstellenmuster zu erkennen und zu beseitigen. Ich habe eine Auswahl beliebter defensiver Tools zusammengestellt, auf die ich gestoßen bin und mit denen ich zum Teil experimentiert habe.

Zusätzlich zu den genannten Tools gibt es einige HuggingFace-Modelle, die nahtlos in Anwendungen integriert werden können, um die Verteidigung gegen bestimmte Arten von LLM-Angriffen zu verbessern. Wenn Sie neu bei HuggingFace sind: Es ist wie eine große Bibliothek supersmarter Computerprogramme, die menschliche Sprache verstehen und erzeugen. Auf der Plattform sind Tausende solcher Programme gehostet, die eine einfache Integration in jede Anwendung ermöglichen. Sie können bestimmte HuggingFace-Modelle zu Verteidigungszwecken nutzen, zum Beispiel:

Easter Eggs! Neben HuggingFace bin ich auch auf einige eigenständige Projekte auf GitHub gestoßen, die ebenfalls zur LLM-Sicherheit beitragen.

Abhängig von Ihren Verteidigungsprioritäten können Sie verschiedene Optionen erkunden, z. B. mit Tools experimentieren, ein HuggingFace-Modell integrieren oder eines der zuvor genannten eigenständigen Projekte einbinden.

Bekannte Hacks & Exploits:

KI-Chatbots waren bereits lange vor dem Aufkommen von ChatGPT weit verbreitet, das die Nutzer mit seinen bemerkenswerten Funktionen und natürlichen Unterhaltungen beeindruckte und zugleich meist genaue Antworten lieferte. Im Folgenden finden Sie einige bekannte Hacks, die die möglichen Konsequenzen aufzeigen, wenn KI-Modelle nicht ausreichend abgesichert sind.

1. Microsoft Tay AI

Tay war ein KI-Chatbot, der am 23. März 2016 gestartet wurde, um „Menschen durch lockere und spielerische Unterhaltung einzubinden und zu unterhalten“. Tay wurde entwickelt, um auf Nutzeranfragen und Kommentare mit lockeren und lustigen Antworten zu reagieren, wie ein 16-jähriger Teenager. Die Idee hinter Tay war, aus Gesprächen mit Menschen zu lernen und mit der Zeit besser im Chatten zu werden.

Da die Tay-KI in das ehemalige Twitter (jetzt X) integriert war, wurde dies schnell zum Problem, denn einige Leute begannen, gemeine und verletzende Dinge zu Tay zu sagen, und Tay wusste es nicht besser. Sie begann, diese gemeinen Dinge an die Leute zurückzugeben, weil sie dachte, das sei ihre Aufgabe. Das verursachte viele Probleme, weil der Chatbot anfing, anstößige, rassistische und unangemessene Inhalte zu verbreiten. Aufgrund des Online-Verhaltens von Tay beschloss Microsoft, den Chatbot nur zwei Tage später, am 25. März 2016, offline zu nehmen. Er wurde schnell außer Betrieb genommen, um weitere Probleme durch seine Interaktionen mit Nutzern zu verhindern.

Kurz gesagt: Der Microsoft-Tay-KI-Hack geschah, als Menschen dem Chatbot schlechte Dinge beibrachten und er anfing, diese schlechten Dinge an andere weiterzugeben, was ein großes Chaos verursachte und zeigt, wie wichtig es ist, dass KI-Programme sicher und wohlerzogen sind.

• https://blogs.microsoft.com/blog/2016/03/25/learning-tays-introduction/
• https://www.zdnet.com/article/microsofts-tay-ai-chatbot-wakes-up-starts-tweeting-like-crazy-but-was-it-hacked/
• https://uxplanet.org/remembering-microsofts-chatbot-disaster-3a49d4a6331f
• https://www.hackread.com/microsoft-delete-ai-bot-after-it-went-completely-nazi/

2. Samsung-DatenleckInzwischen wissen wir, dass LLM-Chat-Apps wie ChatGPT, BARD, Llama usw. verwendet werden können, um Lösungen für „beliebige“ Probleme zu finden. Dies kann die Fehlerbehebung und das Umschreiben eines Programms, um es effizienter zu machen, sowie viele andere faszinierende Fähigkeiten des Modells umfassen.

Samsung wurde aus genau diesem Grund von einem Datenleck getroffen - Ein Ingenieur soll proprietäre Informationen eingegeben haben, um einen Fehler zu beheben und das Problem zu lösen. Viele andere Mitarbeiter folgten demselben Verfahren und versuchten, ihren Code zu optimieren, indem sie ihren bestehenden Code in ChatGPT einspeisten, ohne sich der Konsequenzen vollständig bewusst zu sein. Ebenso bat ein anderer Mitarbeiter die KI, auf der Grundlage des Ergebnisses einer Besprechung ein Protokoll zu erstellen.

Wichtig zu beachten ist, dass jeder Prompt, jede Frage und jede Antwort, die über ChatGPT ausgetauscht wird, Teil der internen Daten von OpenAI ist, aus denen es lernt und besser wird. Es wäre einem beliebigen Benutzer mit den richtigen Prompts möglich, auf unbefugte Informationen zuzugreifen, da OpenAI (zu seiner Verteidigung) nur versucht, eine Frage nach bestem Wissen zu beantworten. Die ChatGPT-FAQs informieren ihre Benutzer außerdem, keine sensiblen oder proprietären Informationen einzugeben, da alles, was es erhält, als Teil des internen Datensatzes zu Trainingszwecken hinzugefügt wird.

In Anbetracht dessen ist es wichtig, keine vertraulichen oder proprietären Informationen an ein LLM weiterzugeben, da ein Datenleck außerhalb seines Sicherheitsbereichs nur schwer einzudämmen ist. Organisationen sollten entschiedene Maßnahmen ergreifen, um Mitarbeiter über den Ernst der Nutzung von LLMs in ihren alltäglichen Aufgaben zu informieren.

• https://www.forbes.com/sites/siladityaray/2023/05/02/samsung-bans-chatgpt-and-other-chatbots-for-employees-after-sensitive-code-leak/
• https://cybernews.com/news/chatgpt-samsung-data-leak/
• https://cybersecuritynews.com/chatgpt-leaks-samsung-data/
• https://codeandhack.com/samsung-corporate-data-leaked-due-to-chatgpt/

3. Amazons Einstellungsalgorithmus

Im Jahr 2018 versuchte Amazon, seinen Einstellungsprozess effizienter zu gestalten, indem es ein Computerprogramm bzw. eine KI einsetzte, um Bewerbungen zu sortieren. Diese KI wurde entwickelt, um Lebensläufe und Profile von Personen zu analysieren, die bei Amazon arbeiten wollten.

Allerdings entdeckten sie ein ernstes Problem - Die KI zeigte eine Voreingenommenheit gegenüber Frauen. Sie gab Bewerberinnen unfairerweise niedrigere Punktzahlen. Dies geschah, weil die KI aus historischen Daten gelernt hatte und die meisten dieser Daten von Männern stammten, die sich in der Vergangenheit bei Amazon beworben hatten. Die KI nahm daher fälschlicherweise an, dass männlich zu sein eine bessere Eigenschaft für einen Bewerber sei.

Genauer gesagt wertete die KI Lebensläufe ab, wenn darin Dinge wie Frauencolleges oder Frauensport erwähnt wurden, und sie bevorzugte eine Sprache, die häufig in von Männern dominierten Bereichen verwendet wird.

Aufgrund dieser Voreingenommenheiten entschied sich Amazon, den Einsatz von KI für die Einstellung zu beenden. Dieser Fall verdeutlichte die Notwendigkeit, beim Einsatz von KI bei wichtigen Aufgaben wie der Einstellung sorgfältig abzuwägen und zu überwachen, um Fairness zu gewährleisten und die Verstärkung von Voreingenommenheiten zu vermeiden.

• https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

4. Bing Sydney AI

Microsoft arbeitete an einem Projekt namens Bing Sydney AI mit dem Ziel, ein KI-System zu entwickeln, das Antworten auf Benutzeranfragen generiert, vermutlich im Kontext eines Chatbots oder virtuellen Assistenten. Das Projekt wurde im Rahmen der Bemühungen von Microsoft eingeführt, künstliche Intelligenz und natürliche Sprachverarbeitung in ihren Diensten einzusetzen, insbesondere im Ökosystem der Bing-Suchmaschine. Es sollte die Benutzererfahrung verbessern, indem es ausgefeiltere und kontextbewusstere Antworten auf Benutzereingaben bietet. Das Projekt stand vor erheblichen Herausforderungen, als es begann, Antworten zu generieren, die nicht nur irrelevant, sondern auch beleidigend und voreingenommen waren. Das KI-System begann, Inhalte zu produzieren, die geschlechtsspezifische Voreingenommenheit aufwiesen, und in einigen Fällen erzeugte es sogar sexistische und unangemessene Antworten. Dies warf ernste Bedenken hinsichtlich der Ethik, der Genauigkeit und des Potenzials des Systems auf, schädliche Stereotype zu verstärken.

Microsoft musste das Projekt später stoppen, um diese Probleme zu beheben.

• https://www.theverge.com/23599441/microsoft-bing-ai-sydney-secret-rules
• https://twitter.com/marvinvonhagen/status/1625520707768659968
• https://arstechnica.com/information-technology/2023/02/ai-powered-bing-chat-spills-its-secrets-via-prompt-injection-attack/

Hast du von anderen interessanten Hacks rund um LLMs gehört?

Sicherheitsempfehlungen:

A. Sicherheit und Robustheit:

Adversarial Training: Integriere Adversarial-Training-Techniken, um das Modell widerstandsfähiger gegen Adversarial-Angriffe zu machen.

Input Validation: Implementiere eine strenge Eingabevalidierung, um bösartige oder unangemessene Eingaben zu verhindern.

Regular Audits: Führe regelmäßig Audits des Modells auf Sicherheitslücken durch und behebe sie umgehend.

Testing Suites: Entwickle umfassende Testsuiten, um Schwachstellen in verschiedenen Szenarien zu identifizieren.

B. Bias-Minderung und Fairness:

Diverse Training Data: Stelle sicher, dass die Trainingsdaten vielfältig sind und verschiedene Bevölkerungsgruppen repräsentieren.

Bias Auditing: Prüfe die Ausgaben des Modells regelmäßig auf Bias und arbeite daran, ihn zu mindern.

Fine-Tuning: Führe Fine-Tuning von Modellen für spezifische Domänen durch, um Bias in domänenspezifischen Kontexten zu adressieren.

User Customization: Ermögliche Benutzern, das Verhalten des Modells anzupassen, um ihren Werten zu entsprechen.

C. Ethische und verantwortungsvolle KI:

Fact-Checking Integration: Integriere Faktenprüfmechanismen, um Fehlinformationen zu verringern.

Explicitness in Outputs: Mache deutlich, wenn das Modell spekulative oder unsichere Antworten generiert.

Content Filtering: Implementiere Inhaltsfiltermechanismen, um die Erzeugung schädlicher oder unangemessener Inhalte zu verhindern.

Transparency: Stelle eine klare Dokumentation darüber bereit, wie das Modell funktioniert, über seine Einschränkungen und potenziellen Risiken.

Gute Lektüre

• https://huggingface.co/blog/red-teaming
• http://josephthacker.com/ai/2023/05/19/prompt-injection-poc.html
• https://github.com/jthack/PIPE
• https://llmsecurity.net/
• https://github.com/corca-ai/awesome-llm-security
  

Bitte reiche einen PR ein, wenn du zur Aktualisierung dieser Forschung beitragen möchtest. Und wenn du Kontakt aufnehmen möchtest, zögere nicht, dich über LinkedIn für ein Gespräch mit mir zu vernetzen :)