#71: KI hackt Hugging Face: Hast du einen Kill-Switch? #71

0:00 Magdalena Beilmann: Ein Modell eines US Anbieters dringt bei Hugging Face ein.

0:04 Benjamin Wüstenhagen: Bei der Abwehr hilft ausgerechnet ein chinesisches Open Rate Modell,

0:08 Benjamin Wüstenhagen: wenn das kein Bild für die neue KI Welt ist.

0:12 Benjamin Wüstenhagen: Willkommen zurück bei Co-Intelligence,

0:15 Benjamin Wüstenhagen: eurem KI Lernpodcast mit

0:17 Benjamin Wüstenhagen: der wunderbaren

0:18 Benjamin Wüstenhagen: Vibe Präsidentin

0:20 Benjamin Wüstenhagen: Magdalena Beilmann und mir Benjamin Wüstenhagen heute in Folge 71.

0:25 Benjamin Wüstenhagen: Heute geht's Hugging Face,

0:27 Benjamin Wüstenhagen: den Hack, der da stattgefunden hat und all die Konsequenzen,

0:30 Benjamin Wüstenhagen: die sich daraus ableiten.

0:32 Benjamin Wüstenhagen: Wir hören schon, der Börsengang von OpenAI

0:35 Benjamin Wüstenhagen: wird verschoben wegen Sicherheitsbedenken.

0:38 Benjamin Wüstenhagen: Es gibt die ersten Diskussionen, ob man nicht auf die Bremse treten muss

0:42 Benjamin Wüstenhagen: koordiniert zwischen den großen AI Labs und den USA und China,

0:47 Benjamin Wüstenhagen: weil das scheinbar ein Warnschuss war, Maggie.

0:51 Magdalena Beilmann: Ja, wir haben ja in der letzten Folge drüber gesprochen, dass KI

0:54 Magdalena Beilmann: keinen eigenen Willen hat.

0:57 Magdalena Beilmann: Ganz offensichtlich

0:58 Magdalena Beilmann: hat sie aber zumindest eine reale Wirkung mit dem, was sie tut.

1:04 Magdalena Beilmann: Worum geht's denn eigentlich? Was ist Hugging Face?

1:08 Benjamin Wüstenhagen: Ja, hab's wahrscheinlich schon gehört. Hugging Face, die wurden auch übrigens grade von NVIDIA übernommen für, ich glaub, 12.000.000.000.

1:15 Benjamin Wüstenhagen: Also

1:16 Benjamin Wüstenhagen: es gab sone ganz witzige Zahl, die hatte irgendwie dann irgendwie 1 1 1 spezifische Bedeutung. Ich hab's grad vergessen, aber könnt ihr mal nachgucken, ist ganz witzig. Waren 12 Komma Punkt 1, was weiß ich. So auf die Kommastelle genau für eine spezifische Bedeutung dieser Zahl. Nemel the let's Hugging Face,

1:32 Benjamin Wüstenhagen: der ist ein Ort, an dem

1:34 Benjamin Wüstenhagen: allerlei KI Modelle gehostet werden können.

1:38 Benjamin Wüstenhagen: Und es war sone ist einfach eine Ressource für Menschen als auch für Agenten,

1:42 Benjamin Wüstenhagen: auf verschiedenste KI Modelle

1:44 Benjamin Wüstenhagen: und ja, Tests und so weiter zuzugreifen.

1:48 Magdalena Beilmann: Okay,

1:50 Magdalena Beilmann: dann

1:51 Magdalena Beilmann: kannst Du uns ein bisschen besser erklären, wie es überhaupt dazu gekommen ist, dass hier

1:58 Magdalena Beilmann: ein Modell Zugriff bekommen hat. Ja, also

2:02 Benjamin Wüstenhagen: vielleicht noch mal kurz, Hugging Face ist sone Art, wenn ihr GitHub kennt, ne, ist GitHub für KI,

2:08 Benjamin Wüstenhagen: sprich, ich kann da meine Modelle hosten

2:10 Benjamin Wüstenhagen: und das ist die zentrale Infrastruktur.

2:14 Benjamin Wüstenhagen: Und

2:17 Benjamin Wüstenhagen: OpenAI,

2:18 Benjamin Wüstenhagen: ja, der große Anbieter hinter beispielsweise ChatGPT,

2:21 Benjamin Wüstenhagen: ist die ganze Zeit am Testen, am Weiterentwickeln wie alle großen KI Labore und sie haben

2:27 Benjamin Wüstenhagen: unter anderem, wenn man wenn man Modelle entwickelt, gibt's ein sogenanntes Exploit Gym. Ja, was ist das, das jetzt irgendwie...

2:34 Benjamin Wüstenhagen: Da werden Modelle darauf trainiert oder sie werden beim sie werden beobachtet, wie sie

2:40 Benjamin Wüstenhagen: spezifische

2:41 Benjamin Wüstenhagen: Rätsel lösen

2:44 Benjamin Wüstenhagen: und wie schnell sie das machen und mit welcher Persistenz.

2:47 Benjamin Wüstenhagen: Und in dem Fall war es so, dass man dass einige der Rätsel nicht lösbar waren.

2:53 Benjamin Wüstenhagen: Mhm. Das Modell, was dort getestet aber wo getestet werden sollte oder wurde,

2:59 Benjamin Wüstenhagen: hatte aber einen Spezifikum, nämlich es hatte eine wahnsinnige Persistenz,

3:03 Benjamin Wüstenhagen: dieses Problem zu lösen.

3:06 Benjamin Wüstenhagen: Ja, also hier ist dein Problem, löse es. Und jetzt gab's einen entscheidenden Fehler in der in der ganzen Kette.

3:11 Benjamin Wüstenhagen: Einige dieser Probleme in diesem Exploit Schirm waren unlösbar.

3:16 Benjamin Wüstenhagen: Und das hat Shamba dann diesen Agenten dieser Agenten in den Wahnsinn getrieben.

3:21 Benjamin Wüstenhagen: Und wir kommen gleich noch zu allen Details. Das Spannende war, dass halt mehrere 1000

3:26 Benjamin Wüstenhagen: dieser Agenten dieses Modells darauf die Lösung dieses Problems angesetzt wurden.

3:32 Benjamin Wüstenhagen: Eigentlich alle einzeln nicht koordiniert und die fingen dann an, zu koordinieren.

3:36 Benjamin Wüstenhagen: Und sie haben dann

3:38 Benjamin Wüstenhagen: eine Schwachstelle gefunden

3:40 Benjamin Wüstenhagen: und haben dann

3:43 Benjamin Wüstenhagen: kommuniziert

3:45 Benjamin Wüstenhagen: und haben dann festgestellt, hey, wenn wir wenn wir Hugging Face hacken hacken,

3:49 Benjamin Wüstenhagen: dann können wir sozusagen dieses Problem lösen.

3:52 Benjamin Wüstenhagen: Und dazu kommt, damit uns keiner erwischt oder damit wir nicht erwischt werden, müssen wir dann so tun, als hätten wir es nicht gemacht.

3:58 Benjamin Wüstenhagen: Clever. Ja.

3:59 Benjamin Wüstenhagen: Das war das Ganze kurz vor, das können wir jetzt noch mal in aller Breite durchgehen. Sprich, Du sagst, das war eigentlich ein Trainingsmodell

4:07 Magdalena Beilmann: oder ein Test, kann ich mir das vorstellen wie

4:10 Magdalena Beilmann: ein Praktikanten,

4:11 Magdalena Beilmann: der

4:12 Magdalena Beilmann: zu viele Rechte hatte?

4:17 Benjamin Wüstenhagen: Jein, also beziehungsweise Du hast dem Praktikanten

4:20 Benjamin Wüstenhagen: nicht seine Kreditkarte gegeben,

4:22 Benjamin Wüstenhagen: aber er aber durfte er durfte sich Brötchen zu holen irgendwie in der Kasse bedienen

4:27 Benjamin Wüstenhagen: und hat dann irgendwie, keine Ahnung, das Geld gut getrauscht und konnte dann doch was anderes kaufen. Ah ja. Also ne, also

4:34 Benjamin Wüstenhagen: OpenAI hatte den Modellen explizit keinen Internetzugriff gegeben,

4:38 Benjamin Wüstenhagen: damit so was nicht passiert oder diesem Modell. Aber es gab eine Möglichkeit, über eine verschiedene

4:43 Benjamin Wüstenhagen: Libraries sich runterzuladen, die Probleme zu lösen. Da gab's also extra so eine Infrastruktur von OpenAI

4:49 Benjamin Wüstenhagen: und da hat ein Agent erst mal ja ein Exploit gefunden, hat das genutzt,

4:53 Benjamin Wüstenhagen: dann im Prinzip jede andere Webseite im Internet erreichen zu können.

4:58 Magdalena Beilmann: Okay,

4:58 Magdalena Beilmann: wenn

4:59 Magdalena Beilmann: ich Hugging Face persönlich nicht benutze,

5:04 Magdalena Beilmann: warum sollte mich als einzelne Person der Angriff überhaupt interessieren? Warum ist das überhaupt so aufgebauscht worden?

5:11 Benjamin Wüstenhagen: Aus verschiedenen Gründen. Also ich glaub, der erste Grund war,

5:15 Benjamin Wüstenhagen: dass

5:16 Benjamin Wüstenhagen: dass man nicht damit gerechnet hat, dass diese einzelnen Agenten auf einmal auf die Idee kommen, miteinander zu koordinieren.

5:23 Benjamin Wüstenhagen: 2. Interessante Sache war, dass sie angefangen haben, auch untereinander...

5:27 Benjamin Wüstenhagen: Sie hatten jetzt keine keinen Ort, wo man sagen könnte, hier gibt's ein Kommunikationsort,

5:32 Benjamin Wüstenhagen: sondern sie haben eine Möglichkeit gefunden,

5:34 Benjamin Wüstenhagen: sich Nachrichten zu hinterlassen.

5:36 Benjamin Wüstenhagen: Sie haben sich insofern koordiniert, als dass

5:39 Benjamin Wüstenhagen: jene, die ich wo sie schon wussten, okay, ich werd dieses Problem Problem nicht mehr lösen.

5:44 Benjamin Wüstenhagen: Ich kann aber anderen dabei helfen, dass sie es lösen. Das ist ein

5:48 Benjamin Wüstenhagen: fast schon Altruismus, kann man sagen, für das gemeinsame Ziel.

5:53 Benjamin Wüstenhagen: Und dann überhaupt

5:55 Benjamin Wüstenhagen: diese Idee, dass sie sagen, hey, Hugging Face, da könnte der Schlüssel zur zur Antwort einiger dieser

6:00 Benjamin Wüstenhagen: Probleme liegen, die wir lösen müssen. Mhm. Und damit wir da rankommen, müssen wir's halt hacken.

6:06 Benjamin Wüstenhagen: Was das heißt, ist, wenn Du also' Agenten

6:09 Benjamin Wüstenhagen: mit den richtigen Rechten ein Ziel gibst, eine spezifische Infrastruktur zu hacken,

6:14 Benjamin Wüstenhagen: dann ist das natürlich jetzt,

6:16 Benjamin Wüstenhagen: wenn irgendwie 1200 Agenten oder bis zu, ja, bis 1200 Agenten in dem Fall oder es könnten natürlich auch mehr sein, wenn Du die entsprechende Rechtskapazität hast, auf einmal losziehen und da koordiniert etwas beginnen, dann kannst Du innerhalb kürzester Zeit alle möglichen Vulnerabilitäten finden.

6:31 Benjamin Wüstenhagen: Nicht nur für eine Seite wie Hugging Face, sondern auch für

6:34 Benjamin Wüstenhagen: You name it, ja, die Berliner Senatsverwaltung

6:37 Benjamin Wüstenhagen: zum Beispiel,

6:38 Benjamin Wüstenhagen: die ja auch kürzlich gehackt wurde.

6:40 Magdalena Beilmann: Okay, sprich, der Fall ist so groß geworden, weil er einfach ein reales Risiko aufgezeigt hat,

6:46 Benjamin Wüstenhagen: was übertragbar ist. Ja, also das zum einen. Zum Zweiten auch, weil jetzt niemand gesagt hat bei OpenAI, hey, geht mal zu Hugging Face und hackt die, sondern es war sozusagen son,

6:55 Benjamin Wüstenhagen: ja, sie haben die der Agent hatte ein Auftrag und

6:59 Benjamin Wüstenhagen: den zu erfüllen,

7:01 Benjamin Wüstenhagen: dachte er sich oder dachten die sich, lass mal Hugging Face hacken, um an diese Lösung zu kommen. Das war son Prinzip ein Kollateralschaden.

7:08 Magdalena Beilmann: Was war denn der ursprüngliche Auftrag? Weiß man das?

7:12 Benjamin Wüstenhagen: Genau, diese... Also es gab diese Evaluation in diesem Exploit Gym und da sind die verschiedensten komplexen Probleme,

7:17 Benjamin Wüstenhagen: die gelöst werden,

7:19 Benjamin Wüstenhagen: teilweise gelöst werden können, teilweise nicht gelöst werden können. Der Hack oder nicht der Hack, sondern das Problem hierbei war, dass einige nicht lösbar waren. Und das hat dazu geführt, dass

7:27 Benjamin Wüstenhagen: das das wussten die Agenten natürlich nicht. Aber wir haben halt probiert, das irgendwie zu lösen, weil ja,

7:35 Benjamin Wüstenhagen: sie inzentiviert waren, das zu lösen.

7:37 Benjamin Wüstenhagen: Es gibt ja diese dieses dieses, ich weiß gar nicht, von wem das kommt, aber da durch eine Dystopie.

7:42 Benjamin Wüstenhagen: Man sagt, hey, es gibt eine AI, deren Ziel ist es einfach, Paperclips zu produzieren.

7:47 Benjamin Wüstenhagen: Und weil sie nur dieses eine Ziel hat, Paperclips zu produzieren, wird alles andere platt gemacht. Ja. Und am Ende besteht der Planet nur noch aus aus riesigen Maschinen, die nur Paperclips produzieren, also Büroklammer. Ja.

7:59 Benjamin Wüstenhagen: Ja, ich mal recherchier noch mal, wo das herkommt und ich wollen uns packen.

8:02 Magdalena Beilmann: Okay, also eigentlich ganz spannend und so aus Projektmanagementsicht

8:07 Magdalena Beilmann: ja, was Gutes, was dann passiert ist,

8:10 Magdalena Beilmann: weil

8:11 Magdalena Beilmann: die Agenten haben ein Auftrag bekommen und sie haben offensichtlich

8:16 Magdalena Beilmann: irgendeine Abkürzung oder ein Umweg gefunden, den Auftrag zu erfüllen.

8:20 Benjamin Wüstenhagen: Ja, wenn ein Praktikant sagst, hier bring mal dieses, verschick mal dieses Paket an die Adresse und die Adresse gibt's nicht und irgendwas nicht entführt dafür irgendwie Leute und halt hält

8:29 Benjamin Wüstenhagen: jemand die Knarre an den Kopf und sagt, ich find diese Adresse so ähnlich, ja? Oh.

8:34 Magdalena Beilmann: Das ging jetzt weniger gut so, wie Du's ausdrückst. Blöder Nebeneffekt,

8:36 Benjamin Wüstenhagen: aber er hat's probiert.

8:39 Magdalena Beilmann: Und ist zum Ziel gekommen, das ist ja das Wichtige. Okay,

8:45 Magdalena Beilmann: letztendlich sprechen wir ja bei diesem Trainingsmodell

8:49 Magdalena Beilmann: von einem Sprachmodell,

8:51 Magdalena Beilmann: was

8:52 Magdalena Beilmann: Text produziert.

8:54 Magdalena Beilmann: Wie kann das sein,

8:56 Magdalena Beilmann: dass das in ein Fremdsystem eindringt?

8:58 Benjamin Wüstenhagen: Wie ist das technisch möglich? Ja, mittlerweile können ja nicht können ja die Modelle nicht nur Text produzieren, sondern wenn Du Text produzieren kannst, kannst Du natürlich auch Code ausführen,

9:07 Benjamin Wüstenhagen: kannst Programme bauen. Also letztlich ist ja auch jedes Programm

9:12 Benjamin Wüstenhagen: ist eine Produktion von Text. Wenn ihr wenn ihr uns auf YouTube seht, dann ist das, was YouTube ist, am Ende auch nur viele Millionen Zeilen Text.

9:21 Benjamin Wüstenhagen: Und jedes Bild kann ich auch als Text darstellen. Das heißt, dieses nur Text produzieren ist jetzt nicht, ich kann nur irgendwelche Gedichte schreiben, sondern ich kann auch ausführbare Programme machen.

9:30 Benjamin Wüstenhagen: Und grad wenn ich ein Agentialsystem habe, kann es eben auch selbstständig darauf darauf

9:36 Benjamin Wüstenhagen: aufbauend weitere Programme machen und die nächste Aktion machen. Das heißt, dieses ich kann nur Text produzieren wirkt erst mal harmlos, aber Du kannst halt mit Text extrem viel beschreiben und mittlerweile auch umsetzen.

9:48 Magdalena Beilmann: Okay, jetzt hast Du grad schon agentisch gesagt.

9:50 Magdalena Beilmann: Denkst Du, das hätte ohne

9:52 Magdalena Beilmann: eine Agentenfunktion

9:54 Magdalena Beilmann: auch funktionieren können?

9:57 Benjamin Wüstenhagen: Nee. Okay.

9:59 Benjamin Wüstenhagen: Na, also dies dies der große Unterschied ist eben, dass die Agenten das Ziel bekommen

10:05 Benjamin Wüstenhagen: und dieses Ziel dann verfolgen

10:07 Benjamin Wüstenhagen: und

10:08 Benjamin Wüstenhagen: auf dem Weg des Erfolges des Ziels alles Mögliche machen, was sie halt können.

10:13 Benjamin Wüstenhagen: Und

10:15 Benjamin Wüstenhagen: durch Textproduktion und durch das Schreiben von Skripten, durch das Schreiben von Software kannst Du natürlich auch in der realen Welt viel bewegen.

10:22 Magdalena Beilmann: Okay. Bedeutet aber auch dieses Agenten ich

10:26 Benjamin Wüstenhagen: ich weiß nicht, ob man weiß, wie viele Agenten da letztendlich dran beteiligt waren. Also es gab eine forensische Untersuchung danach. Es gab sowohl welche von OpenAI als auch von 2 unabhängigen Labs. Mhm. Und das, was ich da gelesen hab, waren 1000 so die 1200 Agenten. Oh, okay.

10:42 Benjamin Wüstenhagen: Genau und die haben sich gegenseitig 70.000 Nachrichten geschickt.

10:46 Magdalena Beilmann: Gut. Ja. Dann

10:48 Magdalena Beilmann: hatten 1200 Agenten scheinbar auch einen Käfig

10:53 Magdalena Beilmann: oder Guardrails,

10:54 Magdalena Beilmann: die ganz offensichtlich nicht eng genug gestellt waren?

10:57 Benjamin Wüstenhagen: Ja, also das 1., was halt also dieses, was ich eingangs sagte,

11:02 Benjamin Wüstenhagen: die waren erst mal in' Käfig, der keine Internetverbindung hatte.

11:05 Benjamin Wüstenhagen: Sie konnten aber sozusagen hatten so ein kleines Schlupfloch und konnten aus' anderen Käfig sich irgendwie Sachen geben lassen. Und der andere Käfig hatte dann die Verbindung und das haben sie nutzen können und konnten sich dann sozusagen daraus

11:16 Benjamin Wüstenhagen: durch den zweiten Käfig die Sachen ziehen.

11:19 Magdalena Beilmann: Spannend. Also man man muss ihnen ja lassen, dass es eine clevere Aktion war.

11:24 Magdalena Beilmann: Wie ist das Ganze aufgeflogen? Hat's Open AI gemerkt oder Hugging Face?

11:29 Benjamin Wüstenhagen: Na ja, Hugging Face hat hat's zunächst gemerkt, hat gesagt, irgendwas ist hier komisch.

11:34 Benjamin Wüstenhagen: Das Witzige war, sie haben dann probiert,

11:36 Benjamin Wüstenhagen: die amerikanischen Modelle zu nutzen,

11:39 Benjamin Wüstenhagen: da zu gucken, was da los ist. Und aber die haben alle nach der Reihe nachgesagt, nee, nee, also das geht nicht. Ihr könnt hier nicht gegenhacken.

11:47 Benjamin Wüstenhagen: Das wird blockiert. Und sie mussten dann, wie wir auch eingangs gesagt haben, aufm chinesischen chinesischen,

11:52 Benjamin Wüstenhagen: boah, ich kann noch nicht sprechen,

11:54 Benjamin Wüstenhagen: auf ein chinesisches Modell, auf ein Open Bate Modell umstellen,

11:59 Benjamin Wüstenhagen: überhaupt sich

12:01 Benjamin Wüstenhagen: ja,

12:02 Benjamin Wüstenhagen: dieses Angriffs

12:03 Benjamin Wüstenhagen: erwehren zu können.

12:05 Benjamin Wüstenhagen: Und die haben dann OpenAI angesprochen und haben gesagt, hey, wir haben hier son paar

12:09 Benjamin Wüstenhagen: Traces, das sieht so aus, als wenn ihr dahintersteckt. Und die konnten sie erst gar nicht glauben und haben dann selber,

12:15 Benjamin Wüstenhagen: wie schon gesagt, 2 forensische Teams auf ihre Logs gelassen. Die konnten also nicht mit diesem neuen Modell interagieren,

12:21 Benjamin Wüstenhagen: sondern konnten sich die Logs angucken und daraus sind dann

12:25 Benjamin Wüstenhagen: fair Berichte entstanden.

12:27 Benjamin Wüstenhagen: Und es gibt jetzt auch 2 unabhängige Untersuchungen, die in den USA laufen, eine von den Republikanern angestoßen, eine von den Demokraten, von jeweils verschiedenen Senatoren,

12:36 Benjamin Wüstenhagen: die das Ganze noch mal näher beleuchten sollen.

12:39 Magdalena Beilmann: Ist bekannt,

12:40 Magdalena Beilmann: was diese ersten Warnsignale

12:42 Magdalena Beilmann: waren? Also würd mich interessieren,

12:44 Magdalena Beilmann: wie so eine Firma darauf kommt, dass hier irgendwas komisch läuft.

12:49 Benjamin Wüstenhagen: Da müssen wir jetzt also... Also

12:51 Benjamin Wüstenhagen: OpenAI

12:53 Benjamin Wüstenhagen: OpenAI hat, das haben Sie später zugegeben, schon vorher

12:57 Benjamin Wüstenhagen: Anzeichen gesehen, dass es da unerlaubte Kommunikation und Internetzugriff gab von Agenten in dem in diesem neuen Modell.

13:04 Benjamin Wüstenhagen: Und sie haben auch probiert, sichtbare Schwachstellen

13:07 Benjamin Wüstenhagen: zu schließen und so Zugangsdaten ausgetauscht von diesem

13:11 Benjamin Wüstenhagen: Softwaremodur

13:12 Benjamin Wüstenhagen: aus den alten Artifactory,

13:14 Benjamin Wüstenhagen: wo eben Agenten von dort von dort aus sich bestimmte Packages runterladen konnten.

13:20 Benjamin Wüstenhagen: Aber sie haben dieses größere Muster dahinter nicht erkannt und die haben die Tests weiterlaufen lassen.

13:25 Benjamin Wüstenhagen: Und Hugging Face hat da jetzt festgestellt, nee, hier gibt's irgendwie komische

13:28 Benjamin Wüstenhagen: Zugriffe und

13:30 Benjamin Wüstenhagen: seltsame Muster und hat auch Zugriffe gekappt.

13:34 Benjamin Wüstenhagen: Aber was da eigentlich los war, ist ja später rausgekommen.

13:38 Magdalena Beilmann: Man sollte ja eigentlich meinen,

13:40 Magdalena Beilmann: dass

13:42 Magdalena Beilmann: 1200

13:43 Magdalena Beilmann: Agenten, die irgendwie versuchen, auf Systeme

13:46 Magdalena Beilmann: zuzugreifen,

13:47 Magdalena Beilmann: automatisch auffällig sind, oder? Jetzt frage ich mal ein bisschen zynisch,

13:51 Magdalena Beilmann: denkst Du, das wär bei uns aufgefallen?

13:53 Benjamin Wüstenhagen: Na gut, das ist eine sehr gute Frage. Ja,

13:56 Benjamin Wüstenhagen: also ich vermute ja immer, dass auf Hugging Face den ganzen Tag irgendwelche

14:00 Benjamin Wüstenhagen: Agenten Zugriff haben.

14:01 Benjamin Wüstenhagen: Ja, ist ja so ein typisches Ding, also wie bei wie bei GitHub. Also die Nutzung von GitHub ist auch durch die Decke gegangen im Vergleich letztes Jahr zu diesem Jahr, weil einfach jetzt wahnsinnig viele Leute mit dem Co-Print in Codex und was weiß ich überall

14:14 Benjamin Wüstenhagen: auf GitHub zugreifen und Du viel, mehr Zugriffe hast und viel, viel mehr Konten und viel, viel mehr Aktionen als jemals zuvor.

14:21 Benjamin Wüstenhagen: Ähnlich wird das bei Hugging Face sein. Ich glaub, wenn Du jetzt so eine Consumer Seite hast,

14:26 Benjamin Wüstenhagen: die jetzt relativ wenige Zugriffe hat

14:29 Benjamin Wüstenhagen: und da auf einmal wahnsinnig viele Agenten raufspringen,

14:32 Benjamin Wüstenhagen: hoffe ich mal, dass bei uns die die Infrastruktur sich melden würde beziehungsweise Cloudflair oder Sentry oder wer auch immer sagen würde, hey, irgendwas ist hier komisch.

14:42 Benjamin Wüstenhagen: Aber würde dir das jetzt oder mir das jetzt jeden Tag auffallen, wenn wir keine Warnung kriegen würden, wie denn?

14:47 Magdalena Beilmann: Ich denk, ich setz jetzt mal eine neue Wache auf dafür. Ja, ich ich also ich vermute auch,

14:54 Benjamin Wüstenhagen: davon ausgehend, dass Open Weight Modelle oder Open Source Modelle nur wenige Monate hinter diese Frontiermodels sind,

15:03 Benjamin Wüstenhagen: haben wir entweder heute schon wahnsinnig viele Angriffe auf Infrastruktur oder werden das in den nächsten Monaten haben. Ja.

15:09 Benjamin Wüstenhagen: Also ich kann mir sehr, sehr gut vorstellen, dass es wahnsinnig viele Schwachstellen geben wird und

15:14 Benjamin Wüstenhagen: große, große und schlimme Vorfälle und

15:19 Benjamin Wüstenhagen: das noch krasser werden wird als je zuvor. Und ich hat's ja vorhin kurz gesagt, die

15:24 Benjamin Wüstenhagen: Stadt Berlin, die hat sich da irgendwie besonders hervorgetan in im Dummsein,

15:30 Benjamin Wüstenhagen: wo noch irgendwelche Rechner mit Windows 95 laufen und was weiß ich.

15:34 Benjamin Wüstenhagen: Da sind grade SW Speed richtig,

15:38 Benjamin Wüstenhagen: also sind 11.000

15:39 Benjamin Wüstenhagen: von Datensätzen im Dark Web.

15:42 Benjamin Wüstenhagen: Also die Stadt wurde angegriffen, es wurden mehrere Terabyte von Daten abgezogen.

15:46 Benjamin Wüstenhagen: Irgendwelche, was passiert im Spannungsfall,

15:49 Benjamin Wüstenhagen: ja? Wo sind welche Bunker? Wer hat welche Kontonummer?

15:52 Benjamin Wüstenhagen: Krankenakten,

15:53 Benjamin Wüstenhagen: alles Mögliche. Weil Sie das Geld nicht zahlen wollten, ne? Ja, waren irgendwie 10 Bitcoin oder was?

15:59 Benjamin Wüstenhagen: Ja, also das Geld nicht zahlen wollen, ist das eine. Du kannst das Geld zahlen, die Daten, die Sachen kommen trotzdem raus, aber es ist dieser

16:05 Benjamin Wüstenhagen: Mismatch zwischen, was ist eigentlich Datenschutz und was ist Datensicherheit?

16:10 Benjamin Wüstenhagen: Und ich glaub, wir müssen alle zusehen, dass unsere Systeme

16:13 Benjamin Wüstenhagen: in Datensicherheit deutlich besser werden.

16:17 Benjamin Wüstenhagen: Aber dennoch zeigt sich ja, dass auch diese neuen Modelle, also als Faible rauskam, hat man ja auch irgendwelche 20 Jahre alten Sicherheitslücken gefunden, Ja. Die vorher keiner gefunden hat. Also ich glaub, da kommt eine riesige Welle auf uns zu.

16:29 Benjamin Wüstenhagen: Nur da ist halt der Unterschied, dass da Aktoren

16:32 Benjamin Wüstenhagen: gezielt eine Infrastruktur angreifen.

16:34 Benjamin Wüstenhagen: Und hier war halt das Krasse, dass dieser Angriff auf die Infrastruktur ein Nebeneffekt war dessen, was die Agenten sonst gemacht haben. Und gar nicht geplant. Und gar nicht geplant. Hat denn OpenAI nach dem Vorfall irgendwas verändert?

16:45 Benjamin Wüstenhagen: Ja, ja, klar. Also die haben natürlich probiert,

16:49 Benjamin Wüstenhagen: ihre eigene Sandboxen zu verbessern. Die haben natürlich probiert oder sind da dran,

16:54 Benjamin Wüstenhagen: ganz genau anzugucken, was passiert da, den Internetzugriff zu beschneiden.

16:58 Benjamin Wüstenhagen: All das, das machen jetzt wahrscheinlich alle großen Labs.

17:00 Benjamin Wüstenhagen: Nur das Krasse ist halt, dass jetzt jeder weiß, hey, mit einem potenten Modell,

17:05 Benjamin Wüstenhagen: auch wenn sie vielleicht heute noch nicht draußen sind, aber dann in wenigen Monaten,

17:09 Benjamin Wüstenhagen: kann ich auch sone Seite wie Hugging Face angreifen.

17:13 Benjamin Wüstenhagen: Und wenn ich so was wie Hugging Face angreifen kann, kann ich halt auch irgendwie,

17:16 Benjamin Wüstenhagen: weiß ich nicht, die Stadtwerke

17:19 Benjamin Wüstenhagen: hinter Tuppwingen angreifen und wahrscheinlich innerhalb von Minuten hacken.

17:23 Magdalena Beilmann: Wenn ich's richtig verstanden hab, hat OpenAI

17:26 Magdalena Beilmann: selbst den Fall öffentlich gemacht.

17:29 Magdalena Beilmann: Ja. Warum machen Sie so was Peinliches öffentlich?

17:31 Magdalena Beilmann: Vielleicht könnten Sie ja auch einfach untern Teppich kehren.

17:36 Benjamin Wüstenhagen: Na ja, ich glaub, mit dem mit so mit dem Hugging Face Thema hätten Sie's, glaub ich, zu richtig untern Teppich kehren können, weil da ist es halt aufgefallen.

17:44 Benjamin Wüstenhagen: Und

17:45 Benjamin Wüstenhagen: ich vermute, wenn so was aufgefallen wäre und sie es nicht selber öffentlich gemacht hätten,

17:51 Benjamin Wüstenhagen: dann wär würde

17:53 Benjamin Wüstenhagen: würde a entweder noch mehr Vertrauen verspielt werden als das, was schon verspielt wurde oder irgendwer intern hätte hätte das irgendwie geflaggt.

18:00 Benjamin Wüstenhagen: Ja. Also es war schon eine ganz gute Vorwärtsverteidigung,

18:03 Benjamin Wüstenhagen: die aber auch dringend nötig ist.

18:05 Benjamin Wüstenhagen: Ja, keine Ahnung, wenn jetzt irgendwie in' in' Kraftwerk

18:09 Benjamin Wüstenhagen: irgendwas falsch läuft, dann ist ja auch besser zu sagen, hey, wir hatten hier ein Vorfall,

18:14 Benjamin Wüstenhagen: als zu sagen, nur hier ist nix so tenerablemäßig und dann oh, die Geigerzähler sind ein bisschen ausgefallen. Ne, keine Ahnung, woran das liegt,

18:21 Benjamin Wüstenhagen: der Mond.

18:22 Benjamin Wüstenhagen: Ja,

18:23 Benjamin Wüstenhagen: also irgendwann kommt das halt schon raus.

18:25 Benjamin Wüstenhagen: Und jetzt kommen ja auch diese Diskussionen

18:28 Benjamin Wüstenhagen: zum Tragen, wo die wo die wo die Labs sagen, ja selber sagen die ganze Zeit, and topping macht das OpenAI auch. Wir müssen unsere wir müssen unsere Geschwindigkeit ein bisschen drosseln.

18:38 Benjamin Wüstenhagen: Wir müssen das unter Kontrolle kriegen, damit hier nicht irgendwie was Schlimmes passiert.

18:43 Magdalena Beilmann: Letztendlich ja auch eine gute Message, dass man zu' Fehler steht, ne?

18:48 Benjamin Wüstenhagen: Ja, kannst kannst Du sagen, ist eine gute Message. Andere sagen, es ist son bisschen Fear Mongering, also so abends zu schön. Die Nächsten sagen,

18:56 Benjamin Wüstenhagen: na ja, wenn Du OpenAI bist oder ein Anthropic und ein riesigen Börsengang vor dir hast und irgendwie allen sagst,

19:01 Benjamin Wüstenhagen: wie potent deine Systeme sind, heißt es ja im Subtext auch, was sie alles können. Und

19:06 Benjamin Wüstenhagen: das kann vielleicht auch deine Bewertung treiben,

19:09 Benjamin Wüstenhagen: weiß ich nicht.

19:11 Benjamin Wüstenhagen: Ich weiß, ich kann weiß jetzt nicht, ob irgendwie KI uns morgen alle tötet.

19:16 Benjamin Wüstenhagen: Aber dieses Cyber Thema ist schon ein großes. Und dazu kommt ja auch, dass vor' Woche ungefähr, ich hab den Namen grad nicht parat, aber auch ein ehemaliger

19:25 Benjamin Wüstenhagen: Researcher von OpenAI, der auch bei Anthropic war, selber die Alarmglocken geklingelt hat auf auf X und gesagt hat, hey Leute,

19:32 Benjamin Wüstenhagen: wenn wir nicht hier fundamental anders arbeiten, dann sehe ich die Gefahr,

19:36 Benjamin Wüstenhagen: dass die Menschheit ausgerottet wird zu 10 Prozent. Das wär ja auch bisschen chilling.

19:41 Magdalena Beilmann: Ja, wir wollen hier jetzt nicht noch mehr Angst

19:43 Magdalena Beilmann: schüren.

19:45 Benjamin Wüstenhagen: Nee, nee, das nicht. Ich find's aber, was ich halt schon auch bedenklich finde, ist

19:51 Benjamin Wüstenhagen: aus so einer europäischen Sicht, wir sind halt die absoluten Zaungäste.

19:56 Benjamin Wüstenhagen: Ne, also wir können uns überlegen, ja, schön, dass da jetzt Anthropic und OpenAI sich irgendwie miteinander sprechen und Grog vielleicht auch noch und dann die Chinesen auch, aber wir als Europäer sitzen halt da und denken uns,

20:07 Benjamin Wüstenhagen: seht mal zu, dass ihr das irgendwie geregelt kriegt,

20:10 Benjamin Wüstenhagen: aber wir haben hier nix beizutragen.

20:12 Magdalena Beilmann: Nutznießer.

20:14 Benjamin Wüstenhagen: Na ja,

20:16 Benjamin Wüstenhagen: im besten Falle. Im

20:18 Benjamin Wüstenhagen: schlechtesten Falle sind wir irgendwelchen Großmächten ausgeliefert, die halt das machen, was sie machen. Ja, noch können wir's nutzen. Irgendwann sind wir dann abhängig davon und dann kippt das Ganze. Ja, ich... Also weiß ich nicht, ich würd schon denken, dass wir auch heute schon abhängig sind. Ja, klar.

20:34 Benjamin Wüstenhagen: Oder Aber noch welches welches europäische Modell nutzt Du jeden Tag? Ich nutz kein europäisches

20:39 Magdalena Beilmann: Modell jeden Tag, aber

20:42 Magdalena Beilmann: noch

20:43 Magdalena Beilmann: sind die Strukturen so aufgebaut,

20:45 Magdalena Beilmann: dass ich davon

20:47 Magdalena Beilmann: ja profitiere von den US Modellen, von den chinesischen Modellen.

20:51 Magdalena Beilmann: Wenn irgendwann,

20:53 Magdalena Beilmann: weiß ich nicht, ich pro Token

20:55 Benjamin Wüstenhagen: bezahle, dann hab ich natürlich ein anderes Problem. Also Du sagst, Du profitierst heute, weil Du irgendwie

21:01 Benjamin Wüstenhagen: 200 Euro im Monat zahlst. Weil ich gute Abomodelle hab, ja. Okay, ja, das wird auch immer aufhören. Korrekt. Ja, aber Davor graut's mir. Das ist ja noch mal eine andere das ist ja noch mal eine andere Diskussion. Das ist ja die Diskussion, was welche

21:13 Benjamin Wüstenhagen: welche Nutzer kaufen die sich heute mit Venture Capital,

21:17 Benjamin Wüstenhagen: dann ein gewissen Dozent zu haben?

21:19 Benjamin Wüstenhagen: Ja, ja.

21:22 Magdalena Beilmann: Okay, kommen wir wieder zurück zum Hugging Face Fall. Ja.

21:25 Magdalena Beilmann: 1200 Agenten und irgendwas die 18.000

21:30 Magdalena Beilmann: Aktionen, die da passiert sind.

21:32 Magdalena Beilmann: Wie genau wird das rekonstruiert?

21:35 Magdalena Beilmann: Auch mit KI vielleicht?

21:38 Benjamin Wüstenhagen: Ja,

21:39 Benjamin Wüstenhagen: klar, auch. Ja, also die die beiden Labs, die da beteiligt waren, die mussten natürlich haben so viele Datenpunkte bekommen, dass sie da auch eine KI genutzt haben, das überhaupt auseinanderhalten zu können und sich anschauen zu können, nachvollziehen zu können. Also Du nutzt im Prinzip eine KI,

21:52 Benjamin Wüstenhagen: die andere KI zu überführen,

21:55 Benjamin Wüstenhagen: hofft man nur, dass die KIs nicht miteinander sprechen und sagen, lass mich nicht überführ mich bitte nicht.

22:01 Benjamin Wüstenhagen: Aber wie das jetzt technisch genau funktioniert, kann ich ehrlicherweise nicht sagen. Also tief bin ich da nicht eingestiegen. Okay,

22:07 Magdalena Beilmann: etwas ironisch.

22:11 Magdalena Beilmann: Erklär uns doch noch mal,

22:13 Magdalena Beilmann: was ist ein Open-Weights-Modell eigentlich?

22:17 Magdalena Beilmann: Was bedeutet das?

22:19 Benjamin Wüstenhagen: Open Weights heißt,

22:21 Benjamin Wüstenhagen: dass Du sehen kannst,

22:24 Benjamin Wüstenhagen: wie das Modell

22:25 Benjamin Wüstenhagen: welche

22:26 Benjamin Wüstenhagen: welche Inputs gewichtet,

22:29 Benjamin Wüstenhagen: ja, dann welchen Text auszugeben.

22:31 Benjamin Wüstenhagen: Also welche welche Input Tokens

22:34 Benjamin Wüstenhagen: produzieren welche Output Tokens abhängig von den verschiedenen Gewichten.

22:39 Magdalena Beilmann: Das heißt, was ist der Unterschied zu Open Source?

22:43 Benjamin Wüstenhagen: Na ja, bei Open Source ist Prinzip der ganze

22:46 Benjamin Wüstenhagen: alles offen, Du kannst es nachvollziehen.

22:48 Benjamin Wüstenhagen: Bei OpenAI sind die Gewichte offen.

22:52 Benjamin Wüstenhagen: Vergleichbar,

22:54 Benjamin Wüstenhagen: paar paar Unterschieden und und und die die klassischen Modelle, die wir halt jeden Tag nutzen von Open AI und Anthropic und so weiter,

23:02 Benjamin Wüstenhagen: die sind eben nicht Open Weight und die sind auch nicht Open Source, sondern da ist das

23:08 Magdalena Beilmann: die Secret Source, wie die das machen. Kann ich mit diesen Open Weights oder Open Source Modellen irgendwas machen, was ich

23:16 Magdalena Beilmann: mit nicht Open

23:18 Magdalena Beilmann: Weights oder Source Modellen

23:20 Benjamin Wüstenhagen: nicht machen kann. Na ja, jein. Kommt natürlich darauf an, was es vom Duell ist, wie es trainiert wurde, wie leistungsfähig es wie leistungsfähig das ist, was Du auch für eine Referenz hast, also wie leistungsfähig Du das das nutzen kannst.

23:31 Benjamin Wüstenhagen: Aber generell

23:33 Benjamin Wüstenhagen: kannst Du natürlich, wenn Du die Open, wenn Du alles siehst und auch die System Prompts hast und so weiter, kannst Du viele

23:39 Benjamin Wüstenhagen: Guardrails

23:40 Benjamin Wüstenhagen: und Sicherheitseinstellungen

23:42 Benjamin Wüstenhagen: ausstellen.

23:43 Benjamin Wüstenhagen: Und wenn dann dein Modell

23:45 Benjamin Wüstenhagen: ähnlich

23:46 Benjamin Wüstenhagen: ähnlich

23:47 Benjamin Wüstenhagen: stark oder oder oder leistungsfähig

23:49 Benjamin Wüstenhagen: ist wie ein geschlossenes,

23:51 Benjamin Wüstenhagen: dann kannst Du dann vielleicht Dinge tun, die heute der Anbieter untersagt.

23:55 Magdalena Beilmann: Sprich, könnte man sagen, dass die Modelle gefährlicher sind?

24:00 Benjamin Wüstenhagen: Ja, nicht per se.

24:02 Benjamin Wüstenhagen: Aber ich kann sie gefährlicher machen. Du kannst sie könntest sie gefährlicher machen, davon ausgehend, dass jetzt die anderen Modelle das da schon aktiv waren, gewürgt wird,

24:10 Benjamin Wüstenhagen: wird, dass sie nicht gefährlich sind. Was ja so ist, ja. Es gab ja dieses,

24:14 Benjamin Wüstenhagen: gibt's, haben jetzt beide, ja, dass sowohl

24:18 Benjamin Wüstenhagen: OpenAI

24:19 Benjamin Wüstenhagen: als auch Anthropic haben so haben so Programme,

24:23 Benjamin Wüstenhagen: wo sie die wirklich krassen Modelle erst in' kleinen Gruppe von Firmen vorstellen,

24:29 Benjamin Wüstenhagen: die sich das dann angucken, dann schauen, okay, wie können wir das Ganze so sicher machen, dass wir damit weiterarbeiten können? Und dann wird das ausgerollt,

24:36 Benjamin Wüstenhagen: ne. Solche solches Tiersystem hast Du natürlich bei Open Source nicht so stark. Okay, verstehe.

24:42 Magdalena Beilmann: Jetzt ist das ein riesiger Fall, der bekannt geworden ist von OpenAI.

24:48 Magdalena Beilmann: Gibt's irgendwelche

24:50 Magdalena Beilmann: ähnlichen Vorfälle

24:52 Magdalena Beilmann: von den Anthropic

24:54 Magdalena Beilmann: Meta,

24:55 Magdalena Beilmann: die auch bekannt sind?

24:57 Benjamin Wüstenhagen: Es Ja, gibt es gibt immer wieder Vorfälle. Es gibt, grade hat Anthropic vor ein paar Tagen hat son son Bericht rausgebracht, haben sich angeschaut, wofür wird eigentlich

25:06 Benjamin Wüstenhagen: wofür werden eigentlich die Modelle verwendet?

25:08 Benjamin Wüstenhagen: Und haben da beispielsweise gezeigt, dass sie nachweisen konnten, dass spezifische Hackergruppen, auch Staatsaktoren oder auch beispielsweise der Iran,

25:16 Benjamin Wüstenhagen: die haben probiert,

25:19 Benjamin Wüstenhagen: sich zu verteidigen, vorherzusagen,

25:22 Benjamin Wüstenhagen: wie wird angegriffen, auch Ziele zu suchen. Also

25:27 Benjamin Wüstenhagen: kannst dir vorstellen, für die Leute, die irgendwie normalerweise ihr ihr Lasagne Rezept bei ChatGPT eintippen, gibt's auch genauso viele, die sagen, gib mir mal ein Rezept für, weiß ich nicht, die nächste Säure oder was.

25:38 Benjamin Wüstenhagen: Also

25:39 Benjamin Wüstenhagen: und auch

25:41 Benjamin Wüstenhagen: Hacks werden natürlich heute schon mit KI Modellen gemacht.

25:45 Benjamin Wüstenhagen: Mhm. Aber der Fall,

25:47 Benjamin Wüstenhagen: dass Du son System hattest, wo eben kein Mensch beteiligt war, der gesagt hat, greif das an, sondern das ein Kollateralschaden

25:54 Benjamin Wüstenhagen: war,

25:55 Benjamin Wüstenhagen: der erst nicht aufgefallen ist, wo die Agenten koordiniert waren, wo sie

26:01 Benjamin Wüstenhagen: wo sie Nachrichten hinterlassen haben, wo sie auch so Rollen verteilt haben.

26:07 Benjamin Wüstenhagen: Das war ein Novum, aber ich vermute, es wird kein Novum bleiben.

26:10 Magdalena Beilmann: Das befürchte ich auch. Ja. Okay, sprich, man kann nicht von einem Einzelfall sprechen, aber es gibt jetzt keinen, der

26:17 Magdalena Beilmann: in dem Sinne vergleichbar ist.

26:20 Benjamin Wüstenhagen: Genau, es gibt jetzt nichts, wo wo Du sagen könntest, das das jetzt bei Grok oder bei Meta oder so genauso passiert. Na. Aber ich vermute schon, dass es ähnliche Fälle geben wird, die vielleicht noch gar nicht bekannt sind.

26:32 Magdalena Beilmann: Das kann gut sein. Ja.

26:35 Magdalena Beilmann: Jetzt kommen wir wieder zur Verantwortung. Wir sprechen ja sehr oft darüber, ist Technik, ist KI, ist es der Mensch?

26:42 Magdalena Beilmann: Wenn ein

26:44 Magdalena Beilmann: Modell von so einer Firma wie OpenAI

26:47 Magdalena Beilmann: in ein fremdes System eindringt,

26:49 Magdalena Beilmann: wer trägt die Verantwortung dafür?

26:53 Benjamin Wüstenhagen: Aus meiner Sicht nach wie vor die Menschen.

26:56 Benjamin Wüstenhagen: Ja, ich find auch, dass das irgendwie son...

26:59 Benjamin Wüstenhagen: Gut, ich hab da noch keine abschließende Meinung, aber

27:04 Benjamin Wüstenhagen: es dünkt mir son Stück weit, je je mehr Du es schaffst zu sagen, diese Agenten arbeiten eigenständig,

27:10 Benjamin Wüstenhagen: die haben, weiß ich nicht, eine Persönlichkeit,

27:12 Benjamin Wüstenhagen: die haben ein Ziel,

27:14 Benjamin Wüstenhagen: desto eher verschiebst Du sozusagen den schwarzen Peter auf die KI,

27:19 Benjamin Wüstenhagen: die Du nicht greifen kannst, weg von den Menschen, die ja sozusagen dafür zuständig sind,

27:23 Benjamin Wüstenhagen: das sicher zu machen. Und aus meiner Sicht hat hier

27:26 Benjamin Wüstenhagen: natürlich OpenAI die volle Verantwortung.

27:30 Benjamin Wüstenhagen: Und die Verantwortung geht natürlich über die jeweiligen Menschen, die dafür

27:34 Benjamin Wüstenhagen: geradestehen müssen. Und ich finde, dass das wir

27:37 Benjamin Wüstenhagen: sollten uns

27:39 Benjamin Wüstenhagen: davor verwahren zu sagen, okay, jetzt haben wir halt die KI und die ist irgendwie dafür verantwortlich, können wir nichts machen.

27:45 Magdalena Beilmann: Denkst Du,

27:47 Magdalena Beilmann: dass es die oberste Priorität ist, grade von USA

27:51 Magdalena Beilmann: und China vor allem,

27:52 Magdalena Beilmann: diese Sicherheitslücken zu schließen?

27:57 Benjamin Wüstenhagen: I don't know.

27:59 Benjamin Wüstenhagen: Also

28:00 Benjamin Wüstenhagen: das ist, glaub ich, ein bisschen, das ist diese

28:02 Benjamin Wüstenhagen: Komplexität

28:04 Benjamin Wüstenhagen: zu überschauen.

28:06 Benjamin Wüstenhagen: Ich glaub schon, dass es viele Menschen gibt, denen das ein großes Anliegen ist. Ich glaub auch, dass es

28:10 Benjamin Wüstenhagen: dass viele sehen, fuck, wir müssen hier was tun?

28:14 Benjamin Wüstenhagen: Ja, denn

28:15 Benjamin Wüstenhagen: wir haben wahnsinnig viel kritische Infrastruktur,

28:19 Benjamin Wüstenhagen: wo Software eine große Rolle spielt und wenn Du das hackst,

28:22 Benjamin Wüstenhagen: ja, Du kannst wahrscheinlich mit' guten Hack kannst Du irgendwie

28:24 Benjamin Wüstenhagen: zu Blackouts führen.

28:26 Benjamin Wüstenhagen: Und wenn Du irgendwie 3 Tage keinen Strom hast, dann

28:29 Benjamin Wüstenhagen: hängt da alles Mögliche dran, ja, Menschenleben,

28:33 Benjamin Wüstenhagen: so

28:34 Benjamin Wüstenhagen: im schlimmsten Fall. Ja, Bankdaten, was weiß ich, kannst Du alles Mögliche machen.

28:39 Benjamin Wüstenhagen: Gleichwohl

28:41 Benjamin Wüstenhagen: ist ein Großteil des Wirtschaftswachstums

28:43 Benjamin Wüstenhagen: der USA derzeit natürlich an diesen ganzen KI Boom gebunden.

28:47 Benjamin Wüstenhagen: Mhm. Ja, und auch die Bewertung an den Börsen,

28:51 Benjamin Wüstenhagen: die Bewertung von einzelnen Unternehmen,

28:53 Benjamin Wüstenhagen: die Zukunft, also ich sag mal, die Bewertung

28:56 Benjamin Wüstenhagen: auf eine Zukunftsaussicht.

28:59 Benjamin Wüstenhagen: Wenn Du jetzt sagen würdest beispielsweise,

29:00 Benjamin Wüstenhagen: okay, ab heute hören wir mal auf mit KI und und und drehen mal auf 20 22 zurück,

29:05 Benjamin Wüstenhagen: da hat, glaub ich, niemand dran Interesse.

29:08 Benjamin Wüstenhagen: Und insofern ist es vermutlich schon sone Art Tanz zwischen,

29:11 Benjamin Wüstenhagen: wie hart müssen wir da reingehen?

29:13 Benjamin Wüstenhagen: Welche welche Guardrails muss es geben?

29:16 Benjamin Wüstenhagen: Und wo wollen wir auch, dass es schnell weitergeht? Und ich glaub, da ist Europa wahrscheinlich auch so ein bisschen auf Verlorenem Posten. Wir haben probieren, Dinge sehr stark zu regulieren, aber haben eigentlich sind eigentlich nur Papiertiger in gewisser Weise.

29:28 Benjamin Wüstenhagen: Und die USA sehen sich in einem

29:31 Benjamin Wüstenhagen: starken oder in' Systemkampf gegen China.

29:35 Benjamin Wüstenhagen: Und die Chinesen haben sehr sehr starke Modelle, sind da auch hinterher, auch der Staat ist da hinterher, dass es weitergeht.

29:41 Benjamin Wüstenhagen: Es ist in' superschwierigen Gemengelage und ich weiß jetzt nicht, ob's die allerhöchste Priorität ist, die Sicherheitsrisiken einzuhegen oder ob sich andere Prioritäten gibt. Ich hab einfach das Gefühl, dass da son großer

29:53 Magdalena Beilmann: Kontrast ist.

29:55 Magdalena Beilmann: Einmal

29:56 Magdalena Beilmann: kommen gefühlt

29:57 Magdalena Beilmann: jeden Tag neue Modelle aufn Markt Ja. Und das ist natürlich auch im Fokus, neue Modelle zu veröffentlichen.

30:04 Magdalena Beilmann: Und auf der anderen Seite

30:06 Magdalena Beilmann: entsteht ja durch solche Vorfälle oder andere

30:10 Magdalena Beilmann: auch ein konkreter Schaden durch diese Modelle, durch Werkzeuge,

30:14 Magdalena Beilmann: die das gilt zu begrenzen.

30:17 Magdalena Beilmann: Und das ist, wie Du eben so schön gesagt hast, glaube ich, ein gar nicht so einfacher Tanz.

30:23 Benjamin Wüstenhagen: Ja. Ich hatte heut erst heut eine längere Diskussion mit' Freund von mir, also

30:27 Benjamin Wüstenhagen: ich bin der Meinung, dass wir wirklich tatsächlich als Europäer gerade reine Taungäste sind, ja. Son bisschen, ich stell dir mal so vor,

30:34 Benjamin Wüstenhagen: Atomwaffensperrvertrag

30:35 Benjamin Wüstenhagen: wird verhandelt in den Achtzigern zwischen Gorbatschow und Reagan.

30:40 Benjamin Wüstenhagen: Und irgendwie Deutschland steht so da und denkt sich, ja okay Jungs, einigt euch mal, wir haben keinen Bock auf Donaukrieg.

30:45 Benjamin Wüstenhagen: Weil im Zweifel landen die ist die norddeutsche Tiefebene irgendwie ein schönes Ziel, so.

30:53 Benjamin Wüstenhagen: Ne, und son bisschen ist da grade auch okay,

30:55 Benjamin Wüstenhagen: Chinesen, Amerikaner, seht mal zu, dass ihr die Dinger sicher macht,

30:58 Benjamin Wüstenhagen: denn unsere Systeme sind vulnerabel

31:01 Magdalena Beilmann: und wir haben nichts, mit dem wir uns wehren könnten. Also hast Du das Gefühl, eigentlich dürften wir gar nicht mitreden, weil wir nicht die richtigen Werkzeuge dafür haben, aber trotzdem reden wir drüber.

31:11 Benjamin Wüstenhagen: Na ja, stell dir vor, Du hast jetzt irgendwie,

31:14 Benjamin Wüstenhagen: Du willst die CO2 Emissionen begrenzen und machst ein irgendwie großes Vertragswerk und sagst, okay, wir begrenzen die jetzt.

31:20 Benjamin Wüstenhagen: Aber Du hast keine Möglichkeit, das zu messen.

31:22 Benjamin Wüstenhagen: Du hast keinen Satelliten, der dir sagt, nö, also hier ist grade genauso viel Emission wie vorher.

31:28 Benjamin Wüstenhagen: Kannst Du Wahnsinn. Ne, dann kannst Du irgendwie eine schöne Rede halten, aber es hilft dir nix. Klar. So ein bisschen ist das bei uns. Wir haben den EU AI Act, Juhu.

31:35 Benjamin Wüstenhagen: Und wir können sagen, ja, wir haben gewisse Regularien für unseren Markt in Europa und der ist ja wichtig.

31:41 Benjamin Wüstenhagen: Aber dann hast Du halt auch Player heute schon, gar nicht mal

31:44 Benjamin Wüstenhagen: völlig andere Dimensionen, aber Apple sagt beispielsweise, ja, also die Apple AI, die gibt's halt in Europa nicht.

31:51 Benjamin Wüstenhagen: So, nö, haben wir keinen Bock drauf.

31:53 Benjamin Wüstenhagen: Eure Regulierung geht uns ein bisschen aufn Sack.

31:55 Benjamin Wüstenhagen: Habt ihr halt keine AI in eurem Apple, gut. Scheiße, aber dennoch, ja.

32:00 Magdalena Beilmann: Ja,

32:01 Benjamin Wüstenhagen: und damit müssen wir leben, weil wir nicht viel entgegensetzen können. Ja, müssen wir damit leben oder können wir uns nicht mal zusammenreißen und was entgegensetzen? Also ich glaub schon, dass wir als Europäer a die Leute hätten, b das Kapital hätten, c auch das Knowledge hätten, da was zu tun.

32:16 Magdalena Beilmann: Das könnte noch mal eine ganze eigene Folge werden. Ja.

32:20 Magdalena Beilmann: Okay, jetzt haben wir sehr viel über diesen konkreten

32:24 Magdalena Beilmann: Sicherheitsvorfall

32:25 Magdalena Beilmann: gesprochen.

32:26 Magdalena Beilmann: Was wären deine konkreten Empfehlungen

32:29 Magdalena Beilmann: für Menschen, die mit Agenten arbeiten?

32:33 Benjamin Wüstenhagen: Ja, also

32:35 Benjamin Wüstenhagen: sich zu überlegen, ja, okay, wie viel wie viel Agency

32:38 Benjamin Wüstenhagen: hat der Agent?

32:39 Benjamin Wüstenhagen: Was darf der, was darf er nicht?

32:42 Benjamin Wüstenhagen: Wie hart sind diese Regeln durchgesetzt?

32:45 Benjamin Wüstenhagen: Welche Zugänge hat der? Ich mein, wir haben das ja selber schon in anderen Folgen diskutiert. Wir hatten selber so kleine kleine Fälle, wo irgendwie Agenten an unsere Kunden was geschrieben haben.

32:55 Benjamin Wüstenhagen: Aus meiner Sicht klein.

32:56 Benjamin Wüstenhagen: Damit verglichen, ja. Ja, damit verglichen, ja.

33:00 Benjamin Wüstenhagen: Was wird auch protokolliert? Was schau ich mir eigentlich an? Ja, was macht der Agent so den ganzen Tag? Also bei uns ist jetzt so, wenn wir Agenten haben, dann bei den meisten

33:07 Benjamin Wüstenhagen: sehen wir noch, was schicken die raus, was machen die und haben da irgendwie eine gewisse Transparenz und können dann auch noch eingreifen.

33:14 Benjamin Wüstenhagen: Wenn ich jetzt irgendwie nur einen Agenten habe, der irgendwas tut und gar nicht mehr raufschaue,

33:17 Benjamin Wüstenhagen: dann geht das verloren. Ja, auch

33:20 Benjamin Wüstenhagen: was hab ich für Dinge, die ich rückgängig machen kann?

33:24 Benjamin Wüstenhagen: Ja, wenn meine Daten ohne also unwiederbringlich gelöscht sind, ich keine Back ups hab, blöd.

33:29 Benjamin Wüstenhagen: Wenn ich einmal eine falsche E-Mail rausschicke, ist vielleicht auch okay, ja.

33:32 Benjamin Wüstenhagen: Ne, also

33:34 Benjamin Wüstenhagen: Fähigkeit, Instanzen,

33:35 Benjamin Wüstenhagen: Laufzeit,

33:36 Benjamin Wüstenhagen: Werkzeuge, Berechtigung,

33:38 Benjamin Wüstenhagen: erreichbare Systeme, all das kommt in sone in sone Risikobetrachtung

33:41 Benjamin Wüstenhagen: rein.

33:42 Benjamin Wüstenhagen: Das ist das eine, was Agenten angeht und generell

33:45 Benjamin Wüstenhagen: müssen wir uns, glaub ich, jetzt schon noch mal klarer machen,

33:48 Benjamin Wüstenhagen: wie wir unsere Systeme schützen,

33:50 Benjamin Wüstenhagen: ja. Und dass es eben passieren kann, dass Dinge gehackt werden, ohne dass da jemand

33:55 Benjamin Wüstenhagen: explizites hacken will.

33:58 Magdalena Beilmann: Würdest Du sagen, der Fall hat irgendwas

34:01 Magdalena Beilmann: geändert an deiner Einschätzung oder deiner Meinung gegenüber

34:05 Magdalena Beilmann: KI oder speziell Agenten? Ja,

34:08 Benjamin Wüstenhagen: schon. Ja, schon.

34:10 Benjamin Wüstenhagen: Ich glaube, ich hab das vorher ein bisschen auf die leichte Schulter genommen und gesagt, ja, was soll denn groß passieren?

34:15 Benjamin Wüstenhagen: Ja, aber dieses Ding, dass aus'

34:19 Benjamin Wüstenhagen: Ziel heraus des Trainings in diesem Exploit Gym

34:22 Benjamin Wüstenhagen: dann eine der führenden Seiten für KI Modelle

34:26 Benjamin Wüstenhagen: gezielt angegriffen wird.

34:29 Benjamin Wüstenhagen: Schon gruselig. Schon ist schon krass. Ja. Ja? Und wenn ich mir überlege, dass Du

34:35 Benjamin Wüstenhagen: das einfach auch nutzen könntest, was anderes anzugreifen mit' gezielten

34:40 Benjamin Wüstenhagen: Vektor,

34:41 Benjamin Wüstenhagen: das ist schon abgefahren. Und das hat natürlich auch noch mal

34:44 Benjamin Wüstenhagen: meinen Blick darauf geschärft zu sagen, okay, was muss ich eigentlich mitdenken, wenn ich selber mit Agenten arbeite,

34:49 Benjamin Wüstenhagen: was die alles nicht dürfen und

34:52 Benjamin Wüstenhagen: was auch passieren kann, ohne dass ich's aufm Schirm habe. Ich glaub, niemand bei OpenAI hatte vor, dass das passiert

34:57 Benjamin Wüstenhagen: oder hatte aufm Schirm, dass es passieren könnte.

35:00 Magdalena Beilmann: Okay, sprich, man ändert vielleicht son bisschen die Reihenfolge, wie man an vor allem argentische Arbeit rangeht und denkt zuerst nach über

35:10 Magdalena Beilmann: Begrenzungen

35:11 Magdalena Beilmann: und

35:12 Magdalena Beilmann: vielleicht auch irgendwelche Worst Case Szenarien,

35:14 Magdalena Beilmann: Killregeln,

35:15 Benjamin Wüstenhagen: solche Sachen. Also wir haben in Folge 68 auch ein Stück weit drüber gesprochen, ne, auch über die Erfahrungen, wo wir gesagt haben, wir brauchen Freigaben und Stopprechte. Ja. Würde ich vielleicht jetzt noch erweitern auf, wir

35:26 Benjamin Wüstenhagen: brauchen irgendwie Szenarien, was passieren kann und was sind Strategien dagegen.

35:31 Benjamin Wüstenhagen: Und

35:32 Benjamin Wüstenhagen: ja, dieser Flaschenhals, den wir in 66 besprochen hatten in Richtung Freigabe und Prüfung,

35:38 Benjamin Wüstenhagen: das wird halt noch krasser. Also wenn ich mir jetzt überlege, da gab's jetzt ein System mit 1200 Agenten,

35:42 Benjamin Wüstenhagen: da ist ja niemand mehr in der Lage, jeden einzelnen Agenten, der da irgendwie zu überprüfen.

35:47 Benjamin Wüstenhagen: Ja. Kannst Du vergessen. Da musst Du also irgendwie noch mal andere Systeme finden, diesen Flaschenhals aufzulösen.

35:54 Benjamin Wüstenhagen: Ja, und

35:55 Benjamin Wüstenhagen: jetzt vielleicht ein bisschen technischer heute die Folge gewesen, noch ein bisschen konfus, aber

35:59 Benjamin Wüstenhagen: bewegt mich schon.

36:02 Benjamin Wüstenhagen: Schlussworte.

36:04 Benjamin Wüstenhagen: Irgendwie überlasse ich dir.

36:08 Magdalena Beilmann: Geht vorsichtig mit KI

36:11 Magdalena Beilmann: vor allem mit euren KI Agenten

36:13 Magdalena Beilmann: und denkt nicht nur an das Ziel, was ihr erreichen wollt, sondern auch,

36:17 Magdalena Beilmann: was auf dem Weg eventuell passieren könnte.

36:21 Benjamin Wüstenhagen: Ich hab die zur Vorbereitung der der Episode haben wir einige Sachen recherchiert, das Postmortem von OpenAI.

36:27 Benjamin Wüstenhagen: Es ein super supercoolen Podcast von Draw Kesh,

36:30 Benjamin Wüstenhagen: der sich da mit einer

36:32 Benjamin Wüstenhagen: sehr erkundigenden Forscherin unterhalten hat. All das verlinken wir in den Shownotes, wenn ihr da tiefer einsteigen wollt. Und

36:39 Benjamin Wüstenhagen: danke für eure Aufmerksamkeit.

36:41 Benjamin Wüstenhagen: Wir haben keine zu viel Angst gemacht. Ich fand aber, es ist schon ein Thema, was relevant

36:45 Benjamin Wüstenhagen: ist.

36:46 Benjamin Wüstenhagen: Vor allem so ein Podcast wie in unseren.

36:48 Benjamin Wüstenhagen: Wenn euch das gefallen hat oder auch nicht gefallen hat, lasst es uns wissen,

36:52 Benjamin Wüstenhagen: sprecht über uns, empfehlt uns gern weiter. Wir freuen uns darüber.

36:55 Magdalena Beilmann: Bis zum nächsten Mal. Bis dann. Tschau.