#71: KI-Agenten hacken Systeme: 3 Lektionen für deine Sicherheit

0:00 SPEAKER_00: Ein Modell 1 US Anbieters dringt bei Hugging Face ein.

0:04 SPEAKER_01: Bei der Abwehr hilft ausgerechnet ein chinesisches Open Rate Modell,

0:08 SPEAKER_01: wenn das kein Bild für die neue KI Welt ist.

0:12 SPEAKER_01: Willkommen zurück bei Co-Intelligence,

0:15 SPEAKER_01: eurem KI Lernpodcast mit

0:17 SPEAKER_01: der wunderbaren

0:18 SPEAKER_01: Vibe Präsidentin

0:20 SPEAKER_01: Magdalena Beilmann und wir Benjamin Wüstenhagen heute in Folge 71.

0:25 SPEAKER_01: Heute geht's Hugging Face,

0:27 SPEAKER_01: den Hack, der da stattgefunden hat und all die Konsequenzen,

0:30 SPEAKER_01: die sich daraus ableiten.

0:32 SPEAKER_01: Wir hören schon, der Börsengang von OpenAI

0:35 SPEAKER_01: wird verschoben wegen Sicherheitsbedenken.

0:38 SPEAKER_01: Es gibt die ersten Diskussionen, ob man nicht auf die Bremse treten muss

0:42 SPEAKER_01: koordiniert zwischen den großen AI Labs und den USA und China,

0:47 SPEAKER_01: weil das scheinbar ein Warnschuss war, Maggie.

0:51 SPEAKER_00: Ja, wir haben ja in der letzten Folge drüber gesprochen, dass KI

0:54 SPEAKER_00: keinen eigenen Willen hat.

0:57 SPEAKER_00: Ganz offensichtlich

0:58 SPEAKER_00: hat sie aber zumindest eine reale Wirkung mit dem, was sie tut.

1:04 SPEAKER_00: Worum geht's denn eigentlich? Was ist Hugging Face?

1:08 SPEAKER_01: Ja, hab's wahrscheinlich schon gehört. Hugging Face, die wurden auch übrigens grade von NVIDIA übernommen für, ich glaub, 12.000.000.000.

1:15 SPEAKER_01: Also

1:16 SPEAKER_01: es gab sone ganz witzige Zahl, die hatte irgendwie dann irgendwie 1 1 1 spezifische Bedeutung. Ich hab's grad vergessen, aber könnt ihr mal nachgucken, ist ganz witzig. Waren 12 Komma Punkt 1, was weiß ich. So auf die Kommastelle genau für eine spezifische Bedeutung dieser Zahl. Nemel the let's Hugging Face,

1:32 SPEAKER_01: der ist ein Ort, an dem

1:34 SPEAKER_01: allerlei KI Modelle gehostet werden können.

1:38 SPEAKER_01: Und es war sone ist einfach eine Ressource für Menschen als auch für Agenten,

1:42 SPEAKER_01: auf verschiedenste KI Modelle

1:44 SPEAKER_01: und ja, Tests und so weiter zuzugreifen.

1:48 SPEAKER_00: Okay,

1:50 SPEAKER_00: dann

1:51 SPEAKER_00: kannst Du uns ein bisschen besser erklären, wie es überhaupt dazu gekommen ist, dass hier

1:58 SPEAKER_00: ein Modell Zugriff bekommen hat. Ja, also

2:02 SPEAKER_01: vielleicht noch mal kurz, Hugging Face ist sone Art, wenn ihr GitHub kennt, ne, ist GitHub für KI,

2:08 SPEAKER_01: sprich, ich kann da meine Modelle hosten

2:10 SPEAKER_01: und das ist die zentrale Infrastruktur.

2:14 SPEAKER_01: Und

2:17 SPEAKER_01: OpenAI,

2:18 SPEAKER_01: ja, der große Anbieter hinter beispielsweise ChatGPT,

2:21 SPEAKER_01: ist die ganze Zeit am Testen, am Weiterentwickeln wie alle großen KI Labore und sie haben

2:27 SPEAKER_01: unter anderem, wenn man wenn man Modelle entwickelt, gibt's ein sogenanntes Exploit Gym. Ja, was ist das, das jetzt irgendwie...

2:34 SPEAKER_01: Da werden Modelle darauf trainiert oder sie werden beim sie werden beobachtet, wie sie

2:40 SPEAKER_01: spezifische

2:41 SPEAKER_01: Rätsel lösen

2:44 SPEAKER_01: und wie schnell sie das machen und mit welcher Persistenz.

2:47 SPEAKER_01: Und in dem Fall war es so, dass man dass einige der Rätsel nicht lösbar waren.

2:53 SPEAKER_01: Mhm. Das Modell, was dort getestet aber wo getestet werden sollte oder wurde,

2:59 SPEAKER_01: hatte aber einen Spezifikum, nämlich es hatte eine wahnsinnige Persistenz,

3:03 SPEAKER_01: dieses Problem zu lösen.

3:06 SPEAKER_01: Ja, also hier ist dein Problem, löse es. Und jetzt gab's einen entscheidenden Fehler in der in der ganzen Kette.

3:11 SPEAKER_01: Einige dieser Probleme in diesem Exploit Schirm waren unlösbar.

3:16 SPEAKER_01: Und das hat Shamba dann diesen Agenten dieser Agenten in den Wahnsinn getrieben.

3:21 SPEAKER_01: Und wir kommen gleich noch zu allen Details. Das Spannende war, dass halt mehrere 1000

3:26 SPEAKER_01: dieser Agenten dieses Modells darauf die Lösung dieses Problems angesetzt wurden.

3:32 SPEAKER_01: Eigentlich alle einzeln nicht koordiniert und die fingen dann an, zu koordinieren.

3:36 SPEAKER_01: Und sie haben dann

3:38 SPEAKER_01: eine Schwachstelle gefunden

3:40 SPEAKER_01: und haben dann

3:43 SPEAKER_01: kommuniziert

3:45 SPEAKER_01: und haben dann festgestellt, hey, wenn wir wenn wir Hugging Face hacken hacken,

3:49 SPEAKER_01: dann können wir sozusagen dieses Problem lösen.

3:52 SPEAKER_01: Und dazu kommt, damit uns keiner erwischt oder damit wir nicht erwischt werden, müssen wir dann so tun, als hätten wir es nicht gemacht.

3:58 SPEAKER_01: Clever. Ja.

3:59 SPEAKER_01: Das war das Ganze kurz vor, das können wir jetzt noch mal in aller Breite durchgehen. Sprich, Du sagst, das war eigentlich ein Trainingsmodell

4:07 SPEAKER_00: oder ein Test, kann ich mir das vorstellen wie

4:10 SPEAKER_00: ein Praktikanten,

4:11 SPEAKER_00: der

4:12 SPEAKER_00: zu viele Rechte hatte?

4:17 SPEAKER_01: Jein, also beziehungsweise Du hast dem Praktikanten

4:20 SPEAKER_01: nicht seine Kreditkarte gegeben,

4:22 SPEAKER_01: aber er aber durfte er durfte sich Brötchen zu holen irgendwie in der Kasse bedienen

4:27 SPEAKER_01: und hat dann irgendwie, keine Ahnung, das Geld gut getrauscht und konnte dann doch was anderes kaufen. Ah ja. Also ne, also

4:34 SPEAKER_01: OpenAI hatte den Modellen explizit keinen Internetzugriff gegeben,

4:38 SPEAKER_01: damit so was nicht passiert oder diesem Modell. Aber es gab eine Möglichkeit, über eine verschiedene

4:43 SPEAKER_01: Libraries sich runterzuladen, die Probleme zu lösen. Da gab's also extra sone Infrastruktur von OpenAI

4:49 SPEAKER_01: und da hat ein Agent erst mal ja ein Exploit gefunden, hat das genutzt,

4:53 SPEAKER_01: dann im Prinzip jede andere Webseite im Internet erreichen zu können.

4:58 SPEAKER_00: Okay,

4:58 SPEAKER_00: wenn

4:59 SPEAKER_00: ich Hugging Face persönlich nicht benutze,

5:04 SPEAKER_00: warum sollte mich als einzelner Person der Angriff überhaupt interessieren? Warum ist das überhaupt so aufgebauscht worden?

5:11 SPEAKER_01: Aus verschiedenen Gründen. Also ich glaub, der 1. Grund war,

5:15 SPEAKER_01: dass

5:16 SPEAKER_01: dass man nicht damit gerechnet hat, dass diese einzelnen Agenten auf einmal auf die Idee kommen, miteinander zu koordinieren.

5:23 SPEAKER_01: 2. Interessante Sache war, dass sie angefangen haben, auch untereinander...

5:27 SPEAKER_01: Sie hatten jetzt keine keinen Ort, wo man sagen könnte, hier gibt's ein Kommunikationsort,

5:32 SPEAKER_01: sondern sie haben eine Möglichkeit gefunden,

5:34 SPEAKER_01: sich Nachrichten zu hinterlassen.

5:36 SPEAKER_01: Sie haben sich insofern koordiniert, als dass

5:39 SPEAKER_01: jene, die ich wo sie schon wussten, okay, ich werd dieses Problem Problem nicht mehr lösen.

5:44 SPEAKER_01: Ich kann aber anderen dabei helfen, dass sie es lösen. Das ist ein

5:48 SPEAKER_01: fast schon Altruismus, kann man sagen, für das gemeinsame Ziel.

5:53 SPEAKER_01: Und dann überhaupt

5:55 SPEAKER_01: diese Idee, dass sie sagen, hey, Hugging Face, da könnte der Schlüssel zur zur Antwort einiger dieser

6:00 SPEAKER_01: Probleme liegen, die wir lösen müssen. Mhm. Und damit wir da rankommen, müssen wir's halt hacken.

6:06 SPEAKER_01: Was das heißt, ist, wenn Du also' Agenten

6:09 SPEAKER_01: mit den richtigen Rechten ein Ziel gibst, eine spezifische Infrastruktur zu hacken,

6:14 SPEAKER_01: dann ist das natürlich jetzt,

6:16 SPEAKER_01: wenn irgendwie 1200 Agenten oder bis zu, ja, bis 1200 Agenten in dem Fall oder es könnten natürlich auch mehr sein, wenn Du die entsprechende Rechtskapazität hast, auf einmal losziehen und da koordiniert etwas beginnen, dann kannst Du innerhalb kürzester Zeit alle möglichen Vulnerabilität finden.

6:31 SPEAKER_01: Nicht nur für eine Seite wie Hugging Face, sondern auch für

6:34 SPEAKER_01: You name it, ja, die Berliner Senatsverwaltung

6:37 SPEAKER_01: zum Beispiel,

6:38 SPEAKER_01: die ja auch kürzlich gehackt wurde.

6:40 SPEAKER_00: Okay, sprich, der Fall ist so groß geworden, weil er einfach ein reales Risiko aufgezeigt hat,

6:46 SPEAKER_01: was übertragbar ist. Ja, also das zum einen. Zum Zweiten auch, weil jetzt niemand gesagt hat bei OpenAI, hey, geht mal zu Hugging Face und hackt die, sondern es war sozusagen son,

6:55 SPEAKER_01: ja, sie haben die der Agent hatte ein Auftrag und

6:59 SPEAKER_01: den zu erfüllen,

7:01 SPEAKER_01: dachte er sich oder dachten die sich, lass mal Hugging Face hacken, an diese an diese Lösung zu kommen. Das war son Prinzip ein Kollateralschaden.

7:08 SPEAKER_00: Was war denn der ursprüngliche Auftrag? Weiß man das?

7:12 SPEAKER_01: Genau, diese... Also es gab diese Evaluation in diesem Exploit Gym und da sind die verschiedensten komplexen Probleme,

7:17 SPEAKER_01: die gelöst werden,

7:19 SPEAKER_01: teilweise gelöst werden können, teilweise nicht gelöst werden können. Der Hack oder nicht der Hack, sondern das Problem hierbei war, dass einige nicht lösbar waren. Und das hat dazu geführt, dass

7:27 SPEAKER_01: das das wussten die Agenten natürlich nicht. Aber wir haben halt probiert, das irgendwie zu lösen, weil ja,

7:35 SPEAKER_01: sie inzentiviert waren, das zu lösen.

7:37 SPEAKER_01: Es gibt ja diese dieses dieses, ich weiß gar nicht, von wem das kommt, aber da durch ein Dystopie.

7:42 SPEAKER_01: Man sagt, hey, es gibt eine AI, deren Ziel ist es einfach, Paperclips zu produzieren.

7:47 SPEAKER_01: Und weil sie nur dieses eine Ziel hat, Paperclips zu produzieren, wird alles andere platt gemacht. Ja. Und am Ende besteht der Planet nur noch aus aus riesigen Maschinen, die nur Paperclips produzieren, also Büroklammer. Ja.

7:59 SPEAKER_01: Ja, ich mal recherchier noch mal, wo das herkommt und ich wollen uns packen.

8:02 SPEAKER_00: Okay, also eigentlich ganz spannend und so aus Projektmanagementsicht

8:07 SPEAKER_00: ja, was Gutes, was dann passiert ist,

8:10 SPEAKER_00: weil

8:11 SPEAKER_00: die Agenten haben ein Auftrag bekommen und sie haben offensichtlich

8:16 SPEAKER_00: irgendeine Abkürzung oder ein Umweg gefunden, den Auftrag zu erfüllen.

8:20 SPEAKER_01: Ja, wenn ein Praktikant sagst, hier bring mal dieses, verschick mal dieses Paket an die Adresse und die Adresse gibt's nicht und irgendwas nicht entführt dafür irgendwie Leute und halt hält

8:29 SPEAKER_01: jemand die Knarre an den Kopf und sagt, ich find diese Adresse so ähnlich, ja? Oh.

8:34 SPEAKER_00: Das ging jetzt weniger gut so, wie Du's ausdrückst. Blöher Nebeneffekts,

8:36 SPEAKER_01: aber er hat's probiert.

8:39 SPEAKER_00: Und ist zum Ziel gekommen, das ist ja das Wichtige. Okay,

8:45 SPEAKER_00: letztendlich sprechen wir ja bei diesem Trainingsmodell

8:49 SPEAKER_00: von einem Sprachmodell,

8:51 SPEAKER_00: was

8:52 SPEAKER_00: Text produziert.

8:54 SPEAKER_00: Wie kann das sein,

8:56 SPEAKER_00: dass das in ein Fremdsystem eindringt?

8:58 SPEAKER_01: Wie ist das technisch möglich? Ja, mittlerweile können ja nicht können ja die Modelle nicht nur Text produzieren, sondern wenn Du Text produzieren kannst, kannst Du natürlich auch Code ausführen,

9:07 SPEAKER_01: kannst Programme bauen. Also letztlich ist ja auch jedes Programm

9:12 SPEAKER_01: ist eine Produktion von Text. Wenn ihr wenn ihr uns auf YouTube seht, dann ist das, was YouTube ist, am Ende auch nur viele Millionen Zeilen Text.

9:21 SPEAKER_01: Und jedes Bild kann ich auch als Text darstellen. Das heißt, dieses nur Text produzieren ist jetzt nicht, ich kann nur irgendwelche Gedichte schreiben, sondern ich kann auch ausführbare Programme machen.

9:30 SPEAKER_01: Und grad wenn ich ein Agentialsystem habe, kann es eben auch selbstständig darauf darauf

9:36 SPEAKER_01: aufbauend weitere Programme machen und die nächste Aktion machen. Das heißt, dieses ich kann nur Text produzieren wirkt erst mal harmlos, aber Du kannst halt mit Text extrem viel beschreiben und mittlerweile auch umsetzen.

9:48 SPEAKER_00: Okay, jetzt hast Du grad schon argentisch gesagt.

9:50 SPEAKER_00: Denkst Du, das hätte ohne

9:52 SPEAKER_00: eine Agentenfunktion

9:54 SPEAKER_00: auch funktionieren können?

9:57 SPEAKER_01: Nee. Okay.

9:59 SPEAKER_01: Na, also dies dies der große Unterschied ist eben, dass die Agenten das Ziel bekommen

10:05 SPEAKER_01: und dieses Ziel dann verfolgen

10:07 SPEAKER_01: und

10:08 SPEAKER_01: auf dem Weg des Erfolges des Ziels alles Mögliche machen, was sie halt können.

10:13 SPEAKER_01: Und

10:15 SPEAKER_01: durch Textproduktion und durch das Schreiben von Skripten, durch das Schreiben von Software kannst Du natürlich auch in der realen Welt viel bewegen.

10:22 SPEAKER_00: Okay. Bedeutet aber auch dieses Agenten ich

10:26 SPEAKER_01: ich weiß nicht, ob man weiß, wie viele Agenten da letztendlich dran beteiligt waren. Also es gab eine forensische Untersuchung danach. Es gab sowohl welche von OpenAI als auch von 2 unabhängigen Labs. Mhm. Und das, was ich da gelesen hab, waren 1000 so die 1200 Agenten. Oh, okay.

10:42 SPEAKER_01: Genau und die haben sich gegenseitig 70.000 Nachrichten geschickt.

10:46 SPEAKER_00: Gut. Ja. Dann

10:48 SPEAKER_00: hatten 1200 Agenten scheinbar auch einen Käfig

10:53 SPEAKER_00: oder Guardrays,

10:54 SPEAKER_00: die ganz offensichtlich nicht eng genug gestellt waren?

10:57 SPEAKER_01: Ja, also das 1., was halt also dieses, was ich eingangs sagte,

11:02 SPEAKER_01: die waren erst mal in' Käfig, der keine Internetverbindung hatte.

11:05 SPEAKER_01: Sie konnten aber sozusagen hatten son kleines Schlupfloch und konnten aus' anderen Käfig sich irgendwie Sachen geben lassen. Und der andere Käfig hatte dann die Verbindung und das haben sie nutzen können und konnten sich dann sozusagen daraus

11:16 SPEAKER_01: durch den zweiten Käfig die Sachen ziehen.

11:19 SPEAKER_00: Spannend. Also man man muss ihnen ja lassen, dass es eine clevere Aktion war.

11:24 SPEAKER_00: Wie ist das Ganze aufgeflogen? Hat's Open AI gemerkt oder Hugging Face?

11:29 SPEAKER_01: Na ja, Hugging Face hat hat's zunächst gemerkt, hat gesagt, irgendwas ist hier komisch.

11:34 SPEAKER_01: Das Witzige war, sie haben dann probiert,

11:36 SPEAKER_01: die amerikanischen Modelle zu nutzen,

11:39 SPEAKER_01: da zu gucken, was da los ist. Und aber die haben alle nach der Reihe nachgesagt, nee, nee, also das geht nicht. Ihr könnt hier nicht gegenhacken.

11:47 SPEAKER_01: Das wird blockiert. Und sie mussten dann, wie wir auch eingangs gesagt haben, aufm chinesischen chinesischen,

11:52 SPEAKER_01: boah, ich kann noch nicht sprechen,

11:54 SPEAKER_01: auf ein chinesisches Modell, auf ein Open Bate Modell umstellen,

11:59 SPEAKER_01: überhaupt sich

12:01 SPEAKER_01: ja,

12:02 SPEAKER_01: dieses Angriffs

12:03 SPEAKER_01: erwehren zu können.

12:05 SPEAKER_01: Und die haben dann OpenAI angesprochen und haben gesagt, hey, wir haben hier son paar

12:09 SPEAKER_01: Traces, das sieht so aus, als wenn ihr dahintersteckt. Und die konnten sie erst gar nicht glauben und haben dann selber,

12:15 SPEAKER_01: wie schon gesagt, 2 forensische Teams auf ihre Logs gelassen. Die konnten also nicht mit diesem neuen Modell interagieren,

12:21 SPEAKER_01: sondern konnten sich die Logs angucken und daraus sind dann

12:25 SPEAKER_01: fair Berichte entstanden.

12:27 SPEAKER_01: Und es gibt jetzt auch 2 unabhängige Untersuchungen, die in den USA laufen, eine von den Republikanern angestoßen, eine von den Demokraten, von jeweils verschiedenen Senatoren,

12:36 SPEAKER_01: die das Ganze noch mal näher beleuchten sollen.

12:39 SPEAKER_00: Ist bekannt,

12:40 SPEAKER_00: was diese ersten Warnsignale

12:42 SPEAKER_00: waren? Also würd mich interessieren,

12:44 SPEAKER_00: wie sone Firma darauf kommt, dass hier irgendwas komisch läuft.

12:49 SPEAKER_01: Da müssen wir jetzt also... Also

12:51 SPEAKER_01: OpenAI

12:53 SPEAKER_01: OpenAI hat, das haben Sie später zugegeben, schon vorher

12:57 SPEAKER_01: Anzeichen gesehen, dass es da unerlaubte Kommunikation und Internetzugriff gab von Agenten in dem in diesem neuen Modell.

13:04 SPEAKER_01: Und sie haben auch probiert, sichtbare Schwachstellen

13:07 SPEAKER_01: zu schließen und so Zugangsdaten ausgetauscht von diesem

13:11 SPEAKER_01: Softwaremodur

13:12 SPEAKER_01: aus den alten Artifactory,

13:14 SPEAKER_01: wo eben Agenten von dort von dort aus sich bestimmte Packages runterladen konnten.

13:20 SPEAKER_01: Aber sie haben dieses größere Muster dahinter nicht erkannt und die haben die Tests weiterlaufen lassen.

13:25 SPEAKER_01: Und Hugging Face hat da jetzt festgestellt, nee, hier gibt's irgendwie komische

13:28 SPEAKER_01: Zugriffe und

13:30 SPEAKER_01: seltsame Muster und hat auch Zugriffe gekappt.

13:34 SPEAKER_01: Aber was da eigentlich los war, ist ja später rausgekommen.

13:38 SPEAKER_00: Man sollte ja eigentlich meinen,

13:40 SPEAKER_00: dass

13:42 SPEAKER_00: 1200

13:43 SPEAKER_00: Agenten, die irgendwie versuchen, auf Systeme

13:46 SPEAKER_00: zuzugreifen,

13:47 SPEAKER_00: automatisch auffällig sind, oder? Jetzt frage ich mal ein bisschen zynisch,

13:51 SPEAKER_00: denkst Du, das wär bei uns aufgefallen?

13:53 SPEAKER_01: Na gut, das ist eine sehr gute Frage. Ja,

13:56 SPEAKER_01: also ich vermute ja immer, dass auf Fragmentails den ganzen Tag irgendwelche

14:00 SPEAKER_01: Agenten Zugriff haben.

14:01 SPEAKER_01: Ja, ist ja son typisches Ding, also wie bei wie bei GitHub. Also die Nutzung von GitHub ist auch durch die Decke gegangen im Vergleich letztes Jahr zu diesem Jahr, weil einfach jetzt wahnsinnig viele Leute mit dem Co-Print in Codex und was weiß ich überall

14:14 SPEAKER_01: auf GitHub zugreifen und Du viel, mehr Zugriffe hast und viel, viel mehr Konten und viel, viel mehr Aktionen als jemals zuvor.

14:21 SPEAKER_01: Ähnlich wird das bei Hugging Face sein. Ich glaub, wenn Du jetzt sone Consumer Seite hast,

14:26 SPEAKER_01: die jetzt relativ wenige Zugriffe hat

14:29 SPEAKER_01: und da auf einmal wahnsinnig viele Agenten raufspringen,

14:32 SPEAKER_01: hoffe ich mal, dass bei uns die die Infrastruktur sich melden würde beziehungsweise Cloudflair oder Century oder wer auch immer sagen würde, hey, irgendwas ist hier komisch.

14:42 SPEAKER_01: Aber würde dir das jetzt oder mir das jetzt jeden Tag auffallen, wenn wir keine Warnung kriegen würden, wie denn?

14:47 SPEAKER_00: Ich denk, ich setz jetzt mal eine neue Wache auf dafür. Ja, ich ich also ich vermute auch,

14:54 SPEAKER_01: davon ausgehend, dass Open Weight Modelle oder Open Source Modelle nur wenige Monate hinter diese Frontiermodels sind,

15:03 SPEAKER_01: haben wir entweder heute schon wahnsinnig viele Angriffe auf Infrastruktur oder werden das in den nächsten Monaten haben. Ja.

15:09 SPEAKER_01: Also ich kann mir sehr, sehr gut vorstellen, dass es wahnsinnig viele Schwachstellen geben wird und

15:14 SPEAKER_01: große, große und schlimme Vorfälle und

15:19 SPEAKER_01: das noch krasser werden wird als je zuvor. Und ich hat's ja vorhin kurz gesagt, die

15:24 SPEAKER_01: Stadt Berlin, die hat sich da irgendwie besonders hervorgetan in im Dummsein,

15:30 SPEAKER_01: wo noch irgendwelche Rechner mit Windows 95 laufen und was weiß ich.

15:34 SPEAKER_01: Da sind grade SW Speed richtig,

15:38 SPEAKER_01: also sind 11.000

15:39 SPEAKER_01: von Datensätzen im Dark Web.

15:42 SPEAKER_01: Also die Stadt wurde angegriffen, es wurden mehrere Terabyte von Daten abgezogen.

15:46 SPEAKER_01: Irgendwelche, was passiert im Spannungsfall,

15:49 SPEAKER_01: ja? Wo sind welche Bunker? Wer hat welche Kontonummer?

15:52 SPEAKER_01: Krankenakten,

15:53 SPEAKER_01: alles Mögliche. Weil Sie das Geld nicht zahlen wollten, ne? Ja, waren irgendwie 10 Bitcoin oder was?

15:59 SPEAKER_01: Ja, also das Geld nicht zahlen wollen, ist das eine. Du kannst das Geld zahlen, die Daten, die Sachen kommen trotzdem raus, aber es ist dieser

16:05 SPEAKER_01: Missmatch zwischen, was ist eigentlich Datenschutz und was ist Datensicherheit?

16:10 SPEAKER_01: Und ich glaub, wir müssen alle zusehen, dass unsere Systeme

16:13 SPEAKER_01: in Datensicherheit deutlich besser werden.

16:17 SPEAKER_01: Aber dennoch zeigt sich ja, dass auch diese neuen Modelle, also als Faible rauskam, hat man ja auch irgendwelche 20 Jahre alten Sicherheitslücken gefunden, Ja. Die vorher keiner gefunden hat. Also ich glaub, da kommt eine riesige Welle auf uns zu.

16:29 SPEAKER_01: Nur da ist halt der Unterschied, dass da Aktoren

16:32 SPEAKER_01: gezielt eine Infrastruktur angreifen.

16:34 SPEAKER_01: Und hier war halt das Klasse, dass dieser Angriff auf die Infrastruktur ein Nebeneffekt war dessen, was die Agenten sonst gemacht haben. Und gar nicht geplant. Und gar nicht geplant. Hat denn OpenAI nach dem Vorfall irgendwas verändert?

16:45 SPEAKER_01: Ja, ja, klar. Also die haben natürlich probiert,

16:49 SPEAKER_01: ihre eigene Sandboxen zu verbessern. Die haben natürlich probiert oder sind da dran,

16:54 SPEAKER_01: ganz genau anzugucken, was passiert da, den Internetzugriff zu beschneiden.

16:58 SPEAKER_01: All das, das machen jetzt wahrscheinlich alle großen Labs.

17:00 SPEAKER_01: Nur das Krasse ist halt, dass jetzt jeder weiß, hey, mit' potenten Modell,

17:05 SPEAKER_01: auch wenn sie vielleicht heute noch nicht draußen sind, aber dann in wenigen Monaten,

17:09 SPEAKER_01: kann ich auch sone Seite wie Hugging Face angreifen.

17:13 SPEAKER_01: Und wenn ich so was wie Hugging Face angreifen kann, kann ich halt auch irgendwie,

17:16 SPEAKER_01: weiß ich nicht, die Stadtwerke

17:19 SPEAKER_01: hinter Tuppwingen angreifen und wahrscheinlich innerhalb von Minuten hacken.

17:23 SPEAKER_00: Wenn ich's richtig verstanden hab, hat OpenAI

17:26 SPEAKER_00: selbst den Fall öffentlich gemacht.

17:29 SPEAKER_00: Ja. Warum machen Sie so was Peinliches öffentlich?

17:31 SPEAKER_00: Vielleicht könnten Sie ja auch einfach untern Teppich kehren.

17:36 SPEAKER_01: Na ja, ich glaub, mit dem mit so mit dem Hugging Face Thema hätten Sie's, glaub ich, zu richtig untern Teppich kehren können, weil da ist es halt aufgefallen.

17:44 SPEAKER_01: Und

17:45 SPEAKER_01: ich vermute, wenn so was aufgefallen wäre und sie es nicht selber öffentlich gemacht hätten,

17:51 SPEAKER_01: dann wär würde

17:53 SPEAKER_01: würde a entweder noch mehr Vertrauen verspielt werden als das, was schon verspielt wurde oder irgendwer intern hätte hätte das irgendwie geflaggt.

18:00 SPEAKER_01: Ja. Also es war schon eine ganz gute Vorwärtsverteidigung,

18:03 SPEAKER_01: die aber auch dringend nötig ist.

18:05 SPEAKER_01: Ja, keine Ahnung, wenn jetzt irgendwie in' in' Kraftwerk

18:09 SPEAKER_01: irgendwas falsch läuft, dann ist ja auch besser zu sagen, hey, wir hatten hier ein Vorfall,

18:14 SPEAKER_01: als zu sagen, nur hier ist nix so tenerablemäßig und dann oh, die Geigerzähler sind ein bisschen ausgefallen. Ne, keine Ahnung, woran das liegt,

18:21 SPEAKER_01: der Mond.

18:22 SPEAKER_01: Ja,

18:23 SPEAKER_01: also irgendwann kommt das halt schon raus.

18:25 SPEAKER_01: Und jetzt kommen ja auch diese Diskussionen

18:28 SPEAKER_01: zum Tragen, wo die wo die wo die Labs sagen, ja selber sagen die ganze Zeit, and topping macht das OpenAI auch. Wir müssen unsere wir müssen unsere Geschwindigkeit ein bisschen drosseln.

18:38 SPEAKER_01: Wir müssen das unter Kontrolle kriegen, damit hier nicht irgendwie was Schlimmes passiert.

18:43 SPEAKER_00: Letztendlich ja auch eine gute Message, dass man zu' Fehler steht, ne?

18:48 SPEAKER_01: Ja, kannst kannst Du sagen, ist eine gute Message. Andere sagen, es ist son bisschen Fear Mongering, also so abends zu schön. Die Nächsten sagen,

18:56 SPEAKER_01: na ja, wenn Du OpenAI bist oder ein Anthropic und ein riesigen Börsengang vor dir hast und irgendwie allen sagst,

19:01 SPEAKER_01: wie potent deine Systeme sind, heißt es ja im Subtext auch, was sie alles können. Und

19:06 SPEAKER_01: das kann vielleicht auch deine Bewertung treiben,

19:09 SPEAKER_01: weiß ich nicht.

19:11 SPEAKER_01: Ich weiß, ich kann weiß jetzt nicht, ob irgendwie KI uns morgen alle tötet.

19:16 SPEAKER_01: Aber dieses Cyber Thema ist schon ein großes. Und dazu kommt ja auch, dass vor' Woche ungefähr, ich hab den Namen grad nicht parat, aber auch ein ehemaliger

19:25 SPEAKER_01: Researcher von OpenAI, der auch bei Anthropic war, selber die Alarmglocken geklingelt hat auf auf X und gesagt hat, hey Leute,

19:32 SPEAKER_01: wenn wir nicht hier fundamental anders arbeiten, dann sehe ich die Gefahr,

19:36 SPEAKER_01: dass die Mehrheit ausgerottet wird zu 10 Prozent. Das wär ja auch bisschen chilling.

19:41 SPEAKER_00: Ja, wir wollen hier jetzt nicht noch mehr Angst

19:43 SPEAKER_00: schüren.

19:45 SPEAKER_01: Nee, nee, das nicht. Ich find's aber, was ich halt schon auch bedenklich finde, ist

19:51 SPEAKER_01: aus soner europäischen Sicht, wir sind halt die absoluten Zaungäste.

19:56 SPEAKER_01: Ne, also wir können uns überlegen, ja, schön, dass da jetzt Anthropic und OpenAI sich irgendwie miteinander sprechen und Grog vielleicht auch noch und dann die Chinesen auch, aber wir als Europäer sitzen halt da und denken uns,

20:07 SPEAKER_01: seht mal zu, dass ihr das irgendwie geregelt kriegt,

20:10 SPEAKER_01: aber wir haben hier nix beizutragen.

20:12 SPEAKER_00: Nutznießer.

20:14 SPEAKER_01: Na ja,

20:16 SPEAKER_01: im besten Falle. Im

20:18 SPEAKER_01: schlechtesten Falle sind wir irgendwelchen Großmächten ausgeliefert, die halt das machen, was sie machen. Ja, noch können wir's nutzen. Irgendwann sind wir dann abhängig davon und dann kippt das Ganze. Ja, ich... Also weiß ich nicht, ich würd schon denken, dass wir auch heute schon abhängig sind. Ja, klar.

20:34 SPEAKER_01: Oder Aber noch welches welches europäische Modell nutzt Du jeden Tag? Ich nutz kein europäisches

20:39 SPEAKER_00: Modell jeden Tag, aber

20:42 SPEAKER_00: noch

20:43 SPEAKER_00: sind die Strukturen so aufgebaut,

20:45 SPEAKER_00: dass ich davon

20:47 SPEAKER_00: ja profitiere von den US Modellen, von den chinesischen Modellen.

20:51 SPEAKER_00: Wenn irgendwann,

20:53 SPEAKER_00: weiß ich nicht, ich pro Token

20:55 SPEAKER_01: bezahle, dann hab ich natürlich ein anderes Problem. Also Du sagst, Du profitierst heute, weil Du irgendwie

21:01 SPEAKER_01: 200 Euro im Monat zahlst. Weil ich gute Abomodelle hab, ja. Okay, ja, das wird auch immer aufhören. Korrekt. Ja, aber Davor graut's mir. Das ist ja noch mal eine andere das ist ja noch mal eine andere Diskussion. Das ist ja die Diskussion, was welche

21:13 SPEAKER_01: welche Nutzer kaufen die sich heute mit Venture Capital,

21:17 SPEAKER_01: dann ein gewissen Dozent zu haben?

21:19 SPEAKER_01: Ja, ja.

21:22 SPEAKER_00: Okay, kommen wir wieder zurück zum Hugging Face Fall. Ja.

21:25 SPEAKER_00: 1200 Agenten und irgendwas die 18.000

21:30 SPEAKER_00: Aktionen, die da passiert sind.

21:32 SPEAKER_00: Wie genau wird das rekonstruiert?

21:35 SPEAKER_00: Auch mit KI vielleicht?

21:38 SPEAKER_01: Ja,

21:39 SPEAKER_01: klar, auch. Ja, also die die beiden Labs, die da beteiligt waren, die mussten natürlich haben so viele Datenpunkte bekommen, dass sie da auch eine KI genutzt haben, das überhaupt auseinanderhalten zu können und sich anschauen zu können, nachvollziehen zu können. Also Du nutzt im Prinzip eine KI,

21:52 SPEAKER_01: die andere KI zu überführen,

21:55 SPEAKER_01: hofft man nur, dass die KIs nicht miteinander sprechen und sagen, lass mich nicht überführ mich bitte nicht.

22:01 SPEAKER_01: Aber wie das jetzt technisch genau funktioniert, kann ich ehrlicherweise nicht sagen. Also tief bin ich da nicht eingestiegen. Okay,

22:07 SPEAKER_00: etwas ironisch.

22:11 SPEAKER_00: Erklär uns doch noch mal,

22:13 SPEAKER_00: was ist ein Open Rats Modell eigentlich?

22:17 SPEAKER_00: Was bedeutet das?

22:19 SPEAKER_01: Open Weights heißt,

22:21 SPEAKER_01: dass Du sehen kannst,

22:24 SPEAKER_01: wie das Modell

22:25 SPEAKER_01: welche

22:26 SPEAKER_01: welche Inputs gewichtet,

22:29 SPEAKER_01: ja, dann welchen Text auszugeben.

22:31 SPEAKER_01: Also welche welche Input Tokens

22:34 SPEAKER_01: produzieren welche Output Tokens abhängig von den verschiedenen Gewichten.

22:39 SPEAKER_00: Das heißt, was ist der Unterschied zu Open Source?

22:43 SPEAKER_01: Na ja, bei Open Source ist Prinzip der ganze

22:46 SPEAKER_01: alles offen, Du kannst es nachvollziehen.

22:48 SPEAKER_01: Bei OpenAI sind die Gewichte offen.

22:52 SPEAKER_01: Vergleichbar,

22:54 SPEAKER_01: paar paar Unterschieden und und und die die klassischen Modelle, die wir halt jeden Tag nutzen von Open AI und Anthropic und so weiter,

23:02 SPEAKER_01: die sind eben nicht Open Weight und die sind auch nicht Open Source, sondern da ist das

23:08 SPEAKER_00: die Secret Source, wie die das machen. Kann ich mit diesen Open Weights oder Open Source Modellen irgendwas machen, was ich

23:16 SPEAKER_00: mit nicht Open

23:18 SPEAKER_00: Weights oder Source Modellen

23:20 SPEAKER_01: nicht machen kann. Na ja, jein. Kommt natürlich darauf an, was es vom Duell ist, wie es trainiert wurde, wie leistungsfähig es wie leistungsfähig das ist, was Du auch für eine Referenz hast, also wie leistungsfähig Du das das nutzen kannst.

23:31 SPEAKER_01: Aber generell

23:33 SPEAKER_01: kannst Du natürlich, wenn Du die Open, wenn Du alles siehst und auch die System Prompts hast und so weiter, kannst Du viele

23:39 SPEAKER_01: Dartrails

23:40 SPEAKER_01: und Sicherheitseinstellungen

23:42 SPEAKER_01: ausstellen.

23:43 SPEAKER_01: Und wenn dann dein Modell

23:45 SPEAKER_01: ähnlich

23:46 SPEAKER_01: ähnlich

23:47 SPEAKER_01: stark oder oder oder leistungsfähig

23:49 SPEAKER_01: ist wie ein geschlossenes,

23:51 SPEAKER_01: dann kannst Du dann vielleicht Dinge tun, die heute der Anbieter untersagt.

23:55 SPEAKER_00: Sprich, könnte man sagen, dass die Modelle gefährlicher sind?

24:00 SPEAKER_01: Ja, nicht per se.

24:02 SPEAKER_01: Aber ich kann sie gefährlicher machen. Du kannst sie könntest sie gefährlicher machen, davon ausgehend, dass jetzt die anderen Modelle das da schon aktiv waren, gewürgt wird,

24:10 SPEAKER_01: wird, dass sie nicht gefährlich sind. Was ja so ist, ja. Es gab ja dieses,

24:14 SPEAKER_01: gibt's, haben jetzt beide, ja, dass sowohl

24:18 SPEAKER_01: OpenAI

24:19 SPEAKER_01: als auch Anthropic haben so haben so Programme,

24:23 SPEAKER_01: wo sie die wirklich krassen Modelle erst in' kleinen Gruppe von Firmen vorstellen,

24:29 SPEAKER_01: die sich das dann angucken, dann schauen, okay, wie können wir das Ganze so sicher machen, dass wir damit weiterarbeiten können? Und dann wird das ausgerollt,

24:36 SPEAKER_01: ne. Solche solches Tiersystem hast Du natürlich bei Open Source nicht so stark. Okay, verstehe.

24:42 SPEAKER_00: Jetzt ist das ein riesiger Fall, der bekannt geworden ist von OpenAI.

24:48 SPEAKER_00: Gibt's irgendwelche

24:50 SPEAKER_00: ähnlichen Vorfälle

24:52 SPEAKER_00: von den Anthropic

24:54 SPEAKER_00: Meta,

24:55 SPEAKER_00: die auch bekannt sind?

24:57 SPEAKER_01: Es Ja, gibt es gibt immer wieder Vorfälle. Es gibt, grade hat Anthropic vor ein paar Tagen hat son son Bericht rausgebracht, haben sich angeschaut, wofür wird eigentlich

25:06 SPEAKER_01: wofür werden eigentlich die Modelle verwendet?

25:08 SPEAKER_01: Und haben da beispielsweise gezeigt, dass sie nachweisen konnten, dass spezifische Hackergruppen, auch Staatsaktoren oder auch beispielsweise der Iran,

25:16 SPEAKER_01: die haben probiert,

25:19 SPEAKER_01: sich zu verteidigen, vorherzusagen,

25:22 SPEAKER_01: wie wird angegriffen, auch Ziele zu suchen. Also

25:27 SPEAKER_01: kannst dir vorstellen, für die Leute, die irgendwie normalerweise ihr ihr Lasagne Rezept bei ChatGPT eintippen, gibt's auch genauso viele, die sagen, gib mir mal ein Rezept für, weiß ich nicht, die nächste Säure oder was.

25:38 SPEAKER_01: Also

25:39 SPEAKER_01: und auch

25:41 SPEAKER_01: Hacks werden natürlich heute schon mit KI Modellen gemacht.

25:45 SPEAKER_01: Mhm. Aber der Fall,

25:47 SPEAKER_01: dass Du son System hattest, wo eben kein Mensch beteiligt war, der gesagt hat, greif das an, sondern das ein Kollateralschaden

25:54 SPEAKER_01: war,

25:55 SPEAKER_01: der erst nicht aufgefallen ist, wo die Agenten koordiniert waren, wo sie

26:01 SPEAKER_01: wo sie Nachrichten hinterlassen haben, wo sie auch so Rollen verteilt haben.

26:07 SPEAKER_01: Das war ein Novum, aber ich vermute, es wird kein Novum bleiben.

26:10 SPEAKER_00: Das befürchte ich auch. Ja. Okay, sprich, man kann nicht von' Einzelfall sprechen, aber es gibt jetzt keinen, der

26:17 SPEAKER_00: in dem Sinne vergleichbar ist.

26:20 SPEAKER_01: Genau, es gibt jetzt nichts, wo wo Du sagen könntest, das das jetzt bei Grok oder bei Meta oder so genauso passiert. Na. Aber ich vermute schon, dass es ähnliche Fälle geben wird, die vielleicht noch gar nicht bekannt sind.

26:32 SPEAKER_00: Das kann gut sein. Ja.

26:35 SPEAKER_00: Jetzt kommen wir wieder zur Verantwortung. Wir sprechen ja sehr oft darüber, ist Technik, ist KI, ist es der Mensch?

26:42 SPEAKER_00: Wenn ein

26:44 SPEAKER_00: Modell von so 1 Firma wie OpenAI

26:47 SPEAKER_00: in ein fremdes System eindringt,

26:49 SPEAKER_00: wer trägt die Verantwortung dafür?

26:53 SPEAKER_01: Aus meiner Sicht nach wie vor die Menschen.

26:56 SPEAKER_01: Ja, ich find auch, dass das irgendwie son...

26:59 SPEAKER_01: Gut, ich hab da noch keine abschließende Meinung, aber

27:04 SPEAKER_01: es dünkt mir son Stück weit, je je mehr Du es schaffst zu sagen, diese Agenten arbeiten eigenständig,

27:10 SPEAKER_01: die haben, weiß ich nicht, eine Persönlichkeit,

27:12 SPEAKER_01: die haben einen Ziel,

27:14 SPEAKER_01: desto eher verschiebst Du sozusagen den schwarzen Peter auf die KI,

27:19 SPEAKER_01: die Du nicht greifen kannst, weg von den Menschen, die ja sozusagen dafür zuständig sind,

27:23 SPEAKER_01: das sicher zu machen. Und aus meiner Sicht hat hier

27:26 SPEAKER_01: natürlich OpenAI die volle Verantwortung.

27:30 SPEAKER_01: Und die Verantwortung geht natürlich über die jeweiligen Menschen, die dafür

27:34 SPEAKER_01: geradestehen müssen. Und ich finde, dass das wir

27:37 SPEAKER_01: sollten uns

27:39 SPEAKER_01: davor verwahren zu sagen, okay, jetzt haben wir halt die KI und die ist irgendwie dafür verantwortlich, können wir nichts machen.

27:45 SPEAKER_00: Denkst Du,

27:47 SPEAKER_00: dass es die oberste Priorität ist, grade von USA

27:51 SPEAKER_00: und China vor allem,

27:52 SPEAKER_00: diese Sicherheitslücken zu schließen?

27:57 SPEAKER_01: I don't know.

27:59 SPEAKER_01: Also

28:00 SPEAKER_01: das ist, glaub ich, ein bisschen, das ist diese

28:02 SPEAKER_01: Komplexität

28:04 SPEAKER_01: zu überschauen.

28:06 SPEAKER_01: Ich glaub schon, dass es viele Menschen gibt, denen das ein großes Anliegen ist. Ich glaub auch, dass es

28:10 SPEAKER_01: dass viele sehen, fuck, wie müssen die was tun?

28:14 SPEAKER_01: Ja, denn

28:15 SPEAKER_01: wir haben wahnsinnig viel kritische Infrastruktur,

28:19 SPEAKER_01: wo Software eine große Rolle spielt und wenn Du das hackst,

28:22 SPEAKER_01: ja, Du kannst wahrscheinlich mit' guten Hack kannst Du irgendwie

28:24 SPEAKER_01: zu Blackouts führen.

28:26 SPEAKER_01: Und wenn Du irgendwie 3 Tage keinen Strom hast, dann

28:29 SPEAKER_01: hängt da alles Mögliche dran, ja, Menschenleben,

28:33 SPEAKER_01: so

28:34 SPEAKER_01: im schlimmsten Fall. Ja, Bankdaten, was weiß ich, kannst Du alles Mögliche machen.

28:39 SPEAKER_01: Gleichwohl

28:41 SPEAKER_01: ist ein Großteil des Wirtschaftswachstums

28:43 SPEAKER_01: der USA derzeit natürlich an diesen ganzen KI Boom gebunden.

28:47 SPEAKER_01: Mhm. Ja, und auch die Bewertung an den Börsen,

28:51 SPEAKER_01: die Bewertung von einzelnen Unternehmen,

28:53 SPEAKER_01: die Zukunft, also ich sag mal, die Bewertung

28:56 SPEAKER_01: auf eine Zukunftsaussicht.

28:59 SPEAKER_01: Wenn Du jetzt sagen würdest beispielsweise,

29:00 SPEAKER_01: okay, ab heute hören wir mal auf mit KI und und und drehen mal auf 20 22 zurück,

29:05 SPEAKER_01: da hat, glaub ich, niemand dran Interesse.

29:08 SPEAKER_01: Und insofern ist es vermutlich schon sone Art Tanz zwischen,

29:11 SPEAKER_01: wie hart müssen wir da reingehen?

29:13 SPEAKER_01: Welche welche Guardwells muss es geben?

29:16 SPEAKER_01: Und wo wollen wir auch, dass es schnell weitergeht? Und ich glaub, da ist Europa wahrscheinlich auf son bisschen auf Verlorenem Posten. Wir haben probieren, Dinge sehr stark zu regulieren, aber haben eigentlich sind eigentlich nur Papiertiger in gewisser Weise.

29:28 SPEAKER_01: Und die USA sehen sich in' in'

29:31 SPEAKER_01: starken oder in' Systemkampf gegen China.

29:35 SPEAKER_01: Und die Chinesen haben sehr sehr starke Modelle, sind da auch hinterher, auch der Staat ist da hinterher, dass es weitergeht.

29:41 SPEAKER_01: Es ist in' superschwierigen Gemengelage und ich weiß jetzt nicht, ob's die allerhöchste Priorität ist, die Sicherheitsrisiken einzuhegen oder ob sich andere Prioritäten gibt. Ich hab einfach das Gefühl, dass da son großer

29:53 SPEAKER_00: Kontrast ist.

29:55 SPEAKER_00: Einmal

29:56 SPEAKER_00: kommen gefühlt

29:57 SPEAKER_00: jeden Tag neue Modelle aufn Markt Ja. Und das ist natürlich auch im Fokus, neue Modelle zu veröffentlichen.

30:04 SPEAKER_00: Und auf der anderen Seite

30:06 SPEAKER_00: entsteht ja durch solche Vorfälle oder andere

30:10 SPEAKER_00: auch ein konkreter Schaden durch diese Modelle, durch Werkzeuge,

30:14 SPEAKER_00: die das gilt zu begrenzen.

30:17 SPEAKER_00: Und das ist, wie Du eben so schön gesagt hast, glaube ich, ein gar nicht so einfacher Tanz.

30:23 SPEAKER_01: Ja. Ich hatte heut erst heut eine längere Diskussion mit' Freund von mir, also

30:27 SPEAKER_01: ich bin der Meinung, dass wir wirklich tatsächlich als Europäer gerade reine Taungäste sind, ja. Son bisschen, ich stell dir mal so vor,

30:34 SPEAKER_01: Atomwaffensperrvertrag

30:35 SPEAKER_01: wird verhandelt in den Achtzigern zwischen Gorbatschow und Reagan.

30:40 SPEAKER_01: Und irgendwie Deutschland steht so da und denkt sich, ja okay Jungs, einigt euch mal, wir haben keinen Bock auf Donaukrieg.

30:45 SPEAKER_01: Weil im Zweifel landen die ist die norddeutsche Tiefebene irgendwie ein schönes Ziel, so.

30:53 SPEAKER_01: Ne, und son bisschen ist da grade auch okay,

30:55 SPEAKER_01: Chinesen, Amerikaner, seht mal zu, dass er die Dinger sicher macht,

30:58 SPEAKER_01: denn unsere Systeme sind vulnerabel

31:01 SPEAKER_00: und wir haben nichts, mit dem wir uns wehren könnten. Also hast Du das Gefühl, eigentlich dürften wir gar nicht mitreden, weil wir nicht die richtigen Werkzeuge dafür haben, aber trotzdem reden wir drüber.

31:11 SPEAKER_01: Na ja, stell dir vor, Du hast jetzt irgendwie,

31:14 SPEAKER_01: Du willst die CO2 Emissionen begrenzen und machst ein irgendwie großes Vertragswerk und sagst, okay, wir begrenzen die jetzt.

31:20 SPEAKER_01: Aber Du hast keine Möglichkeit, das zu messen.

31:22 SPEAKER_01: Du hast keinen Satelliten, der dir sagt, nö, also hier ist grade genauso viel Emission wie vorher.

31:28 SPEAKER_01: Kannst Du Wahnsinn. Ne, dann kannst Du irgendwie eine schöne Rede halten, aber es hilft dir nix. Klar. So ein bisschen ist das bei uns. Wir haben den EU AI Act, Juhu.

31:35 SPEAKER_01: Und wir können sagen, ja, wir haben gewisse Regularien für unseren Markt in Europa und der ist ja wichtig.

31:41 SPEAKER_01: Aber dann hast Du halt auch Player heute schon, gar nicht mal

31:44 SPEAKER_01: völlig andere Dimensionen, aber Apple sagt beispielsweise, ja, also die Apple AI, die gibt's halt in Europa nicht.

31:51 SPEAKER_01: So, nö, haben wir keinen Bock drauf.

31:53 SPEAKER_01: Eure Regulierung geht uns ein bisschen aufn Sack.

31:55 SPEAKER_01: Habt ihr halt keine AI in eurem Apple, gut. Scheiße, aber dennoch, ja.

32:00 SPEAKER_00: Ja,

32:01 SPEAKER_01: und damit müssen wir leben, weil wir nicht viel entgegensetzen können. Ja, müssen wir damit leben oder können wir uns nicht mal zusammenreißen und was entgegensetzen? Also ich glaub schon, dass wir als Europäer a die Leute hätten, b das Kapital hätten, c auch das Knowledge hätten, da was zu tun.

32:16 SPEAKER_00: Das könnte noch mal eine ganze eigene Folge werden. Ja.

32:20 SPEAKER_00: Okay, jetzt haben wir sehr viel über diesen konkreten

32:24 SPEAKER_00: Sicherheitsvorfall

32:25 SPEAKER_00: gesprochen.

32:26 SPEAKER_00: Was wären deine konkreten Empfehlungen

32:29 SPEAKER_00: für Menschen, die mit Agenten arbeiten?

32:33 SPEAKER_01: Ja, also

32:35 SPEAKER_01: sich zu überlegen, ja, okay, wie viel wie viel Agency

32:38 SPEAKER_01: hat der Agent?

32:39 SPEAKER_01: Was darf der, was darf er nicht?

32:42 SPEAKER_01: Wie hart sind diese Regeln durchgesetzt?

32:45 SPEAKER_01: Welche Zugänge hat der? Ich mein, wir haben das ja selber schon in anderen Folgen diskutiert. Wir hatten selber so kleine kleine Fälle, wo irgendwie Agenten an unsere Kunden was geschrieben haben.

32:55 SPEAKER_01: Aus meiner Sicht klein.

32:56 SPEAKER_01: Damit verglichen, ja. Ja, damit verglichen, ja.

33:00 SPEAKER_01: Was wird auch protokolliert? Was schau ich mir eigentlich an? Ja, was macht der Agent so den ganzen Tag? Also bei uns ist jetzt so, wenn wir Agenten haben, dann bei den meisten

33:07 SPEAKER_01: sehen wir noch, was schicken die raus, was machen die und haben da irgendwie eine gewisse Transparenz und können dann auch noch eingreifen.

33:14 SPEAKER_01: Wenn ich jetzt irgendwie nur ein Agenten habe, der irgendwas tut und gar nicht mehr raufschaue,

33:17 SPEAKER_01: dann geht das verloren. Ja, auch

33:20 SPEAKER_01: was hab ich für Dinge, die ich rückgängig machen kann?

33:24 SPEAKER_01: Ja, wenn meine Daten ohne also unwiederbringlich gelöscht sind, ich keine Back ups hab, blöd.

33:29 SPEAKER_01: Wenn ich einmal eine falsche E-Mail rausschicke, ist vielleicht auch okay, ja.

33:32 SPEAKER_01: Ne, also

33:34 SPEAKER_01: Fähigkeit, Instanzen,

33:35 SPEAKER_01: Laufzeit,

33:36 SPEAKER_01: Werkzeuge, Berechtigung,

33:38 SPEAKER_01: erreichbare Systeme, all das kommt in sone in sone Risikobetrachtung

33:41 SPEAKER_01: rein.

33:42 SPEAKER_01: Das ist das eine, was Agenten angeht und generell

33:45 SPEAKER_01: müssen wir uns, glaub ich, jetzt schon noch mal klarer machen,

33:48 SPEAKER_01: wie wir unsere Systeme schützen,

33:50 SPEAKER_01: ja. Und dass es eben passieren kann, dass Dinge gehackt werden, ohne dass da jemand

33:55 SPEAKER_01: explizites hacken will.

33:58 SPEAKER_00: Würdest Du sagen, der Fall hat irgendwas

34:01 SPEAKER_00: geändert an deiner Einschätzung oder deiner Meinung gegenüber

34:05 SPEAKER_00: KI oder speziell Agenten? Ja,

34:08 SPEAKER_01: schon. Ja, schon.

34:10 SPEAKER_01: Ich glaube, ich hab das vorher ein bisschen auf die leichte Schulter genommen und gesagt, ja, was soll denn groß passieren?

34:15 SPEAKER_01: Ja, aber dieses Ding, dass aus'

34:19 SPEAKER_01: Ziel heraus des Trainings in diesem Exploit Gym

34:22 SPEAKER_01: dann eine der führenden Seiten für KI Modelle

34:26 SPEAKER_01: gezielt angegriffen wird.

34:29 SPEAKER_01: Schon gruselig. Schon ist schon krass. Ja. Ja? Und wenn ich mir überlege, dass Du

34:35 SPEAKER_01: das einfach auch nutzen könntest, was anderes anzugreifen mit' gezielten

34:40 SPEAKER_01: Vektor,

34:41 SPEAKER_01: das ist schon abgefahren. Und das hat natürlich auch noch mal

34:44 SPEAKER_01: meinen Blick darauf geschärft zu sagen, okay, was muss ich eigentlich mitdenken, wenn ich selber mit Agenten arbeite,

34:49 SPEAKER_01: was die alles nicht dürfen und

34:52 SPEAKER_01: was auch passieren kann, ohne dass ich's aufm Schirm habe. Ich glaub, niemand bei OpenAI hatte vor, dass das passiert

34:57 SPEAKER_01: oder hatte aufm Schirm, dass es passieren könnte.

35:00 SPEAKER_00: Okay, sprich, man ändert vielleicht son bisschen die Reihenfolge, wie man an vor allem argentische Arbeit rangeht und denkt zuerst nach über

35:10 SPEAKER_00: Begrenzungen

35:11 SPEAKER_00: und

35:12 SPEAKER_00: vielleicht auch irgendwelche Worst Case Szenarien,

35:14 SPEAKER_00: Killregeln,

35:15 SPEAKER_01: solche Sachen. Also wir haben in Folge 68 auch ein Stück weit drüber gesprochen, ne, auch über die Erfahrungen, wo wir gesagt haben, wir brauchen Freigaben und Stopprechte. Ja. Würde ich vielleicht jetzt noch erweitern auf, wir

35:26 SPEAKER_01: brauchen irgendwie Szenarien, was passieren kann und was sind Strategien dagegen.

35:31 SPEAKER_01: Und

35:32 SPEAKER_01: ja, dieser Flaschenhals, den wir in 66 besprochen hatten in Richtung Freigabe und Prüfung,

35:38 SPEAKER_01: das wird halt noch krasser. Also wenn ich mir jetzt überlege, da gab's jetzt ein System mit 1200 Agenten,

35:42 SPEAKER_01: da ist ja niemand mehr in der Lage, jeden einzelnen Agenten, der da irgendwie zu überprüfen.

35:47 SPEAKER_01: Ja. Kannst Du vergessen. Da musst Du also irgendwie noch mal andere Systeme finden, diesen Flaschenhals aufzulösen.

35:54 SPEAKER_01: Ja, und

35:55 SPEAKER_01: jetzt vielleicht ein bisschen technischer heute die Folge gewesen, noch ein bisschen konfus, aber

35:59 SPEAKER_01: bewegt mich schon.

36:02 SPEAKER_01: Schlussworte.

36:04 SPEAKER_01: Irgendwie überlasse ich dir.

36:08 SPEAKER_00: Geht vorsichtig mit KI

36:11 SPEAKER_00: vor allem mit euren KI Agenten

36:13 SPEAKER_00: und denkt nicht nur an das Ziel, was ihr erreichen wollt, sondern auch,

36:17 SPEAKER_00: was auf dem Weg eventuell passieren könnte.

36:21 SPEAKER_01: Ich hab die zur Vorbereitung der der Episode haben wir einige Sachen recherchiert, das Post Morthome von OpenAI.

36:27 SPEAKER_01: Es ein super supercoolen Podcast von Draw Kesh,

36:30 SPEAKER_01: der sich da mit'

36:32 SPEAKER_01: sehr erkundigenden Forscherin unterhalten hat. All das verlinken wir in den Shownotes, wenn ihr da tiefer einsteigen wollt. Und

36:39 SPEAKER_01: danke für eure Aufmerksamkeit.

36:41 SPEAKER_01: Wir haben keine zu viel Angst gemacht. Ich fand aber, es ist schon ein Thema, was relevant

36:45 SPEAKER_01: ist.

36:46 SPEAKER_01: Vor allem so ein Podcast wie in unseren.

36:48 SPEAKER_01: Wenn euch das gefallen hat oder auch nicht gefallen hat, lasst es uns wissen,

36:52 SPEAKER_01: sprecht über uns, empfehlt uns gern weiter. Wir freuen uns darüber.

36:55 SPEAKER_00: Bis zum nächsten Mal. Bis dann. Tschau.