Zum Inhalt springen
Co-Intelligence

// Transkript

#35: Prompting ist tot? Warum KI jetzt den Prompt schreibt

Vollständiges Transkript dieser Episode des Co-Intelligence Podcasts. 5.892 Wörter. · Auf YouTube ansehen ↗

0:00 Intro & Thema

0:00 SPEAKER_00: Größte Modell grade ist irgendwie, 1 zu diesen Codg Modellen, Codg 4 verast, irgendwie 2000000 Contactsfenster.

0:06 SPEAKER_00: Die GPT Modelle, die Norman 9, die haben nur 400000 heutzutage.

0:10 SPEAKER_01: Wenn man jetzt von 2000000

0:12 SPEAKER_01: Contacts

0:13 SPEAKER_01: spricht, dann meint man 2000000 Token. Und zwar in den Token sind so, nachdem wie man's rechnet, vielleicht so 1250000

0:19 SPEAKER_01: Wörter,

0:20 SPEAKER_01: fast so viel wie alle 7 Harry Potter Band da zusammen.

0:27 SPEAKER_01: Willkommen zurück

0:29 SPEAKER_01: Cointelligence,

0:30 SPEAKER_01: eurem KI Lernpodcast

0:32 SPEAKER_01: mit Moritz Heininger,

0:34 SPEAKER_01: Nala und mir Benjamin Wüstenhagen. Weil's so schön ist, ist sie wieder dabei. Sie ist eine arbeitslose.

0:40 SPEAKER_00: Genau.

0:41 SPEAKER_00: Die Rolle gibt es nicht mehr.

0:44 SPEAKER_01: Heute geht's nicht nur Prompts, es geht vielmehr Metaprompting,

0:49 SPEAKER_01: Kontext Engineering und ein bisschen Agenten

0:52 SPEAKER_01: und Spider-Man.

0:53 SPEAKER_00: Und Spider-Man. Genau. Und mit Spider-Man wollen wir anfangen und zwar mit dem bekannten Meme, das ihr da kennt, wie quasi der eine Spider-Man auf den anderen Spider-Man zeigt.

1:02 SPEAKER_00: Und zwar ist das eine gute Einleitung zum Thema Metaprompting.

1:06 SPEAKER_00: Und was ist Metaprompting?

1:08 SPEAKER_00: Mit der KI zu prompten. Also ich geh nicht rein, versuche, den perfekten Prompt zu erstellen,

1:14 SPEAKER_00: dann sozusagen

1:15 SPEAKER_00: mich über potenziell mehrere Stufen zum Ziel zu hangeln,

1:19 SPEAKER_00: sondern ich lasse erst mal in einem KI Shirt einen Prompt erstellen

1:23 SPEAKER_00: und verwende diesen Prompt dann sozusagen

1:26 SPEAKER_00: weiter. Das Ganze nennt sich Meta Prompting.

1:29 SPEAKER_00: Hat den großen Vorteil, dass ich gar nicht so perfekt selbst prompten können muss, ne. Also die Regeln zählen, die wir letztes Mal angesprochen haben.

1:37 SPEAKER_00: Richtiges, klares Ziel vorgeben,

1:39 SPEAKER_00: vorgeben,

1:41 SPEAKER_00: aber ob ich denn den Prompt richtig formatiere oder wie. Das

1:44 SPEAKER_01: macht dann die KI für mich. Lass dir im Prinzip ein Briefing geben, bevor Du den Auftrag vergibst.

1:50 SPEAKER_00: Ziemlich, genau. So, ja. Und wir haben da eine kleine

1:54 SPEAKER_00: 6 Schritte Methode,

1:56 SPEAKER_00: ne, uns überlegt, die wir heut gerne besprechen würden im ersten Teil vom Podcast.

2:01 SPEAKER_01: Der 1. Schritt ist für alle Lebensbereiche wichtig?

2:05 SPEAKER_00: Genau. Das Nachdenken. Genau, Hirn anschalten.

2:08 SPEAKER_00: Schritt 1 ist nachdenken

2:10 SPEAKER_00: und Hirn anschalten.

2:12 SPEAKER_00: Ja. Denn das hilft, surprise, surprise,

2:15 Warum klassisches Prompting an Grenzen stößt

2:16 SPEAKER_00: manchmal in der Ebene, wenn ich irgendwelche Aufgaben lösen möchte. Und so ist es natürlich hier. Und tatsächlich,

2:22 SPEAKER_00: also ich bin auch teilweise noch Oldschool,

2:24 SPEAKER_00: nehm ich mir erst mal ein Stift und ein Papier.

2:28 SPEAKER_00: Man kann das natürlich auch in dem Prompt Fenster selbst machen, aber ich überleg mir erst mal, nachdem ich mein Ziel definiert hab, was ist denn eigentlich alles relevanter Kontext, der mir so in den Kopf kommt?

2:40 SPEAKER_00: Ja, und Schritt 1 ist für mich, also wirklich zu überlegen, gar nicht so strukturiert,

2:44 SPEAKER_00: sondern was ist das Ziel und was braucht man denn eigentlich,

2:47 SPEAKER_00: dieses Ziel zu erreichen im Kontext an Informationen?

2:51 SPEAKER_00: Und das ist Schritt 1, hierhin entscheiden.

2:54 SPEAKER_01: Ziel festlegen, Kontext festlegen, Zielgruppe festlegen und

2:58 SPEAKER_01: überlegen, was könnten noch weitere relevante Informationen sein?

3:01 SPEAKER_00: Genau.

3:03 SPEAKER_00: Schritt

3:04 SPEAKER_01: 2. Ist dann tatsächlich die Erstellung dieses

3:06 SPEAKER_01: Meta Prompts.

3:08 SPEAKER_01: Meta ist hier nicht Facebook gemeint, sondern tatsächlich die

3:12 SPEAKER_01: höhere Ebene.

3:14 SPEAKER_00: Genau. Ich sag der KI quasi,

3:16 SPEAKER_00: liebe KI,

3:17 SPEAKER_00: dein Ziel ist es, mir einen Prompt zu erstellen,

3:21 SPEAKER_00: und zwar für

3:23 SPEAKER_00: folgendes

3:24 SPEAKER_00: Thema.

3:25 SPEAKER_00: Hier ist das Ziel, was ich erreichen möchte.

3:27 SPEAKER_00: Hier ist irgendwie alles, was ich als relevant erachte dafür, diesen Prompt zu erstellen.

3:33 SPEAKER_00: Was

3:35 SPEAKER_00: brauchst Du noch oder welche Informationen fehlen dir eigentlich noch von mir,

3:40 SPEAKER_00: den perfekten Prompt zu erstellen?

3:42 SPEAKER_00: Und das ist quasi Schritt 2. Nachdem ich mir Gedanken gemacht hab, was ich eigentlich machen will, sag ich der KI, sie sollen mir ein Prompt erstellen. Gebt ihr alles, was ich schon im Kopf habe, was ich mir in Schritt 1 überlegt habe und lass mir dann erst mal Fragen stellen von der KI. Also der 1. Schritt ist, ich sag nicht KI, stell mir sofort ein Prompt, sondern die Gedanken hab ich mir gemacht, stell mir jetzt alle weiteren Fragen,

4:01 SPEAKER_00: dann erst zu' Prompt zu kommen. Das ist quasi Schritt 2. Und damit werden natürlich alle Fehlinformationen

4:08 SPEAKER_01: eingefordert.

4:10 SPEAKER_01: Das ist, find ich, relevant sowohl für Prompts in LLMs als auch in

4:14 SPEAKER_01: so Dinger wie oder

4:16 SPEAKER_01: generell Sachen. Also wenn ich da manchmal anfange, irgendwie zu vipe coden, frag ich auch, gibt's irgendwas, was ich noch bedenken sollte? Hab ich was vergessen? Ja.

4:23 SPEAKER_00: Genau und das ist dann quasi Schritt 3. Man muss wissen, wie der wie der Mensch kommunizieren würde. Hier ist irgendwie eine Aufgabe. Ich hab mir irgendwie folgende Sachen überlegt,

4:32 SPEAKER_00: den Kontext erst für dich irgendwie relevant.

4:34 SPEAKER_00: Was brauchst Du denn noch von mir, ne, die Aufgabe zu erfüllen?

4:39 SPEAKER_00: Und dann

4:41 SPEAKER_00: fragt mich die KI in dem Fall, was alles noch fehlt oder sagt mir, was noch fehlt. Und diese Informationen stell ich dann bereit. Und das kann manchmal son bisschen Back and Force sein, bis die KI sagt, okay, jetzt hab ich alles gecheckt. Da ist mir eine Information gegeben, die ich irgendwie brauche,

4:54 SPEAKER_00: ja. Und das ist dann sozusagen

4:56 SPEAKER_00: der 4. Schritt.

4:58 SPEAKER_00: Die KI lässt mir sozusagen diesen Prompt oder erstellt mir sozusagen diesen Prompt. Was ich da immer noch mache, ist, ich sag der KI, sie soll mir einen Prompt im Markdown Format erstellen,

5:09 SPEAKER_00: sodass ich den Prompt direkt kopieren kann. Schreib doch mal kurz, was Markdown ist. Markdown

5:14 SPEAKER_00: ist

5:15 SPEAKER_00: im Wesentlichen eine Strukturierungsform,

5:19 SPEAKER_00: so wie's HTML Code irgendwie auch ist. In einem HTML Code kann ich irgendwie angeben,

5:25 SPEAKER_00: Text strukturiert ist, sone Maschine versteht, was eine Überschrift,

5:28 SPEAKER_00: was ist irgend eine Subüberschrift,

5:30 SPEAKER_00: was ist ein Paragraf und so weiter und so fort. Und ähnlich ist es auch bei markdown.

5:35 SPEAKER_00: Und markdown, das sieht man oft von diesen Rauten und so Sternchen und so weiter. Aber ich muss selbst überhaupt nicht genau verstehen, wie dieses Format funktioniert,

5:40 Meta-Prompting: Wenn KI ihren eigenen Prompt schreibt

5:43 SPEAKER_00: aber KI Systeme verstehen halt Marktdown Formate sehr gut. Und statt jetzt irgendwie selbst da irgendwelche Rauten reinzumachen und Sternchen reinzumachen, sag ich halt in dem Schritt, hey, erstell mir diesen Prompt im Marklaudformat,

5:54 SPEAKER_00: sodass ich ihn direkt kopieren kann. Und das Coole ist bei diesen Tools wie Chippet oder Co-Pil, bei German heißt es genauso, ist, dass man den Text dann nicht einfach so im normalen Textfenster zurückbekommt,

6:04 SPEAKER_00: sondern dass man son wie son separates

6:05 SPEAKER_00: Fenster im Fenster bekomm. Ja, ja. Und da ist dann schon son Copylick Ja, ja. Symbol und dann kann ich den Prompt quasi direkt rauskopieren. Ja.

6:13 SPEAKER_00: Unsicher wegen der neuen EU KI Verordnung, die Kompetenzpflicht

6:17 SPEAKER_00: für den beruflichen Einsatz von KI Tools ist da. SnipKI bietet die Lösung. Unsere spezielle

6:22 SPEAKER_00: Schulung zu Artikel 4 konzipiert mit Rechtsanwälten macht dich und dein Team fit.

6:27 SPEAKER_00: Verstehe die rechtlichen Grundlagen und nutze KI Potenziale ohne Risiko.

6:32 SPEAKER_00: Investiere in Rechtssicherheit und Kompetenz.

6:35 SPEAKER_00: Informier dich jetzt über die Schulung SnipKI

6:37 SPEAKER_00: Punkt d e.

6:39 SPEAKER_01: Schritt,

6:40 SPEAKER_01: das ist dann sozusagen den Prompt generieren.

6:42 SPEAKER_00: Jetzt könnte man sogar noch Schritt 4 b einfügen und sagen, bewerte mal deinen eigenen Prompt, mach ich manchmal ganz gerne, haben wir jetzt hier nicht drin, aber Ja, bewerte oder wie könntest Du's noch besser machen, ne? Immer dieses Vibecoding, es ist ja auch oft so. Ja. Mach's noch besser, mach's noch besser. Und dann jedes Mal überlegt er sich, was er noch besser machen könnte.

6:58 SPEAKER_00: Das kann man machen, aber meistens find ich, ist eigentlich der 1. Auf der 1. Schritt eigentlich schon immer sehr gut, zumindest rein objektiv, ne. Jetzt gilt's natürlich,

7:07 SPEAKER_00: mit Schimpfwörter zu machen.

7:10 SPEAKER_01: Testen und ausführen, den Marktdown Prompt oder welchen Prompt auch immer, vielleicht in' neuen Chatfenster einfach einfügen und gucken, was bei rauskommt.

7:18 SPEAKER_00: Genau.

7:20 SPEAKER_01: Dann

7:21 SPEAKER_00: vielleicht dann noch mal zu bewerten und zu verfeinern. Genau, Schritt 6 wär dann quasi das Ganze noch irgendwie zu optimieren. Also Schritt 5, ich teste diesen entstandenen Prompt.

7:30 SPEAKER_00: Schritt 6 ist, wenn ich irgendwie nicht zufrieden bin, dann optimier ich den Prompt wieder mit sehrem neuen Fenster, kommt zum Ergebnis, bis ich jemand sage, okay, das Ergebnis passt für mich nicht. Und tendenziell kann man vielleicht auch oft schon Schritt 4 aufhören, wenn der Prompt fertig ist, wenn's jetzt so einfache Themen irgendwie sind, ne. Wenn's jetzt wenn ich beispielsweise sonen Prompt erstelle für ein GPT, was ein GPT ist, haben wir ja schon in den vergangenen Folgen besprochen, wir haben's ja quasi sone kleine für wiederkehrende Tasks und da ist ja son Systemprompt drin, ne. Und der soll natürlich immer das

8:01 SPEAKER_00: beste Ergebnis liefern und der muss natürlich ein bisschen getweect werden über die Zeit. Und das könnt ich quasi in sonem Prozess machen. Ich bekomm den Prompt, Schritt 5, ich teste ihn aus, bin nicht ganz zufrieden. Schritt 6, detailliertere den, mach wieder neuen, probier den wieder aus, bis ich irgendwann sage, cool, jetzt hab ich hier mit dem ersten Ergebnis eigentlich ein Ergebnis, mit dem ich 100 Prozent zufrieden bin. Wichtig aber auch bei der Iteration ist, das Ganze systematisch zu machen. Hilft jetzt nicht zu sagen, gefällt mir nicht so, irgendwie

8:26 SPEAKER_01: war nix. Ja. Sondern vielleicht jetzt zu sagen, hey, Korrektheit, Stil,

8:31 SPEAKER_01: Struktur,

8:32 SPEAKER_00: whatever, ne, so das ein bisschen näher eingrenzt. Und wie ich das interier, also ich interier oft dann nicht mit der KI und sag, veränder den Prompt noch mal irgendwie zu x y, sondern ich nehm den Prompt

8:42 SPEAKER_00: und editier den dann selbst, wo ich irgendwie sage, okay, da kommt noch irgendwie ein Satz Hier irgendwie würde

8:49 SPEAKER_00: x y noch helfen. Und dann probier ich das quasi aus. Das ist dann wirklich einfach son eigener iterativer Prozess,

8:55 SPEAKER_00: sozusagen immer besser zu Ergebnissen zu bekommen. Aber Long Story Short, ich muss kein absoluter Promptexperte oder -expertin sein. Ich muss nur erst mal gut kommunizieren können, was ich irgendwie vorhabe

9:06 SPEAKER_00: und mir Gedanken machen, Klar. Was ich alles machen will. Und die KI hilft mir dann, ein sehr, sehr gut strukturierten Prompt im Marktformat

9:10 Die 6-Stufen-Methode: Ziel → Meta → Infos → Prompt → Test → Refinement

9:13 SPEAKER_00: zu erstellen. In der Regel sind da so viel mehr Sachen drin, an die ich überhaupt selbst gar nicht gedacht hätte. Selbst hätte ich von meiner Meinung nach den perfekten Prompt und hätte mir eine halbe Stunde Zeit genommen, irgendwie ein sehr coolen Prompt zu schreiben,

9:27 SPEAKER_00: wär ich in allermeisten Fällen nicht so gut gewesen wie die KI, ne. Auch und ich würd sagen, ich kann tendenziell gut prompten im Vergleich zum Durchschnittsbürger,

9:36 SPEAKER_00: aber trotzdem bin ich nicht so gut wie die KI Systeme,

9:38 SPEAKER_00: wenn ich vorher eben die relevanten Kontext gebe und mein Ziel, einfach sonen Prompt zu erstellen.

9:43 SPEAKER_01: Also nachdenken,

9:44 SPEAKER_01: Meta Prompt erstellen, alle Informationen bereitstellen,

9:48 SPEAKER_01: das Ganze dir generieren lassen,

9:50 SPEAKER_01: testen, iterieren.

9:51 SPEAKER_00: Genau.

9:52 SPEAKER_00: Jetzt

9:53 SPEAKER_00: denken vielleicht manche Leute, boah, ist das nicht irgendwie komplett Overkill und ja,

9:58 SPEAKER_00: es kommt drauf an, was ich fürn Use Case habe, kann das komplett Overkill sein, ne? Wenn ich jetzt

10:04 SPEAKER_00: der KI sage, hier ist eine irgendwie eine 1 schlecht vorgeschriebene E-Mail von mir und checkt die irgendwie auf Grammatikfehler und schreibt die ein bisschen formeller oder professioneller,

10:13 SPEAKER_00: dann langt wahrscheinlich auch einfach dieser eine Satz und ich muss jetzt nicht noch x Kontext geben, wer ich bin, was mein Unternehmen macht und so weiter und so fort, ne. Also bei so einfachen Aufgaben ist das natürlich Overkill. Also ich muss natürlich immer überlegen, was was was mach ich denn eigentlich grade?

10:28 SPEAKER_00: Und

10:29 SPEAKER_00: spielt hier ein sehr guter

10:32 SPEAKER_00: prompt

10:33 SPEAKER_00: eine große Rolle, was das Ergebnis am Ende irgendwie angeht, ja? Bei verbessern meine Grammatikfehler oder kürzen wir mal den Absatz irgendwie

10:41 SPEAKER_00: 30 Prozent,

10:43 SPEAKER_00: brauch ich jetzt wahrscheinlich nicht ganz so viel Komplexität

10:46 SPEAKER_01: im Struktur in meinem Brain. Aber tendenziell wären ja die Modelle besser.

10:50 SPEAKER_01: Ja, wir sehen, dass streng, dass viel

10:53 SPEAKER_01: schwierigere Aufgaben erledigt werden können,

10:56 SPEAKER_01: dass teilweise die KI Systeme Minuten,

10:58 SPEAKER_01: Stunden,

10:59 SPEAKER_01: vielleicht demnächst auch Tage nachdenken.

11:01 SPEAKER_01: Also auch die Probleme, die ich darauf werfe, werden halt größer. Ist nicht nur, mach mal die E-Mail schöner und dementsprechend muss ich natürlich auch ein bisschen mehr Hirnschmalz in diesen Prompt reinstecken. Da kommen wir nämlich zu dem Thema Kontextfenster.

11:13 SPEAKER_01: Mhm. Je größer das Kontextfenster

11:15 SPEAKER_01: ist, desto mehr Kontext kann ich reingeben

11:18 SPEAKER_01: und je größer das Kontextfenster ist, desto schwieriger können auch die Aufgaben sein, die ich dieser KI gebe.

11:25 SPEAKER_00: Superwichtige

11:26 SPEAKER_00: und superwichtige

11:27 SPEAKER_00: Herleitung auch zum Thema Kontext Engineering, wo wir gleich noch drauf einkommen.

11:31 SPEAKER_00: Son, man kann sich das so vorstellen, man kann nur maximal x Tokens oder vielleicht auch Wörter an son KI Modell schicken,

11:40 SPEAKER_00: bis es verwirrt ist. Und wenn das Kontextfenster voll ist, dann fängt die KI quasi an, verwirrt zu sein. Und man muss dabei wissen, dass jedes Mal, wenn ich son neu, wenn ich ein Chat habe und eine Antwort gebe,

11:52 SPEAKER_00: Was im Hintergrund passiert, ist, diese Antwort von mir wird hinzugenommen

11:56 SPEAKER_00: zu allem anderen, was vorher schon besprochen wurde und wieder neu ins System geschickt. Und das heißt, dieses

12:03 SPEAKER_00: Fenster, wie viel Informationen quasi immer in die KI geschickt werden, wird immer größer mit jeder weiteren Chatstufe,

12:10 SPEAKER_00: ja. Zusätzlich kommt natürlich auch der ganze Kontext, den ich reingegeben habe, die Files, die ich reingegeben habe, die auch quasi jedes Mal sozusagen wieder mitgeschickt werden.

12:19 SPEAKER_00: Ja, die Modelle sind zwar smarter geworden mittlerweile auch mit so so so Cachingthemen

12:24 SPEAKER_00: und so weiter, aber grundsätzlich

12:26 SPEAKER_00: muss man einfach wissen

12:28 SPEAKER_00: und deswegen sollte man auch nicht einfach unendlich viel Kontext reingeben, weil diese Modelle begrenzt

12:33 SPEAKER_00: sind. Und die können unterschiedlich viel,

12:36 SPEAKER_00: ja, also

12:38 SPEAKER_00: und

12:39 SPEAKER_00: unterschiedlich

12:40 SPEAKER_00: gut viel, ja, und rudern da auch teilweise zurück. Also ich hab das größte Modell grade ist irgendwie 1 in diesen Grog Grog Modellen, Grog 4,

12:50 SPEAKER_00: die haben eine 2000000 Kontextfenster.

12:52 SPEAKER_00: Die GPT Modelle, die 9, 9 in Anführungsstrichen, GPT 5,

12:56 SPEAKER_00: die haben nur 400000 beispielsweise.

12:59 SPEAKER_01: Und wenn man jetzt von 2000000

13:01 SPEAKER_01: Kontextfenster spricht, dann meint man 2000000 Token. Und zwar in den Token sind so, je nachdem, wie man's rechnet, vielleicht so 1250000

13:07 SPEAKER_01: Wörter.

13:08 SPEAKER_01: Das ist so viel wie alle 7 Harry Potter Bände zusammen. Das ist schon eine ganze Menge und auch deutlich mehr als früher in' SMS mit 106 160 Zeichen und Ja. Am Markt 89.

13:18 SPEAKER_00: Ja. Meiner Meinung nach, also wenn man

13:21 SPEAKER_00: mein Favorit Model

13:23 SPEAKER_00: aktuell für Themen, die großes Kontextfenster brauchen,

13:27 SPEAKER_00: ist Germania 2 Punkt 5. Die haben jetzt Google. Ja. Von Google.

13:31 SPEAKER_00: Die hatten mal 2000000. Die haben auch das Modell beworben mit 2000000 und haben dann gemerkt, dass das Modell zu viel Fehler macht und haben's dann wiederum auf 1000000 begrenzt sozusagen, weil sie gemerkt haben, dass das Modell sozusagen sicherer ist. Und das ist wahrscheinlich auch der Grund, warum die GPD 5 Modelle auf 400 k begrenzt sind,

13:48 SPEAKER_00: weil sonst einfach zu viel Murks,

13:51 SPEAKER_00: zu viel

13:52 SPEAKER_00: Halluzinationen und so weiter wahrscheinlich rauskommen.

13:55 Context-Engineering: Relevante Infos zur richtigen Zeit

13:55 SPEAKER_00: Ich bin gespannt, wahrscheinlich wird meine Aussage nicht gut altern. Ich geh mal davon aus, dass im

14:01 SPEAKER_00: November,

14:02 SPEAKER_00: spätestens Dezember das Dreiermodell rauskommt von Germani

14:07 SPEAKER_00: Und

14:08 SPEAKER_00: das hoffen, dass es wahrscheinlich sogar noch viel besser wird, auch was Kontextängste angeht. Aber aktuell, wenn man mit vielen,

14:15 SPEAKER_00: vielen Informationen

14:17 SPEAKER_00: umgeht und Kontext braucht, ist mein Favorit, wie gesagt, das Google Gemini 2 5 Modell. Ich find bei

14:24 SPEAKER_00: bei Claude

14:26 SPEAKER_00: jetzt im 4 fünfer Modell, das hat mich ja ein bisschen vergrößert auf 1000000,

14:30 SPEAKER_00: da geht's jetzt mittlerweile.

14:32 SPEAKER_00: Ich bin in den letzten Monaten bei Claude superschnell in dem also im Chat

14:36 SPEAKER_00: an irgendwie Grenzen gestoßen und ich find auch, dass GPT 5 tatsächlich

14:40 SPEAKER_00: bei längeren Chats relativ schnell verwirrt ist, ja, was einfach an diesen 400000

14:44 SPEAKER_01: Tokens liegt. Und es gibt dieses Phänomen des,

14:47 SPEAKER_01: das heißt,

14:49 SPEAKER_01: ich geborene viele Tokens rein. Mhm. Das

14:52 SPEAKER_01: Modell kann sich an den Anfang erinnern, kann sich ans Ende erinnern, aber das, was in der Mitte ist, das das geht irgendwie verloren.

14:58 SPEAKER_01: Ja.

14:59 SPEAKER_01: Wird beschrieben, warum das so ist? Ich kenn also bisher noch keine gute Begründung.

15:04 SPEAKER_00: Ja, das ist total witzig, weil also warum kann ich dir auch nicht sagen, aber bei Menschen ist es genauso. Es gibt nämlich Studien, wenn Du bei irgend sonem Kontext teilnimmst,

15:13 SPEAKER_00: beispielsweise der Eurovision

15:15 SPEAKER_00: Song Context,

15:17 SPEAKER_00: den ich natürlich jedes Mal schaue.

15:20 SPEAKER_00: Es ist so, dass wenn Du am Anfang kommst oder am Ende drankommst,

15:24 SPEAKER_00: schneidest Du viel besser ab, als wenn Du in der Mitte drankommst. Das liegt daran, dass die Leute irgendwann am Anfang viel mehr Fokus haben und am Ende viel mehr Fokus haben und in der Mitte weniger.

15:33 SPEAKER_00: Und da gibt's ganz viele Studien zu. Es ist irgendwie auch menschlich, das ist aber auch ja bei der künstlichen Intelligenz so. Aber wo genau woran das liegt, dass die KI das irgendwie genauso macht wie den Menschen, ob's irgend ein Zusammenhang gibt, ist auf jeden Fall

15:48 SPEAKER_01: trotzdem spannendes Thema. Was ich noch ganz wichtig ist bei diesem Kontextfenster,

15:51 SPEAKER_01: da ist natürlich auch ein Kosten Kostenthematik

15:54 SPEAKER_01: dabei. Je mehr Tokens ich durch die Gegend schicke,

15:57 SPEAKER_01: desto höher sind auch die Kosten, wenn ich jetzt irgendwie

16:00 SPEAKER_01: 20 Euro flat zahle, ist es mir egal, aber wenn ich die API nutze, dann eben nicht mehr. Ja. Und was wir schon sehen, das ist auch eine wahnsinnig krasse Entwicklung in der sogenannten Inference.

16:09 SPEAKER_01: Das heißt, in der Rechenzeit,

16:11 SPEAKER_01: die die Anbieter von KI selber

16:13 SPEAKER_01: nutzen müssen,

16:15 SPEAKER_01: mit den ganzen Anfragen zurechtzukommen. Und wenn ich dann auf einmal auch Video reinnehme und von 8 Sekunden auf 16 Sekunden gehe, dann hab ich eben eine Vervielfachung

16:23 SPEAKER_01: dessen. Ja.

16:25 SPEAKER_00: Was da auch spannend ist mit

16:28 SPEAKER_00: dem Thema Kontext ist,

16:30 SPEAKER_00: ist das neue Claude Skills.

16:32 SPEAKER_00: Als ich hab das schon mal angeschaut, Claude Skills ist...

16:36 SPEAKER_00: Im Prinzip kannst Du's dir vorstellen, jedes Skill ist eine Textdatei, in der sehr detailliert Claude beigebracht wird, wie es irgendwas umsetzt. Also beispielsweise so irgendwie machst Du Fact Checking, so

16:48 SPEAKER_00: erstellst Du irgendwie eine Präsentation,

16:50 SPEAKER_00: so irgendwie analysierst Du irgend ein Code, so schreibst Du irgend ein Code. Das ist wie sone eine an

16:57 SPEAKER_00: an Fähigkeiten.

16:59 SPEAKER_00: Und

17:00 SPEAKER_00: das funktioniert so,

17:02 SPEAKER_00: denn je mehr, wenn ich diese ganzen Fähigkeiten sozusagen mit einem prompt mitgeben würde und laut sage, such dir für die Aufgabe die relevante Fähigkeit aus,

17:12 SPEAKER_00: würde ich den kompletten Kontext mitgeben und dann das ganze Kontextfenster vollladen.

17:17 SPEAKER_00: Wie Claude aber funktioniert, ist mit diesen Skills. Es liest sich eine Kurzbeschreibung durch diese Skills,

17:22 SPEAKER_00: versteht, brauch ich diesen Skill, diese Aufgabe zu lösen?

17:26 SPEAKER_00: Und wenn nicht, liest er nicht

17:29 SPEAKER_00: sozusagen lädt er nicht den kompletten Text mit den ganzen Token. Ja. Ja, und so

17:33 SPEAKER_00: führt es dazu, dass am Ende das Kontextfenster von Claude nicht so voll geladen wird, aber Du hast da trotzdem eine gewisse Flexibilität und Dynamik,

17:40 SPEAKER_00: dort selbst entscheiden zu lassen, welchen Skill zu wählen. Also son bisschen wie, wenn man ChatGPT nutzt, wie GPTs,

17:46 SPEAKER_00: aber dein

17:47 SPEAKER_00: ChatGPT

17:48 SPEAKER_00: Chat kann selbst entscheiden,

17:51 SPEAKER_00: welches GPT es es nutzt sozusagen, wegen der Aufgabe zu lösen und braucht nicht die von

17:57 SPEAKER_00: jedem einzelnen GPT.

17:59 SPEAKER_00: Ja, das sind so Wege, so schlaue Wege eigentlich jetzt von den Model Anbietern,

18:03 SPEAKER_00: dafür zu sorgen, dass die Modelle zwar maximal flexibel und gut darin sind, Aufgaben irgendwie zu lösen, auch semi autonom oder autonom zu lösen, ohne halt das komplette Kontext Kontextfenster

18:14 SPEAKER_00: vollzumüllen.

18:15 SPEAKER_01: Und dann vielleicht auch weniger Kosten zu haben, weil man eben nicht so viele Tokens bearbeiten muss. Ja. Wenn Du von Claude sprichst, dann meinst Du den den Anbieter Anthropic

18:23 SPEAKER_01: mit dem Modell Claude Sonnet

18:25 SPEAKER_00: Ja. 4 5 ist, glaub ich, das scheint jetzt das Neue, dann das Opus 4.

18:30 Format & Beispiele als Steuerungselemente

18:30 SPEAKER_00: Ich weiß nicht, ob's ein Opus 4 5 schon oder ein Opus 4 1.

18:33 SPEAKER_00: Dann Überblick verloren. Ich glaub, es gibt ein Opus 4 1, aber wahrscheinlich wird's auch bald ein Opus 4 5 geben.

18:38 SPEAKER_00: Wird wahrscheinlich

18:40 SPEAKER_00: weniger Hörer oder Hörerinnen direkt unterschreiben. Nein, gibt's schon. Und dann danke

18:44 SPEAKER_00: für den Hinweis.

18:45 SPEAKER_01: Und das, was Du grad angesprochen hast mit den Skills und dass ich verschiedene Skills habe

18:50 SPEAKER_01: und die jeweils mir helfen, Dinge zu lösen. Ist eigentlich schon der 1. Schritt in Richtung Kontext Engineering, dass ich also vielleicht weg vom prompt engineering

18:59 SPEAKER_01: hinkomme

19:00 SPEAKER_01: dahin, dass ich eher kuratiere,

19:02 SPEAKER_01: was sind jetzt die Sachen, die ich benötige?

19:04 SPEAKER_01: Was ist der Kontext, den ich benötige, die Aufgabe zu erledigen?

19:08 SPEAKER_01: Ja, Context Engineering, das neue Prompt Engineering.

19:12 SPEAKER_00: Ein neuer Job für Nada. Ja, zumindest so was den was die Begrifflichkeit

19:17 SPEAKER_00: angeht, das Context Engineering mal die Google Trends anschaut, glaube ich, am Prompt Engineering

19:22 SPEAKER_00: vorbeigezogen.

19:24 SPEAKER_00: Ist natürlich ein bisschen was anderes, weil

19:26 SPEAKER_00: Context Engineering,

19:28 SPEAKER_00: also

19:29 SPEAKER_00: der Begriff ist so wichtig, weil's vor allem halt für Systeme

19:33 SPEAKER_00: relevant ist. Wenn ich irgendwie Agentensystem oder KI Systeme aufbau,

19:36 SPEAKER_00: die ich quasi dynamisch

19:38 SPEAKER_00: für eine gewisse Aufgabe

19:40 SPEAKER_00: den relevanten Kontext zur Verfügung stelle. Also Datenhistorie,

19:44 SPEAKER_00: Regeln,

19:45 SPEAKER_00: Tools man irgendwie verwenden kann und so weiter und so fort. Ist natürlich angelehnt als

19:50 SPEAKER_00: als Prompt Engineering. Aber bei Prompt Engineering

19:53 SPEAKER_00: ist der Fokus eben auf,

19:55 SPEAKER_00: was gibst Du für Anweisungen? Was gibt's für Ziele, Beispiele, Format, ne? Alles, was wir auch in der letzten Folge besprochen haben. Wir haben bei Kontext Engineering der Fokus auf eben diesen

20:05 SPEAKER_00: dynamische

20:05 SPEAKER_00: Versorgung

20:07 SPEAKER_00: dieses Systems

20:09 SPEAKER_00: mit dem relevanten

20:10 SPEAKER_00: Kontext ist Ja. Auch quasi die Aktualisierung

20:13 SPEAKER_00: von irgendwie dem dem Kontext über die Zeit, ne. Beispiel

20:18 SPEAKER_00: GPT. GPT

20:20 SPEAKER_00: ist super für wiederkehrende Aufgaben. Dann brauch ich ein sehr guten Prompt. Wenn man den erstellt, haben wir ja quasi auch mit der 6 oder Schrittmethode

20:27 SPEAKER_00: schon definiert. Aber da rad ich ja ein Wissen rein.

20:31 SPEAKER_00: Dieses Wissen ist statisch, ja? Und wenn ich aber Systeme hab oder autonome,

20:36 SPEAKER_00: semi autonome Systeme, die irgendwie in der Company arbeiten wie ein Mensch, dann brauchen die auch immer die relevantesten

20:43 SPEAKER_00: und aktuellsten Informationen.

20:46 SPEAKER_00: Und das ist dann schon Engineering,

20:47 SPEAKER_00: es heißt ja auch Kontext Engineering

20:49 SPEAKER_00: Aufgabe eigentlich, das

20:51 SPEAKER_00: herzustellen. Und Kontext Engineers oder Kontext Engineering

20:55 SPEAKER_00: ist ultrarelevant

20:57 SPEAKER_00: und total wichtig einfach, wenn ich's wirklich hinbekommen

21:00 SPEAKER_00: möchte, sinnvollere

21:02 SPEAKER_01: KI Systeme und Rentensysteme eben aufzubauen, ja. Son bisschen vergleichbar mitm Lernen. Also wenn ich ein sehr, sehr guten Lehrer, eine sehr, sehr gute Lehrerin hab, dann weiß die jemals, wo ich stehe und kann auf dieser Basis mir dann neue Dinge geben. Ich bleib ja nicht stehen, wenn ich einmal schreiben und lesen kann, würde ich vielleicht dann auch ein bisschen mehr können. Ja. Wenn ich aber immer nur sozusagen auf dem Stand bin, dass ich nur schreiben und lesen kann, dann geht's nicht so richtig weiter. Aber ich muss im Prinzip all das, was ich gelernt habe, immer wieder daran einbeziehen.

21:26 SPEAKER_01: Ja. So ähnlich ist dann auch im Kontext Engineering. Ich möchte es a dynamisch anpassen und b mich natürlich auch weiterentwickeln. Ja. Mit dem, was ich da tue. Ja.

21:35 SPEAKER_01: KI kommt nicht irgendwann. Sie ist schon da. Bist Du bereit? Mit thekey Academy machst Du dich fit für die Zukunft. Onlinekurse

21:43 SPEAKER_01: zu KI,

21:44 SPEAKER_01: digitaler Zusammenarbeit,

21:45 SPEAKER_01: Leadership. Praxisnah, flexibel, IHK zertifiziert.

21:49 SPEAKER_01: Thekey Punkt Academy

21:50 SPEAKER_01: für alle, die mitgestalten wollen.

21:53 SPEAKER_01: Was dabei noch wichtig ist,

21:56 SPEAKER_01: die Begriffsdefinition

21:58 SPEAKER_01: haben wir bisher kaum noch im Prompting gehabt. Macht da durchaus Sinn, wenn ich also mitgebe, was was ist eigentlich die Definition dessen, was ich erreichen möchte?

22:00 Wiederholbarkeit statt Einmal-Prompt

22:06 SPEAKER_01: Weil dann spar ich mir auch viele Tokens, wenn das einmal klar ist. Genau, aber grade diese Tokensparthema,

22:11 SPEAKER_00: dieses Kontextfensterthema

22:12 SPEAKER_00: ist da natürlich total relevant, ne. Also dass ich halt nicht irgendwie

22:17 SPEAKER_00: das System mit

22:19 SPEAKER_00: irrelevantem,

22:20 SPEAKER_00: übermäßigem,

22:21 SPEAKER_00: vielleicht nicht mehr aktuellen

22:24 SPEAKER_00: Kontext sozusagen versorge,

22:26 SPEAKER_00: sondern halt eben zur richtigen Zeit, eine richtigen Content in der relevanten Aktualität

22:31 SPEAKER_00: eben,

22:32 SPEAKER_00: ja, systematisch eben son System zur Verfügung stellen. Die Regeln

22:36 SPEAKER_00: angesprochen hast, sind schon irgendwie auch ähnlich, ne. Also auch da zählt dann einfach weniger ist mehr.

22:41 SPEAKER_00: Also ne, nur das reingeben, was sozusagen mal wirklich relevant ist in diese Systeme.

22:48 SPEAKER_00: Dann

22:48 SPEAKER_00: noch mal und da zählt dann quasi auch schon

22:51 SPEAKER_00: mehr, als wenn ich hier mit ChatGPT spreche,

22:54 SPEAKER_00: das ganze Thema

22:55 SPEAKER_00: Struktur.

22:56 SPEAKER_00: Also ich muss da möglichst idealerweise dann auch im Marketingformat

23:01 SPEAKER_00: angeben,

23:01 SPEAKER_00: was ist eigentlich hier irgendwie eine Regel, die Du befolgen musst? Was sind irgendwie die Daten, die Du verwenden musst? Was sind quasi ganz klar definierte Beispiele, dass die KI quasi von sich aus sofort erkennt,

23:14 SPEAKER_00: was irgendwie wozu gehört,

23:16 SPEAKER_00: ne. Also nicht alles irgendwie reinrotzen und sagen, die KI macht das schon, sondern eben da sehr strukturiert

23:23 SPEAKER_00: das Ganze oder mit Jason Files oder wie auch immer, je nachdem, was man irgendwie halt am Ende umsetzt,

23:28 SPEAKER_00: muss da schon sehr viel Struktur und Grad und so weiter eben drüber. Und da geht's ums Testen und Nachschärfen

23:34 SPEAKER_01: und der,

23:36 SPEAKER_01: ja, 1 so der der der Vordenker beim Thema KI, Professor Ethan Mollick, der auch uns inspiriert hat für den Titel des Podcasts.

23:43 SPEAKER_01: Ich hab's so schön gesagt vor Kurzem,

23:52 SPEAKER_01: Also der Kontext und die Kommunikation der Ziele

23:57 SPEAKER_01: sind

23:58 SPEAKER_01: dafür

23:59 SPEAKER_01: maßgeblich,

24:00 SPEAKER_01: welche oder dass ich gute Resultate bekomme, nicht dass ich einem spezifischen Prompt Format folge. Ja. Und Du hast noch ein Satz,

24:08 SPEAKER_00: ein ersten Satz, den finde ich auch spannend. Er sagt

24:10 SPEAKER_00: im Prinzip,

24:12 SPEAKER_00: dass die meisten

24:13 SPEAKER_00: AI Educator

24:15 SPEAKER_00: immer noch komplett alte Prompting Techniken quasi vermitteln, irgendwelche Frameworks und sonst irgendwas.

24:20 SPEAKER_00: Und die die wenigsten

24:23 SPEAKER_00: verstehen heutzutage,

24:24 SPEAKER_00: dass eben diese

24:26 SPEAKER_00: diese Formeln, diese genauen Schritte und Definitionen

24:28 SPEAKER_00: und Frameworks und so weiter und shallow forward prompting,

24:32 SPEAKER_00: dass das alles komplett an Relevanz verliert.

24:36 SPEAKER_00: Also

24:36 SPEAKER_00: vielleicht ein guter sense check, je nachdem, mit wem

24:40 SPEAKER_00: man zusammenarbeitet,

24:42 SPEAKER_00: was man fürn KI Coach

24:44 SPEAKER_00: hat und nutzt. Wenn der noch sagt, Du musst irgendwie überall dazu sagen, dass relevant

24:48 SPEAKER_00: ist und die KI, die er klären soll, dir das war,

24:52 SPEAKER_00: dann sollte man vielleicht noch mal

24:55 SPEAKER_00: überdenken,

24:56 SPEAKER_00: ob der KI oder die KI Coach

25:00 SPEAKER_00: da noch State of the Art ist sozusagen mit dem Wissen. Wie Du sagst, Kontext und klare Zielvorgaben

25:06 SPEAKER_00: ist mit Abstand das

25:08 SPEAKER_00: Wichtigste sowohl beim,

25:10 SPEAKER_00: aber als auch beim

25:11 SPEAKER_00: Kontext.

25:13 SPEAKER_01: Hab's beim letzten Mal schon angesprochen, wir haben ja nicht nur Menschen, die jetzt Kontext geben, wir haben auch immer mehr

25:20 SPEAKER_01: Systeme,

25:21 SPEAKER_01: Werkzeuge, Tools, die ich integrieren kann, die den Kontext geben können.

25:25 SPEAKER_01: Jetzt angefangen vom MCP Server, den ich mit aufsetzen kann, wo ich mit verschiedenen Tools interagieren kann.

25:31 SPEAKER_01: Über die nativen Integrationen, die ich sowohl bei Cloud als auch bei JGBT als auch bei als

25:37 SPEAKER_01: auch bei Copilot hab natürlich verschiedene.

25:40 SPEAKER_01: Aber da merk ich auch, je mehr ich da anbinden kann, die auch relevant sind für meine Aufgabe, desto besser hab dann auch noch meine Kontext. Weil ich sagen kann, hey, das ist mein Kalender, such mir doch bitte einen Termin raus, der für alle funktioniert und Du hast aber Zugriff auf meinen Kalender, dann sind die Nachfragen weniger.

25:56 SPEAKER_00: 1 gesagt, die man über diesen ganzen Konnektoren natürlich immer mitdenken muss, grade hier irgendwie in Deutschland, ist das ganze Thema Datenschutz.

26:02 SPEAKER_00: Ja.

26:04 SPEAKER_00: Was nutz ich denn für eine ChatGPT Version und wo wären da eigentlich die Daten zumindest temporär verarbeitet?

26:10 SPEAKER_00: Ich halt irgendwie auf dem Free- oder dem 27 Euro Account bin

26:14 SPEAKER_00: oder selbst im Businessplan

26:16 SPEAKER_00: wird halt die Inferenz, also quasi die Bearbeitung meiner Anfrage

26:20 SPEAKER_00: auf amerikanischen Servern

26:22 SPEAKER_00: stattfinden.

26:24 SPEAKER_00: Sprich, wenn ich sozusagen,

26:26 SPEAKER_00: zu meinem Google Drive, zu meinem Sharepoint und so weiter und dann auf diese Daten zurückgegriffen wird, dann finde das alles kurzzeitig,

26:34 SPEAKER_00: ja, da wird nicht drauf gelernt, aber findet zumindest kurzzeitig in den USA statt. Und das ist natürlich wieder anders, wenn ich auf der Enterprise Version bin, da komm ich immer nur drauf, wenn ich hab Stand jetzt aktuell, es ändert sich auch ständig, ich minimi 50 Lizenzen abnehme

26:46 SPEAKER_00: und daher muss ich quasi das, je nachdem, was ich fürn Tool nutze,

26:50 SPEAKER_00: eben ja immer auch mit

26:52 SPEAKER_00: denken,

26:54 SPEAKER_00: was das ganze Thema Datenschutz

26:56 SPEAKER_00: angeht. Du hast den EU Pulli an, EU

26:59 SPEAKER_00: AI Act, DSGVO.

27:01 SPEAKER_00: Ja. Da sind wir sehr

27:03 SPEAKER_00: führend, was die weltweite was die Welt, also sozusagen

27:08 SPEAKER_00: in unserer unserer Regulation. Ob das jetzt besonders gut ist oder schlecht, Ja. Kann man sicherlich oder umgesetzt ist, ist sicherlich Streiper. Die Ziele sind, glaub ich, sicherlich die richtigen, ob da,

27:15 Prompt-Playgrounds & Reasoning-Budget

27:19 SPEAKER_00: ja, am Ende richtig im Gesetz verankert ist und was es zu was es heute führt, da kann man, glaub ich, noch drüber reden. Auch spannend, was Du grad sagtest, dass dass im Enterprise dann die Inferenz in Europa stattfindet.

27:30 SPEAKER_01: Wer weiß, wie lange noch? Ich glaub nicht, dass wir die Energie haben,

27:34 SPEAKER_01: da hinterherzuziehen und die Rechenzentren entsprechend auszubauen. Also wir haben das ja in den anderen Episoden in den Dreißigern, ich glaub, 31, 32 besprochen, was da grade investiert wird

27:43 SPEAKER_01: an Energieressourcen, an

27:44 SPEAKER_01: an Rechenzentren, diese Inferenz

27:46 SPEAKER_01: hinzubekommen.

27:48 SPEAKER_01: Ich weiß nicht, ob Europa da mitziehen kann. Und selbst wenn wir dann ein Enterprise haben in 2 Jahren, wird's wahrscheinlich dennoch eher in Virginia ablaufen. Mal schauen. Vielleicht gibt's ja dann auch ein europäisches Modell.

27:58 SPEAKER_00: Ja gut, vielleicht führt's ja dazu, dass wir Europäer auch mal bei den Themen

28:02 SPEAKER_00: weiter in die Zukunft schauen und zu Lösungen kommen, ja.

28:05 SPEAKER_01: Ja. Sprechen wir von' anderen Playground.

28:08 SPEAKER_00: Von' anderen Playground, ja, vom politischen Playground zu'

28:12 SPEAKER_01: technischen Playground. Genau. Wir haben, ja, OpenAI hat das, Google AI Studio hat das, Cloud hat das auch mit der Konsole.

28:19 SPEAKER_01: Was sind Playgrounds?

28:21 SPEAKER_00: Playgrounds

28:21 SPEAKER_00: sind so bisschen die,

28:23 SPEAKER_00: also ich würd, glaub ich, Disclaimer für die meisten Hörer und Hörerinnen ist das nicht so ultrarelevant,

28:29 SPEAKER_00: weil diese oder

28:31 SPEAKER_00: Konsolen oder Umgebungen

28:34 SPEAKER_00: halt quasi die Umgebung dieser Tools sind für deutlich technische User

28:38 SPEAKER_00: und - Userinnen. Wir haben verschiedene

28:40 SPEAKER_00: verschiedene Funktionalitäten,

28:42 SPEAKER_00: können wir auch gleich mal durchgehen.

28:44 SPEAKER_00: Auf jeden Fall in der Regel geht's einfach darum,

28:47 SPEAKER_00: Modelle zu testen

28:49 SPEAKER_00: und oder

28:51 SPEAKER_00: Prompts

28:51 SPEAKER_00: zu testen mit Modellen. Und diese diese oder

28:55 SPEAKER_00: beim Google heißt's AI Studio, wir können da noch mal einblenden oder in die Shownotes,

28:59 SPEAKER_00: oder in die Shownotes, die Links sozusagen für für den OpenAir Background, fürs Google AI Studio und die Cloud Konsole mit reingeben. Da kann man ein bisschen rumspielen.

29:08 SPEAKER_00: Im Wesentlichen ist es eine Testing für Developern, wo ich Sachen ausprobieren kann. So kann man's, glaub ich, High Level sagen.

29:17 SPEAKER_00: Ich kann dort

29:20 SPEAKER_00: Modelle auch ohne

29:21 SPEAKER_00: die

29:22 SPEAKER_00: Systemprompts

29:23 SPEAKER_00: oder ich sag immer mit stark reduzierten Systemprompts

29:26 SPEAKER_00: der Anbieter testen, ne. Wenn ich jetzt in ChatGPT bin, haben wir ja gesagt oder Cloud wird mit meinem Prompt noch mal 56000

29:33 SPEAKER_00: Zeichen bei Cloud, glaub ich, irgendwie mitgegeben,

29:35 SPEAKER_00: was natürlich den Output für mich besser machen soll.

29:38 SPEAKER_00: Ich kann in diesen Konsolen das aber dann teilweise auch ohne diesen System, natürlich immer noch drin, das sind so Sicherheitssachen, ne. Ich kann auch da nicht sagen, wie bau ich mir eine Bombe, ne. Aber halt ich hab weniger sozusagen

29:50 SPEAKER_00: weniger

29:51 SPEAKER_00: weniger Eingrenzung

29:52 SPEAKER_00: sozusagen von den Modellanbietern,

29:54 SPEAKER_00: diese einzelnen

29:56 SPEAKER_01: Modelle mit meinen Prompts sozusagen zu testen. Ist vor allen Dingen dann relevant, wenn ihr Produkte baut, wo ihr

30:02 SPEAKER_01: KI einbaut inhärent und dort Prompts nutzt und dort nicht genau wisst, okay, welches Modell kann ich jetzt nutzen? Manche sind schneller, manche sind langsamer,

30:09 SPEAKER_01: manche sind günstiger, manche sind teurer. Da kann ich's dann ausprobieren und schauen, wie ist wie ist meine Geschwindigkeit?

30:15 SPEAKER_01: Wie sind meine Kosten, wenn ich das jetzt nicht nur einmal mache, sondern 3000000 Mal? Ja.

30:20 SPEAKER_00: Ich hab da auch oft verschiedene Möglichkeiten.

30:22 SPEAKER_00: Also wenn ich das GPD 5 Modell wähle

30:25 SPEAKER_00: im normalen Chat oder das Gemini Modell, wenn ich

30:29 SPEAKER_00: Gemini Chat bin,

30:31 SPEAKER_00: hab ich ja nicht die Möglichkeit, das Modell noch mal irgendwie

30:35 SPEAKER_00: außer über meinen Prompt zu beeinflussen.

30:37 SPEAKER_00: Dass ich eine Möglichkeit habe und manche von diesen Anbietern geben mehr Möglichkeiten und manche weniger, So kann ich zum Beispiel oft die Temperatur einstellen. Das Temperatur ist Google R kann das Google kann das nicht, ne. Ich glaube, Google kann's auch im RI Studio. Okay.

30:51 SPEAKER_00: Ich weiß jetzt gar nicht genau bei Claude,

30:53 SPEAKER_00: ob's da geht, aber die Temperatur ist son bisschen die Kreativität. Ja. Einfach wie

30:59 SPEAKER_00: wie

31:00 SPEAKER_00: unwahrscheinlich

31:01 SPEAKER_00: ist die potenzielle Antwort, ne. Also wenn ich sag, gib mir irgendwie 10 Ideen

31:05 SPEAKER_00: und mach die Temperatur ganz runter, dann kriegst Du halt 10 irgendwie Standard Durchschnitt Ideen. Du sie komplett hoch machst, dann kommen halt irgendwelche wilden Ideen, die aber halt potenziell zu crazy oder eher unwahrscheinlich sind. Und so kannst Du sozusagen in diesen Umgebungen auch mit so, ja, mit dieser Variable,

31:23 SPEAKER_00: mit der Temperatur arbeiten. Was auch noch eine andere Variable ist, ist das thinking,

31:27 SPEAKER_00: also wie lange sozusagen das Modell nachdenken soll. Das gibt's ja dann teilweise bei ChatGPT

31:33 SPEAKER_00: kannst Du ja thinking wählen oder

31:35 SPEAKER_00: Bei.

31:37 SPEAKER_00: Genau, irgendwie think hardher, aber Du hast halt nicht so ultraviele Möglichkeiten und da kannst Du's halt einfach auf' Zum Slider, ne. Aufm Slider im Prinzip ja festlegen.

31:40 Vom Prompt Engineer zu AI Ops / Knowledge Ops

31:45 SPEAKER_00: All das einfach einfach wichtig ist für für Developers Testing, ne. Weil wenn Du eben, wie Du sagst, ein Produkt baust,

31:51 SPEAKER_00: willst Du ja über ein API Call irgendwas zurückbekommen.

31:54 SPEAKER_00: Und

31:55 SPEAKER_00: dann halt so lang zu testen über eben Temperatur oder auch das Thinking,

32:00 SPEAKER_00: bis ich immer zu' Ergebnis komm, mit dem ich jedes Mal zufrieden bin. Einfach mehr Variablen. Weil diese Variablen kann ich auch über die API mitgeben, wenn ich ein Developer bin und das ist sozusagen da die ja, die die Tastumgebung. Und sowieso, also das ganze Thema APIs,

32:15 SPEAKER_00: wenn ich irgendwie diese Modelle anpingen möchte, brauch ich ja die API oder meine API, weil dann jeder Die Karten Die Schnittstelle. Die Schnittstelle, genau. Das ist irgendwie son langer Code. Und weil ich ja quasi für jeden Token berechnet werde

32:28 SPEAKER_00: oder sozusagen irgendwann Rechnung bekomme, muss ich ja immer eine Kreditkarte hinterlegen und irgendwie ein Budget festlegen. Und diese API

32:35 SPEAKER_00: Keys

32:36 SPEAKER_00: bekomme ich auch immer in diesen Konsolen und Black Accounts, Jetzt

32:39 SPEAKER_01: wird's jetzt sind wir schon sehr, sehr technisch. Viel technischer wird's nicht, wenn ihr sozusagen mit make dot com und n-a-n so an die Grenzen gekommen seid, dann ist das, was euch vielleicht interessieren könnte. Dann könnt ihr euch mal in diese Playgrounds

32:51 SPEAKER_01: einloggen und schauen, wie ihr da Agentensysteme

32:53 SPEAKER_00: bauen könnt. Aber für die normale Anwender, die normale Anwenderin ist das, glaub ich, einfach Genau, das Du hast es angesprochen, das Agentensystem, das ist jetzt quasi so dieses diesen

33:02 SPEAKER_00: Agent Builder, ist jetzt was Neues, was es im OpenAI,

33:04 SPEAKER_00: ein Blackground gibt. Das haben wir jetzt vor Kurzem launcht, ne? Das ist S4AI, also wenn die dann live geht, dann vielleicht irgendwie von 5 Wochen oder so.

33:13 SPEAKER_00: Und das ist quasi aber wirklich fokussiert auf Developer, ne. Das ist jetzt nicht so, ich kann mir direkt der Outcry, ja, Agent, OpenAI,

33:21 SPEAKER_00: make dot com, ist ja nicht kompletter Quatsch, weil's eine ganz andere Zielgruppe ist und ein anderes Thema ist. Aber es gibt beispielsweise auch in diesem blake round,

33:29 SPEAKER_00: was Du auch machen kannst, Du kannst Modelle. Du kannst ein Prompt mit verschiedenen Modellen vergleichen und die neben Ergebnisse nebeneinanderlegen.

33:35 SPEAKER_00: Natürlich kannst Du ChatGPT auch 2 Fenster aufmachen und einmal mit 5 und einmal mit 4 oder einmal mit und einmal ohne

33:42 SPEAKER_00: und dann die Ergebnisse vergleichen, da hast Du's halt direkt nebeneinander.

33:46 SPEAKER_00: Ja, das ist son Feature, was halt auch ganz cool ist, aber auch eher wieder Developer Fokus, ne. Wenn die halt entscheiden müssen, nutz ich für meine Lösung

33:54 SPEAKER_00: oder Anwendung und dann a oder b,

33:57 SPEAKER_00: Sie halt die Ergebnisse quasi direkt nebeneinander legen und vergleichen, ne. Auch irgendwie superspannend.

34:01 SPEAKER_00: Für die meisten Leute von uns

34:03 SPEAKER_00: wahrscheinlich

34:04 SPEAKER_00: weniger relevant.

34:06 SPEAKER_01: Ja.

34:07 SPEAKER_01: Vergleichen werden wir beim nächsten Mal auch, nämlich Browser.

34:10 SPEAKER_01: Wir sind wieder in 1 Zeit, wo's neue Browser gibt. Das ist so spannend wie in den Neunzigern. Da gab's auch die Browser Wars,

34:17 SPEAKER_01: Netscape gegen Microsoft.

34:19 SPEAKER_01: Jetzt haben hat auf einmal OpenAI ein Browser, dann

34:23 SPEAKER_01: hat ein Browser und hat ein Browser gekauft und Microsoft hat ein Browser und baut der AI ein und Google auch.

34:31 SPEAKER_01: Spannend, das gucken wir uns genauer an in der nächsten Folge. Bis dahin bleibt uns gewogen, liket, kommentiert, empfehlt uns

34:38 SPEAKER_00: und wir freuen uns auf jedes Feedback. Bis zum nächsten Mal. Bis dann. Tschau.

34:43 SPEAKER_02: Cointelligence

34:44 SPEAKER_02: ist eine Produktion von thekey Academy in Zusammenarbeit mit SnipKI.

34:48 SPEAKER_02: Produziert bei Studio Co in Berlin. Produktion und Regie,

34:52 SPEAKER_02: Christina Manuel,

34:54 SPEAKER_02: und

34:55 SPEAKER_02: Ilias Robe.

34:56 SPEAKER_02: Creative Director Lukas Shelter.

34:59 SPEAKER_02: Redaktion und Moderation Benjamin Wüstenhagen und Moritz Heininger.

35:03 SPEAKER_02: Abonniere uns auf Spotify,

35:04 SPEAKER_02: Apple Podcasts oder YouTube.

35:07 SPEAKER_02: Danke fürs Zuhören.