30% glauben: KI kann den Job ihres Chefs besser machen — und Amazon-Mitarbeiter blasen ihre KI-Scores künstlich auf

Manuel, leichte Frage von mir zum Einstieg, weil ich werde ja heute nicht so viel erzählen. Es ist ja heute fast eine Manuel-Frambach-Folge. Weiß ich nicht. Was glaubst du, wie viel Prozent des arbeitenden Volkes denkt, dass die KI den Job ihres Chefs machen kann? Der KI-Snack? Dein doppelter Espresso-KI am Morgen. Kurz, prägnant, unterhaltsam, informativ. So. Bitkom-Unfrage bei Spiegel eben gelesen. 30. Genau 30! Nicht schlecht. Es waren 29, aber es ist egal. Ich gebe dir den. 30% sagen, den Job, den mein Chef da macht, den kann die KI wahrscheinlich sogar besser. Hast du den Treffer geladen, nicht schlecht. Sehr gut. Wahnsinn. So, das war mein leichter Einstieg. Jetzt bin ich ruhig, lebe mich zurück, Marmel. Du bist dran. Leg los. Das war dein Einstieg? Das war mein Einstieg. Dann nehme ich mir nochmal einen Schluck von unserem wirklich hervorragenden Kaffee. Aber ja, darum soll es nicht gehen. Ist aber auf jeden Fall hier unser Loo Kaffee in Kombination mit einer Melitta Smart TS oder so heißt die. Die ist wirklich gut, die Maschine. Wir kriegen von beiden kein Geld, aber danke für den kurzen Werbeblock. Er hilft einfach für den Kaffeetrinker, wenn er sich eine gute Kombination zulegen möchte. Der Kaffeetipp des Tages wurde präsentiert. Korrekt, von Melitta und Lucafe. Ja, wir haben einen neuen Kommentar bekommen auf unsere gestrige Folge von dem lieben Marc. Schöne Grüße Marc. Schöne Grüße an Marc. Der Marc hat mehrere Fragen gestellt, die alle eigentlich auf das gleiche abzielen. Seine erste Frage war, ob wir schon mal lokale Modelle mit Cloud Code verbunden haben, um dann ein Multiagentensystem zu testen. Und da hat er quasi so auch in dem Zuge gefragt, ob es sinnvoll wäre, lokale Modelle oder ob es eine gute Möglichkeit wäre, durch lokale Modelle dann Kosten zu sparen. Ich nehme erstmal auf die erste Frage Bezug, weil das Problem ist wirklich, weil er am Ende auch gesagt hat, okay, leisten die lokalen Modelle überhaupt das, was die Bezahlmodelle bieten? Ganz klares Nein. Die lokalen Modelle, also da kommt es jetzt erstmal auf den Mark an, wenn der Mark irgendwie Server bei sich zu Hause stehen hat, die relativ leistungsstark sind, dann wird er auch ein größeres lokales Modell laufen lassen können, aber auch da stößt er dann irgendwann in Bezug auf Cloud Code, weil er ja gesagt hat, das mit Cloud Code zu verbinden, stößt er an seine Grenzen, vor allen Dingen in Bezug auf den Tool Use, also Cloud Code benutzt... Tools, wenn man so möchte, wie ein Hammer,...... eine Säge, also es sind wirklich so die Werkzeuge,...... die dann zum Beispiel Websearch sind,...... die dann zum Beispiel Read,...... Datei XY sind, also das sind so die Tools,...... die Cloud Code benutzt. Und da funktionieren die lokalen Modelle einfach nicht so gut. Ich hatte das mal mit Gamma 4 getestet, wo ja wirklich so in der Bubble hieß, okay, das ist schon sehr gut, wie das miteinander kompatibel ist. Ist überhaupt nicht gut. Also es hat gar nicht funktioniert. Darf ich mal eine Zwischenfrage stellen? Ja, klar. Wenn du sagst, funktioniert nicht so gut oder gar nicht so gut, hat das dann vor allen Dingen was mit... Also Zeit zu tun oder wirklich auch mit Lösungen zu tun? Also was ist nicht so gut? Viel zu viel zu starke Halluzinationen. Okay. Also durch diesen miserablen Tool Use und miserablen Agent Loop werden wohl auch die Halluzinationen halt geisteskrank. Deswegen macht das keinen Sinn. Teilweise wird das auch dann abgelehnt. Es wird abgebrochen. Also um es auf den Punkt zu bringen, macht es einfach nicht. Also es macht gar keinen Sinn. Genau, deswegen damit die erste Frage beantwortet. Also ich habe es... Es sei denn, du hast eine Serverfarm wie Google bei dir zu Hause stehen. Ja, auch dann wird es nicht funktionieren, weil die lokalen Modelle nicht dafür geeignet sind, quasi in Cloud Code diese...... ja den Tool-Use und diese Agent-Loops quasi zu vollziehen,...... aktuell noch. Ich glaube, da ist ja auch Cloud-Code hinterher,...... dass das quasi eben nur mit ihrer Cloud-Variante...... aktuell noch funktioniert, was ja Sinn macht. Genau, deswegen die erste Frage beantwortet mit,...... ja, haben wir getestet, funktioniert nicht. Dann die zweite Frage, wäre es eine gute Möglichkeit,... Kosten zu sparen, ja definitiv. Da kommt es natürlich auf die Aufgabe an. Wenn du jetzt sagst, du willst dir immer wieder Text zusammenfassen lassen, klassifizieren lassen, was auch immer, kannst du schon sehr gut lokale Modelle benutzen. Wenn du sagst, du willst OCR-Erkennung nutzen, kannst du sehr gut lokale Modelle benutzen, die auch wirklich auf einem normalen MacBook laufen können. Also Qen 2.5 mit 7 Milliarden Parametern.... funktioniert schon wirklich sehr, sehr gut. Ich hatte damit zum Beispiel mal einen Case umgesetzt, dass man...... eine 500-seitige PDF-Datei reinschmeißt und...... das lokale Modell...... durchläuft dann quasi jede Seite einzeln und ich habe ihm am Anfang nur den Prompt gegeben, finde...... drei Variablen quasi.... also irgendwie Auftragsnummer,...... Kundenname oder was auch immer. Das hat er problemlos gemacht. Dauert dann natürlich ein bisschen,...... aber dadurch, dass du quasi dann nur den Strom bezahlst,...... den dein MacBook...... braucht oder was auch immer,...... ist es überschaubar,...... also du sparst dementsprechend...... deutlich Kosten. Wenn ich das mit Cloud Code gemacht hätte,...... geht es wahrscheinlich viel, viel schneller,...... also geht es schneller. Ich zahle natürlich die ganzen Tokens,... Deswegen, dafür kannst du das auf jeden Fall sehr, sehr gut nutzen. Plus, wenn ich das so sagen darf, als Security-Thema. Ja, ja, klar, die Daten bleiben ja bei dir. Die Daten bleiben bei dir. Ja, ja, ja, das bleibt alles auf deinem MacBook, ja. Wenn wir schon über, also wir haben eben über Nachteile gesprochen, wenn wir über Vorteile sprechen. Nee, 100 Prozent. Das ist natürlich der, also der größte Vorteil von dem Ganzen. Du kannst da deine Sozialversicherungsnummer reinschmeißen ohne Bedenken. Also das ist ja, das bleibt auf deinem MacBook. Das ist wie, wenn du, also es ist einfach lokal. Genau, deswegen, das ist auf jeden Fall sinnvoll, es kommt halt auf die Komplexität deiner Aufgabe an. Auch hier der Aufruf oder das Angebot an Marc, wenn er da einen konkreten Use Case hat, den er umsetzen möchte, dann skizzier den gerne einmal, dann können wir da auch nochmal tiefer drauf eingehen. Auch nochmal das Angebot an Marc, du kannst mir auch gerne bei LinkedIn schreiben und wir sprechen einmal. Wir bieten das immer an. Der Marc ist jetzt der Erste, der so eine konkrete Frage gestellt hat. Deswegen, also wir wollen das ja wirklich. Wir wollen ja wirklich so eine Community dafür aufbauen und immer gegenseitig helfen. Deswegen sehr konkret, Marc, schreib mir über LinkedIn und wir gehen deinen Case durch. Ich habe noch eine Frage. Ja, bitte. Da draußen wird jetzt nicht jeder sagen, mach mal ein lokales LLM. Was für einen Wissensstand brauchst du oder wie einfach oder schwierig ist das? Sehr einfach. Ja? Ja. Also kann man jedem die Angst nehmen in Anführungszeichen? Ja, sehr einfach. Sehr einfach, es ist sogar, je nachdem welches Modell, nur ein Command, den du in dein Terminal eingibst. Und das war's schon. Das wird runtergeladen und fertig, ja. Okay. Und du kannst es mit Cloud Code, also wir sagen es immer, der ist dein Mentor, dein Lehrer,...... geh in Cloud rein, frag, wie kann ich QN 2.5 runterladen auf meinem PC...... und dann erklärt dir der, was du tun musst und los geht's. Also, allein deswegen ist es einfach so. Ja, geht sehr, sehr schnell auf jeden Fall. Das kann man sagen. Also mir geht es genau immer um Tempo und Einfachheit sozusagen. Es ist einfach, ja. Es ist wirklich einfach. Wir erleben ja tagtäglich, dass viele Dinge, die klar sind oder einfach sind, vielleicht aus unserer Perspektive oder vor allen Dingen aus deiner Perspektive, dann am Ende des Tages nicht für jeden klar und einfach sind. Ja, aber nee, das ist wirklich einfach. Genau, das kann man gut machen, wenn Marc da Hilfe braucht, wie gesagt, schreibt uns gerne. Dann können wir darauf eingehen. Wäre auch für mich interessant, was sein Use Case ist oder ob es jetzt einfach nur eine generelle Frage quasi war. Bin ich mal gespannt. Genau, da bin ich eigentlich jetzt auf alle Fragen eingegangen. Also, leisten die lokalen Modelle überhaupt das, was die Bezahlmodelle bieten? Nein, auf gar keinen Fall. Ist aber auch logisch, weil, keine Ahnung, wenn du ein lokales Modell mit 70 Milliarden Parametern oder so laufen lässt, brauchst du schon ein bisschen leistungsstärkere Hardware. Wenn du dann überlegst, dass ich glaube Opus 4.0, also die hier Anthropic und OpenAI haben jetzt nie, glaube ich, geleakt, mit wie vielen Parametern wirklich ihre großen Modelle trainiert wurden, aber man schätzt da irgendwie. 2 Billionen, 2, 3 Billionen, je nachdem wie groß das Modell ist. Da würde ich mich jetzt auch nicht drauf festnageln, weil ich nicht genau weiß, was da so aktuell kursiert. Aber die Größe ist halt einfach geisteskrank. Das ist ein riesen Unterschied. Und deswegen können die das auch gar nicht. Also in keiner Welt ist das möglich. Was würdest du sagen im Sinne von so einer Anwendermatrix, wenn du jetzt jemandem so einen Tipp geben würdest? Ab wann macht was Sinn? Also ab wann macht ein lokales LLM aus deiner Sicht Sinn? Wenn es vor allen Dingen, wenn es ein Security-Thema ist, vor allen Dingen, wenn es ein reines Text-Thema ist, sind das so die Themen? Und wenn es nicht unbedingt super, super schnell gehen muss, sondern irgendwie Themen sind, die immer wiederkehrend sind, wäre das so eine Matrix, wo du sagst, dann lohnt es sich, auf ein lokales LLM zu gehen? Oder gibt es noch irgendwelche anderen Parameter oder Sachen, wo du sagst, wenn das, dann das so nach dem Motto? Ja, Security ist ja Thema Nummer eins. Wenn das Hauptkriterium ist, dann musst du ja zwangsläufig lokales LLM benutzen. Also sobald da irgendwelche personenbezogene Daten drinstehen oder... Ja, da gibt es ja auch noch Mittel und Wege, um das auch anders zu lösen. Du kannst ja vorher die sensiblen Daten quasi verschlüsseln und gibst... Also da gibt es alles Möglichkeiten, aber die werden dann zu komplex für... Das meine ich genau. Jetzt so Anwender ich... Dann würde ich, sobald du das sensible... Perpend ausdrucken. Sobald du die sensiblen Daten mit drin hast, würde ich da auf jeden Fall ein lokales Modell empfehlen. Problem ist, es kommt dann wieder auf die Komplexität deiner Aufgabe an. Wenn es nur, also das ist immer so ein bisschen jetzt schwer. Das meine ich mit Matrix genau. Ja, aber Kosten ist natürlich ein Riesenthema. Im Best Case hast du einen Prozess oder eine Aufgabe, die du anpacken willst, die mit sensiblen Daten funktioniert oder beinhaltet.... die von der Komplexität her nicht so groß ist,...... die aber beispielsweise lange dauert,...... weil viele Schritte irgendwie gemacht werden müssen,...... dann ist lokales Modell einfach perfekt. Ja, okay. Also dann sparst du sehr viel Geld,...... bist auf der sicheren Seite, hast alles in der Hand... Mhm.... und bist komplett sorglos, so blöd gesagt. Ja, cool. Ja. Wenn man das so sagen kann, ins... Ja, ja, genau.... Blaue hinein. Sehr gut. Also ohne einen konkreten Case zu haben. Ja. Was haben wir noch für ein Thema, Moine? Das nächste Thema ist eine Headline, die ich gelesen habe. Die da lautet...... Amazon-Mitarbeiter nutzen KI-Tool für unnötige Aufgaben,...... um die Nutzungsscores aufzublasen. Da würde mich deine Meinung zu interessieren. Ich kenne die zwar schon,... So halb, würde ich behaupten. Aber hau mal gerne raus, damit du heute auch mal zum Reden kommst, Marco. Nee, ist doch... Du genießt das wahrscheinlich. Also es hat ja mehrere Perspektiven. Das erste ist, ich kriege dreimal am Tag einen Anruf von Simon, der mir sagt, ich höre nur dich. Nee. Lass doch mal mehr Manuel sprechen. So, jetzt lasse ich dich. Ich finde, wir haben eine gute Rollenverteilung. Das andere ist, wie der Kölscher sagt, ich habe einen Copping. Ich habe wirklich Allergie, Kopfschmerz ohne Ende. Von daher tut das gerade gut, dir zuzuhören. Und die Themen, über die wir sprechen, sind ja auch im Schwerpunkt deine Themen. Also von daher ist doch super. Das passt schon. Kannst du mich noch mal kurz abholen? wenn er steht um den score nach oben zu treiben das heißt es gibt ein score nutzungskurs so in die richtung also es gibt quasi eine kennzahl so von wegen keine ahnung ich kenne jetzt nicht genau aber das ist so nach dem motto so viel nutzung aus vielen unternehmen schon gehört so von wegen die geschäftsführung sagt guck mal ihr müsst 1000 euro im monat für die ausgeben blöd gesagt so Dann sagen die Mitarbeiter, okay, alles klar, dann lasse ich mir einfach zehnmal meine Mail schreiben und... Und 13 mal ein Kuchenrezept geben. Ja, ja, blöd gesagt. Aber genau das ist quasi die Idee. Aber die habe ich auch nur mit aufgegriffen, um darüber nachzudenken. Also es ist relativ klar, dass das nicht der richtige Weg ist, um irgendwie KI zu treiben. Einfach nur zu sagen, treib deine Tokens in die Höhe oder ein Tokenziel zu setzen ist nicht... Es macht keinen Sinn. Aber, also Mini-Aber, also keine Gegenposition, aber so ich gehe einen halben Schritt nach rechts. Besser als gar nichts zu machen. Ja, ja, nee, 100 Prozent. Weißt du, so nach dem Motto, wenn es dazu führt, also ich überspitze jetzt ganz bewusst mit diesen 13 Kuchenrezepten, dass aber durch die 13 Kuchenrezepte zumindest passiert, dass jemand weiß, wie er mit einer, okay, besser als gar nichts. Aber es ist natürlich nicht das Zielszenario. Ich rede jetzt da schon wirklich in Bezug auf Amazon, die ja einen Ticken weiter sein sollten eigentlich. Also wenn du das so in Phasen beschreibst, ist das wahrscheinlich Phase 1, dass du sagst, nutzt einfach wie ihr wollt. Phase 2 wäre dann, okay, wir müssen jetzt mal ein bisschen mehr mit Kopf da dran gehen und sagen, okay, wir müssen ja den Mindset-Shift hinbekommen, dass die Mitarbeiter verstehen, was du damit überhaupt machst.... ermöglichen kannst,...... wo du vorher niemals dran gedacht hättest. Das ist so das,...... was wir ja auch tagtäglich eigentlich merken,...... dass wir...... die Dinge, die wir in unserem Kopf haben,...... wo wir sagen, okay, das muss ja Kunde XY eigentlich...... für sich selber machen,...... das denken wir schon, weil wir wissen, was möglich ist. Da merken wir auch in den letzten Tagen,...... wir müssen dem Kunden vielleicht noch mehr zeigen,...... was wir denken und was wir meinen quasi...... und es wirklich schon umgesetzt haben, blöd gesagt. Und ich glaube, das ist so ein bisschen Phase 2. Deswegen ist es auf jeden Fall richtig, erstmal zu sagen, nutzt einfach. Also nutzt das Tool, egal was ihr damit erstmal macht, einfach damit man es kennenlernt. Ich meine, so muss irgendwie jeder mal anfangen. Aber da war jetzt schon eher der Fokus darauf, dass Amazon ja eigentlich einen Schritt weiter sein sollte. Ich glaube, wir haben aktuell so, wenn ich mir... Ich sag mal, Amazon ist ja ein Staat von der Größe her. Deswegen ist das eigentlich ganz gut zu vergleichen. Du hast aktuell eine Verteilung, dass da vorne wahrscheinlich so Top 3, 4, 5 Prozent laufen, die einfach wissen, was da gerade geht. Und die ganzheitlich KI so einsetzen, dass sie einfach einen Mega-Hebel haben. Also wirklich einen Mega-Hebel haben. Und danach gibt es vielleicht gar nicht so großen Teil, die KI nutzen. Und dann gibt es einen vielleicht größeren Teil so aktuell, der es noch gar nicht nutzt. Und wir erleben gerade in den letzten Tagen und Wochen, dass ein Riesenhebel wäre, diesen zweiten Teil der Menschen auf den ersten Teil zu bekommen. Weil es ist super zu sagen, ich mache mir mal eine KPI-Analyse. Mal als Beispiel. Das ist wirklich ein schönes Beispiel. Ich mache mir mal eine KPI-Analyse. Ja. Aber du kannst mit einem zweiten Command aus der KPI-Analyse auch gleichzeitig Action-Items machen. Du kannst gleich Handlungsempfehlungen machen. Du kannst gleich Sales-Präsentationen draus. Also das kannst du alles im gleichen Schritt machen. Und das sehen wir tatsächlich, dass das nicht nur nicht genutzt wird, sondern dass das gar nicht gedacht wird. Und wir glauben daran, dass es daran liegt.... dass gar nicht das Verständnis dafür da ist, dass das alles schon aus einem Command heraus funktioniert. Ja, ja, genau. Und da fehlt Verständnis dafür. Genau, das ist ja auch, ja und die Vorstellungskraft, die uns ja auch nicht fehlt, aber wir merken ja selber, dass wir uns von, ich sag jetzt mal von Woche zu Woche, von Monat zu Monat, da immer noch mehr dazu kommt, weil du dann nochmal eine andere Verknüpfung herstellst. Also auch wir lernen ja einfach, was das Thema angeht, so jeden Tag etwas, also. Definitiv. Und, also ich kann jetzt nur von mir sprechen. Ich weiß nicht, wie es bei anderen ist. Mein persönlicher Game Changer war halt, komplett auf Cloud Code zu setzen. Weil du verlässt... Meiner war übrigens komplett auf Obsidian zu setzen. Boah, jetzt wollte ich gerade was sagen. Okay, warte. Piep, piep. Ja genau, zwei Worte, zwei kurze Worte. Also du hast recht, was ich entscheidend finde an dem Punkt. Wenn du auf der Ebene bleibst, Gemini, ChatGPT oder Claude, ich führe im Chatfenster ein Gespräch. Wirst du immer auf der Ebene bleiben, ich möchte eine Analyse haben, ich möchte ein... Kann man da lachen? Ja, ich muss die ganze Zeit... Das ist wirklich witzig. Das ist ja mittlerweile schon ein Running. Ja, ja, es ist ein Running. Weil es so lange schon dauert. Ja, ja, ja. Erzähl weiter. Ich erzähl mal weiter. Erzähl weiter. In dem Moment, wo du mit Claude Code arbeitest, jetzt im Terminal, und sagst ihm, er soll auf Skills zurückgreifen und mit den Skills Aufgaben für dich erledigen, die... zusammen mehrere Themen beleuchten und wo daraus direkt Action-Items entstehen etc. In dem Moment veränderst du deine Arbeitsweise komplett. Der nächste Schritt wäre dann Obsidian übrigens. Und dann gibt es wahrscheinlich noch einen nächsten Schritt auch. Das darf man auch nicht vergessen. Und dann ist man auf einem völlig anderen Level, völlig anderes Level als man aktuell ist. Und vor allen Dingen nochmal auf einem völlig anderen Level zu sagen, oh, ich, scheiße, ich muss nochmal schnell KI nutzen, damit mein Arbeitgeber denkt, ich habe Token verbraten und so. Wenn du es richtig nutzt, dann ist ja aktuell eher deine Frage, wie verbrate ich nicht so viel Token, um Kosten zu sparen. Das ist ja eher unser Take sozusagen. Und nicht auf der anderen Seite, ich muss noch irgendwelche Tokens verbraten. Ja, das ist eher so meine Perspektive. Und danke nochmal für den Push zu Obsidian. Gerne. Okay, jetzt sind wir aber glaube ich am Ende der Folge angekommen. Damit sind wir am Ende der Folge angekommen. Kleiner Cliffhanger für morgen. Kleiner Cliffhanger, wo wir gerade eben beim Thema Vorstellungskraft und Dinge neu denken sind. Ich sitze seit längerem an einem agentischen ERP-System, zumindest an der Vision eines solchen ERP-Systems. So aus Spaß, ne? Ja, schon aus Spaß, also wirklich aus Spaß, weil mich das sehr interessiert und ich glaube, ich habe da auch eine gute Idee, wie sowas aussehen könnte. Da werden wir dann auch in der nächsten Folge darüber sprechen und ja. damit schöner cliffhanger also und ganz wichtig für unsere regelmäßigen zuhörerinnen und zuhörer uns gibt es auch morgen am feiertag ja so also gerne bei spotify reinschauen oder bei apple übrigens apple an alle da draußen gesagt haben wir müssen voll auf er blüht ja 0,1 prozent unserer zuhörer nur zu verkommen von apple habe ich eben noch mal gecheckt ja also das wirklich blödsinn es wird Machen wir aber liebend gern für unseren Nachbarn Thorsten Fucker. Ja, natürlich. Nur für unseren Nachbarn Thorsten Fucker machen wir das gerne. Alles klar, wir wünschen allen einen schönen Mittwoch. Wer heute Abend feiern geht oder wer morgen feiern geht, weil der Vater ist, super gerne. Eigentlich ist es Christi Himmelfahrt. Bis dann. Tschö. Reden wir machen