GROK 3: 94% falsche Antworten. Was ist da los?

Manuel, Elon Musk hätte GROG 3 besser Baron Münchhausen genannt. Stark. Der KI-Snack? Dein doppelter Espresso KI am Morgen.

Kurz, prägnant, unterhaltsam, informativ. So. Ich habe ja beim letzten Mal sehr die neue Brand 1 gelobt, die ich ja fast auswendig gelernt habe, weil die so gut war. Genauso vernichtend finde ich den Harvard Business Manager, den ich mir für den gleichen Preis gekauft habe.

Da war nämlich nur eine Sache drin, die mich ein bisschen interessiert hat, den Rest fand ich wirklich nicht gut. Und irgendwie merke ich dann doch den Unterschied zwischen gut geschrieben und nicht so gut geschrieben. Und Brand 1 fand ich irgendwie besser geschrieben. Sorry an meine Freunde vom Harvard Business Manager.

Die haben auf jeden Fall eine Geschichte gehabt mit der Überschrift notorisch unzuverlässig. Hätten ihr mich mal lieber die Headline machen lassen, weil ich finde, Münchhausen finde ich stärker. Die haben folgendes gemacht. Okay.

Die haben gemessen wurde eine sogenannte Halluzinationsrate, also der Anteil der ganz oder teilweise falschen Ergebnisse an Antworten. Dabei wählten Journalisten eine Aufgabe, die die meisten Menschen ohne Probleme hätten lösen können. Ja. So sollten die KI-Modelle Auszüge aus Nachrichtentexten untersuchen und dabei Überschrift, Ursprungsquelle, Veröffentlichungsdatum und URL nennen.

Hätte ich jetzt so aus dem Bauch gesagt, musste können. Ja. Richtig? Anteil der ganz oder teilweise falschen Ergebnisse an allen Antworten in Prozent.

Grock minus drei. 94 Prozent falsch. Ui. Das ist geisteskrank.

Oh ja. Das ist wirklich geisteskrank. Das ist wirklich krank, oder? Mhm.

Ich habe Grock auch noch nie genutzt. Wirklich nicht. Nee, ich auch nicht. Ist ja in Fall AI drin, ne?

Dort könnte man das theoretisch auch mal nutzen. Ich habe das noch nie genutzt. Ich muss ehrlich sein. Aber jetzt kommen wir zu den Themen, die mich wirklich ein bisschen beunruhigen.

Also wirklich beunruhigen. Gemini 76 Prozent falsch. Mhm. Absoluter Spitzenreiter im positiven Sinne, weil noch am meisten richtig Perplexity.

Immerhin noch 37 Prozent falsch. Mhm. Also, Nachrichtentext untersuchen nach Überschrift, Ursprungsquelle, Veröffentlichungsdatum und URL. Ja, das ist nicht so.

Und dann sind 37 Prozent falsch bei Perplexity und die sind mit Abstand die besten. Da habe ich kurz gestutzt und ich dachte mir auch, wenn wir eher die Pro-KI Menschen sind, da müssen wir einmal kurz zu sprechen, Manuel. Ja, das Web ist dafür ja noch nicht optimiert, dass die Agents da immer treffsicher die Informationen sich ziehen können, weißt du? Jede Webseite, jede Newsseite vor allen Dingen, strukturiert die Nachrichten anders im Code quasi.

Also genau. Und dadurch kommt das zustande, meiner Meinung nach. Ist natürlich wirklich Wasser auf die Mühlen der Skeptiker, muss man sagen. Ja, aber...

Also, ja. Aber was ist das für eine Disziplin? Also, die Disziplin ist Websearch. Nichts anderes.

Okay, aber das scheint nicht so gut zu funktionieren. Das scheint nicht so gut, nee. Nee, das funktioniert nicht so gut. Also, mich hat das wirklich überrascht.

Ich hätte jetzt quasi die Zahlen genau andersrum vermutet. Ich hätte gedacht, dass der Spitzenreiter quasi zu 94 Prozent treffsicher ist. Ja. Und zu 6 Prozent was falsch macht.

Okay, also ich bin bei sowas immer generell skeptisch bei solchen Sachen. Wer hat was gefragt? Und es war die Columbia Journalism Review. Genau.

Willst du einen Artikel darüber schreiben, dass die Treffsicherheit bei 1 Prozent ist, sagen wir es so, dann kriegst du das auch hin. Wir könnten gerne mal, wir können im Nachgang mal einen Test mit Claude Code machen, wo ich Claude Code einmal sage, keine Ahnung, recherchieren wir ja 10 News, die aktuellen 10 News zum Thema KI, gib mir Headline, Subline, Datum und Autor war das, ne? Überschrift, Ursprungsquelle, Veröffentlichungsdatum, URL. Ja, das können wir ja machen.

Ja, können wir machen. Gerne. Dann mache ich das jetzt im Nachgang und dann berichten wir in der Folge morgen, berichten wir, was meine Treffsicherheit ist. Oder die Treffsicherheit von meinem Ansatz, was das Thema geht.

Ja, gerne. Weil ich glaube, ich bin fast bei 100 Prozent, ehrlich gesagt. Das wäre jetzt auch meine Erwartungshaltung gewesen. Deswegen war ich ja auch so ein bisschen erschrocken über die Zahlen.

Also so oder so, ich finde zwei Sachen an den Zahlen, oder anders. Es gibt mehrere Perspektiven darauf. Die eine ist die, die du sagst, wer macht die wie und was will er rausfinden. Solche Themen.

Nichtsdestotrotz, es gibt immer noch so frappierende Unterschiede in den Modellen selbst. Ja, klar. Auch das ist einfach sehr, sehr krass. Es gibt auch noch Riesenunterschiede in dem, ich sag mal, Agent-Anbieter.

Also welchen Agent benutzt du, um zu coden zum Beispiel. Da gibt es, Claude Code ist quasi theoretisch dein Orchestrator, um zu coden. Es gibt aber noch andere Anbieter, wie, du kannst es auch in Cursor machen, du kannst es in unterschiedlichsten Tools machen. Und alle haben in sich selber, obwohl die die gleichen Modelle benutzen, nochmal Unterschiede in der Performance, in der Qualität.

Weil einfach das Tool an sich nochmal anders gebaut ist. Es gibt mehrere Loops bei den einen oder anderen Tools, die besser sind als bei den anderen. Also das ist halt, es ist sehr, sehr variabel, weil nicht alles gleich ist so. Und genau so ist es halt bei dem Thema.

Wenn die jetzt bei allen Anbietern immerhin ins Chatfenster gegangen sind und haben gesagt, ja, such mir mal, keine Ahnung, News XY mit Headline und Veröffentlichungsdatum. Dann, ja, gehe ich auch stark davon aus, dass die Qualität nicht so gut sein wird. Weil dann Websearch, wie ist Websearch aufgebaut quasi. Und ich glaube und bin sehr überzeugt davon, dass ich das mit Claude Code theoretisch besser hinbekomme.

Glaube ich ja auch und hoffe ich auch. Ja, ja, sonst kann ja auch nicht sein. Also ich hatte den, aber den Anwendungsfall hatten wir aber noch nie durchgespielt. Aber ich probiere das gleich aus und wir berichten morgen darüber.

Ja, sehr gerne. Also, genau, lass uns einfach genau solche Fakten, ich finde es total wichtig, immer alles von mehreren Perspektiven zu beleuchten. Und nicht nur immer die KI-Jünger zu sein, die hinterherrennen, blind sind, sondern auch mal solche Fakten zu droppen, aber die dann auch wieder zu hinterfragen. Ja, ja, und auch zu auszuprobieren, genau.

Also ich kann da keine wirkliche Aussage jetzt so treffen, weil ich es noch nie gemacht habe, aber, ja. Werden wir feststellen. So können wir jetzt auch unsere Frage von der letzten Folge von gestern einmal aus mehreren Perspektiven beleuchten. Die werden die Bezugnahme, stimmt.

Genau, wir hatten letzte Folge die provokante Frage. Brauchen Unternehmen noch hochbezahlte Selbstdarsteller in stundenlangen Videokonferenzen? Ist eine provokante Frage. Was glaubst du denn, Manuel?

Ich würde erst mal deine Meinung interessieren. Also ich sag mal so, es gibt wahrscheinlich den ein oder anderen hochbezahlten Selbstdarsteller, um das gleiche Wording zu verwenden, den man nicht mehr braucht. Und das ist wahrscheinlich auch eher der Großteil. Aber es gibt auch einige Leute, die hochbezahlte Selbstdarsteller sind, aber dann sind es auch keine hochbezahlten Selbstdarsteller, sondern einfach gute Leute, die ein faires Gehalt bekommen, so gesehen.

Die brauchst du natürlich noch. Aber wenn es wirklich der hochbezahlte Selbstdarsteller ist, dann brauchst du den wahrscheinlich nur noch bedingt. Kommt dann auch noch so mal ein bisschen auf die Funktion an, die der oder diejenige dann ausführt. Ich bin ja immer, also ich bin ja eher Team Vertrieb und Netzwerk kannst du mit keiner KI in irgendeiner Weise aufwiegen oder lösen.

Also diese Social Skills, vertriebliche Skills, Netzwerk und so, das kriegst du einfach nicht hin und wirst du auch auf lange Sicht einfach nicht hinbekommen, logischerweise. Deswegen glaube ich, dass mit hochbezahlte Selbstdarsteller sind vielleicht auch Leute gemeint, die halt genau das können. Und da würde ich sagen, die brauchst du nach wie vor. Die sind sogar wahrscheinlich eher umso wichtiger.

Aber es wird auf jeden Fall den einen oder anderen geben, der sich von Meeting zu Meeting schlängelt und keine bis nur sehr kleine Entscheidungen trifft oder treffen möchte, weil kein Risiko oder was auch immer. Und da würde die KI auf jeden Fall besser abschneiden, weil sie viel mehr Kontext sich ziehen kann, viel mehr Daten vergleichen kann. Aber war das, also nochmal so auf den Artikel bezogen oder auf die Headline, die du gelesen hast, war die Grundrichtung dahinter, weil die KI diese... Entscheidungen besser treffen kann.

Genau, okay. Daten können präzise, also genauer analysiert werden. Mehr Daten können dann analysiert werden. Aber das ist auch nicht mein Ende der Fadenstange, sondern ich sage, der hochbezahlte Selbstdarsteller soll einfach KI nutzen, um bessere Entscheidungen zu treffen und das große Ganze besser einschätzen zu können.

Weil das kann die KI dann wiederum nicht quasi die menschliche Komponente mit reinbringen. Deswegen ist es ein schwieriges Thema. Also auch jetzt während ich darüber berichte, sehe ich selber, wie viele Perspektiven es darauf gibt. Und ich glaube dann, wenn ich mich auf eine einigen müsste, dann würde ich sagen, man braucht den noch, aber der sollte schleunigst KI benutzen, um einen Boost zu holen.

Definitiv. Ja. Also ich habe, während du gerade gesprochen hast, meine Blätter zur Seite gelegt. Ich weiß nicht, ob du das gesehen hast.

Und habe eine Planänderung in den Kopf gebracht, weil das Thema ist auf jeden Fall wert, dass wir länger darüber sprechen. Ja. Ich glaube nicht, dass man das einfach so droppen kann und dann liegen lassen kann, sondern die Themen, die wir uns vorbereitet haben, die machen wir dann morgen. Ja, genau.

Glaube ich. Ja. Denn es ist, so wie du sagst, es ist komplex. Also es ist nicht einfach nur zu sagen, diese hochbezahlten Selbstdarsteller.

Ja. Ich wette, dass viele Leute mich auch schon so genannt haben. 100 Prozent. Kann sein.

Ja, hochbezahlten nicht, weil die ja nie wussten, was ich verdient habe. Aber Selbstdarsteller auf jeden Fall. Ja. Ähm.

Also. Mein Take dazu. Ja. Hochbezahlte Selbstdarsteller hat es noch nie gebraucht.

Ja. Weil das impliziert erstmal. Unterpunkt. Ja.

Das impliziert erstmal. Also dieses Thema Selbstdarsteller und so, die hat es wirklich noch nie gebraucht. Es braucht, und jetzt kommen wir mal so ein bisschen auf eine neue Arbeitswelt, deswegen habe ich das gerade weggepackt. Mhm.

Es braucht einfach völlig andere Arten von Menschen, Typen, die in Zukunft arbeiten. Jobprofile ändern sich komplett. Der CEO der Zukunft wird anders sein als der CEO der Vergangenheit. Ja.

Ja. Also ich weiß natürlich auch nicht, wohin es sich entwickelt, aber ich bin mir komplett sicher, dass sich alle Berufsprofile verändern werden. Komplett. Und dass alle Berufsprofile eine KI-Anteil haben werden und einen MI-Anteil haben werden.

Mhm. Und es wird auf keinen Fall mehr in, weiß ich nicht, jetzt, aus meiner persönlichen Sicht in jetzt, aber die wird es noch geben, diese Vortänzer geben, die aber ansonsten keine Phase haben, nicht auf KI setzen, sich keine Daten ziehen, keine Analysen fahren, sondern nur vortanzen, weil sie vortanzen können. Mhm. Ich glaube, die Zeiten sind komplett vorbei.

Da bin ich einfach felsenfest von überzeugt. Mhm. Wird es Organisationen geben, die quasi, das ist schon lange her, da hat die Brand 1 tatsächlich den Titel gehabt, KI-Göttin, wird es quasi Unternehmen geben, die komplett KI-gesteuert sind? Auch das ist ja eine These, die das Ganze nochmal einmal umdreht.

Ja. Da glaube ich aktuell auch nicht dran. Das, was aber passiert, und das passiert viel mehr, als es der eine oder andere vielleicht glauben mag, ist, dass wahrscheinlich heute schon die meisten CEOs von großen Unternehmen ihre Annahmen, die sie haben, und auch ihre Erkenntnisse, die sie daraus ziehen, KI-gestützt machen. Und damit ist die KI auf jeden Fall schon mal mehr als ein Assistent aus meiner Sicht.

Mhm. Und gibt auf jeden Fall schon mal eine Richtung vor. Mhm. Ja.

So. Meinetwegen kann dann der CEO sogar noch der sein, der es vortanzt. Mhm. Wenn die Menschen das heutzutage noch brauchen, wenn es diesen Vortänzer noch braucht, oder diesen ...

Ich glaube, den wird es auch noch relativ lange brauchen. Also, das ist meine Einschätzung. Weil bis wir ... Also, wenn der menschliche Vortänzer nicht mehr gebraucht wird, dann trägt es ein KI-Avatar vor.

Also, was die Alternative ist, KI muss ja irgendwie trotzdem den Leuten Information A und B irgendwie vortragen. Und ich glaube, dass das immer noch ... Und es sollte wahrscheinlich auch menschlich bleiben. Also, wenn man es mal so betrachtet, dann wird es den wahrscheinlich noch ...

Also, soll es ihn auch, glaube ich, einfach länger geben, als wir jetzt gerade annehmen. Weil der KI-Avatar, der kann zwar immer alle Informationen direkt abrufen, aber der wird das nicht so übertragen können auf dem Team, glaube ich, wie jeder Mensch. Und vielleicht soll es das auch einfach nicht sein. Ich glaube, du musst halt so ein Bild auflösen.

Also, nicht du, sondern man muss ein Bild auflösen. Ich habe halt beim hochbezahlten Selbstdarsteller halt auch immer einen super negativen Kontext aus meiner Sicht. Ja, ja, klar. Weil es meistens Leute waren, die irgendwie selber gar nichts auf dem Kasten hatten.

Ja, ja, verstehe. Und das ist bei mir total negativ konnotiert. Bei mir persönlich halt so. Ja, wenn wir jetzt ...

Wenn wir darauf gehen, dann klar. So, weißt du, das muss man einmal auflösen. Das, was aus meiner Sicht total wichtig sein wird in Zukunft, ist, aus einer Organisation, die muss mitgenommen werden. Und die wird von einem Menschen mitgenommen.

Und aus meiner Sicht wird die von einem Menschen mitgenommen, der KI-gestützt einfach ein sehr fundiertes, gutes Wissen hat. Genau. Der aber auch die richtigen Schlüsse zieht. Genau.

Und das ist das Entscheidende. Strategisch die richtigen Schlüsse zu ziehen aus den Daten, die dort sind. Genau. Du musst ja auch dann nicht mehr ...

Also, du weißt eigentlich sehr, sehr viel, ohne es eigentlich zu wissen. Das ist ja das Gute in der Zukunft für einen Geschäftsführer. Aber du kannst dich relativ schnell in auch kleine Themen innerhalb kürzester Zeit so weit einarbeiten, dass du auf einem gewissen Level einfach mitsprechen kannst. Mhm.

Und das solltest du, glaube ich, auch tun. Ich glaube, Gary Weinercheck hat das einmal gesagt. Der meinte, ich bin bei den ersten und bei den letzten zehn Prozent dabei. Mhm.

Also, der gibt quasi einmal den Startschuss und sagt, guck mal, Leute, wir verlieren uns jetzt hier nicht irgendwie in unseren Leitfäden und Meetings und so. Ihr fangt jetzt damit an, dann macht ihr das, dann komme ich am Ende wieder, um zu sagen, okay, das reicht, das Ergebnis ist gut genug, lass uns weitermachen. Weil das sind ja oft Themen, wo sich Projekte einfach verlieren. Entweder am Anfang, weil es zu lange dauert und die Leute wollen irgendwie das Ding perfekt machen.

Oder am Ende, weil keiner traut jetzt irgendwie auf den Knopf zu drücken und zu sagen, okay, wir gehen jetzt los. So, das fand ich eigentlich ein gutes Beispiel von ihm. Und ich glaube, durch KI wird der zukünftige Geschäftsführer oder wer auch immer, auch Abteilungsleiter, also jeder, der irgendwie ein Team führen muss, kann sich relativ schnell in Themen einarbeiten, um dann auch eine eigene Meinung darüber zu haben und nicht nur im Meeting zu sitzen und ja sagen und ja sagen und so. Ich glaube, das ist meine Theorie.

Ich glaube, das Entscheidende ist, das hast du gerade gesagt, wir haben uns am Anfang ein bisschen leiten lassen vom Hochbezahlten. Ja, ja, genau. Wir sind halt. Es geht gar nicht darum, es geht darum, wie ist die Rolle einer Führungskraft in Zukunft.

Genau. Wenn es ein Labersack ist in der Führungskraft, dann soll der weg. Ganz einfach. Aber die Führungskraft muss es weiter geben, das soll auch ein Mensch bleiben, muss auch ein Mensch bleiben, weil Punkt.

Also nichts anderes. Aber die Führungskraft muss akzeptieren und verstehen, dass seine Arbeitsweise sich verändert. Also es kann ja auch vielleicht bald sein, dass es die eine oder andere Firma gibt, die nicht mehr ein CFO, ein CEO, also kann ja auch eine Person das vereinen. So kann ja auch sein, weil er sich eben durch KI als Generalist, also weißt du?

Das erinnert sich an ein Gespräch, das wir gemeinsam bei einem Kunden hatten, als wir dort saßen und ich zu der HR-Leiterin gesagt habe, naja, du führst heute 120 Leute, vielleicht demnächst 250, davon sind aber 130 Agents. Agents, ja. Genau. Die Rollen verändern sich komplett.

Das wird sich alles verändern. Also jede einzelne Rolle verändert sich komplett und darauf nochmal kurz im Kontext von heute Morgen, als ein Freund mich per WhatsApp fragte, wie viele Leute arbeiten denn eigentlich mittlerweile in der neuen 23? Und ich gesagt habe, Menschen? So, also mehr brauchen wir dazu gar nicht zu sagen, weil Menschen sind es fünf, aber wahrscheinlich haben wir die Power von 15 bis 20.

Also es kommt noch an, wie man es betrachtet jetzt, aber ich unterscheide das irgendwie, also natürlich unterscheide ich noch Menschen und Maschinen, aber im Output unterscheide ich das nicht mehr. Das ist, glaube ich, so ein wichtiger Fakt. Also ein bisschen abgeschweift, vielleicht nochmal als Conclusion, mein Take dazu, die Führungskraft der Zukunft, also um darauf nochmal Bezug zu nehmen, scheiß jetzt mal auf den hochbezahlten Selbstdarsteller, sondern die Führungskraft der Zukunft, ich glaube, das ist das Entscheidende, muss KI-gestützt arbeiten. Muss.

Aber nicht jeder. Jeder, genau, eigentlich jeder, aber der vor allen Dingen. Und er wäre ja auch blöd, wenn er es nicht machen würde, weil das gibt ihm ja den Freiraum, um als Führungskraft zu agieren. Das ist ja das Entscheidende.

Und vor Tänze haben wir noch nie gebraucht. Das stimmt. Das muss man so zu sagen. Das stimmt, außer im Kölner Karneval.

So, das war so ein... Warte, Funke, mal riechen. So, das, was Manuel und mich ja gerne auszeichnet, ist, wir haben Planänderungen, die wir live machen. Das heißt, wir haben jetzt mal eine Sendung gehabt ohne KI-Themen des Tages, ohne Octavius, ohne alles.

Wir haben uns mal leiten lassen von dem Thema. In Köln sagt man ja, et küt wie et küt. Et küt wie et küt, aber jetzt auch in dem Fall, das hat noch immer Jutschi. So sieht es nämlich aus.

Ich würde sagen, wir sind am Ende der Sendung für heute und hören uns morgen wieder. Morgen. Ja. Ciao.

Ciao. Ich bin ein Doppelter Espresso. Jeden Morgen. Jeden Morgen.

Jeden Morgen. Frisch. Ich bin ein Doppelter Espresso. Weniger Reden, mehr machen.