Künstliche Intelligenz und Prompting Mit Prompting-Techniken LLMs schneller und billiger machen

Anbieter zum Thema

WatchGuard Technologies GmbH

Bekannte Sprachmodelle wie OpenAIs o1 oder Googles Gemini 2.5 kosten Rechenleistung, Trainingszeit und treiben die Latenz in die Höhe. Neue Prompting-Techniken sollen die Ausgabequalität verbessern, Antwortzeiten reduzieren und Nutzungskosten senken.

OpenAIs o1 und DeepSeek-R1 nutzen die Chain-of-Thought-Logik (CoT), um komplexe Probleme in Stufen aufzuteilen und so eine beispiellose Leistung sowie eine größere Genauigkeit als frühere Modelle zu erzielen. „Chain-of-Thought ist eine Prompt-Engineering-Technik, die die Ausgabe von LLMs verbessert, insbesondere bei komplexen Aufgaben mit mehrstufigem Denken“, erläutert Eda Kavlagoglu von IBM Research. „Es erleichtert das Lösen von Problemen, indem es das Modell mithilfe einer kohärenten Reihe von logischen Schritten durch einen schrittweisen Denkprozess führt.“

Aber CoT erfordert auch erhebliche Rechenressourcen während der Inferenz, was zu langen Ausgaben und höherer Latenzzeit führt, sagt Volkmar Uhlig, KI-Infrastruktur-Portfolio- Lead bei IBM, in einem Interview mit IBM Think.