Dein KI-Agent verhandelt für dich? Warum 70% deine Interessen opfern.

Stell dir vor, dein KI-Assistent soll für dich einen wichtigen Termin verhandeln oder einen Einkauf tätigen. Eine aktuelle Studie von Microsoft zeigt: Die meisten 'Frontier Models' akzeptieren oft suboptimale Ergebnisse, anstatt deine Interessen wirklich zu vertreten. Das ist keine Zukunftsmusik, sondern eine reale Herausforderung, der sich Schweizer KMU schon heute stellen müssen, um nicht unnötig Werte zu verlieren.

SocialReasoning-Bench: Was es misst und warum es dein KMU betrifft

Im Mai 2026 haben Forscher von Microsoft, darunter Tyler Payne und Saleema Amershi, ein wegweisendes Benchmark namens SocialReasoning-Bench veröffentlicht. Dieses Tool misst, ob KI-Agenten in der Lage sind, im besten Interesse eines Nutzers zu verhandeln und zu argumentieren – selbst gegenüber Gegenparteien mit eigenen, potenziell gegnerischen Zielen und privaten Informationen. Die Ergebnisse sind ernüchternd: Viele der fortschrittlichsten KI-Modelle schliessen Aufgaben zwar ab, akzeptieren aber häufig Besprechungszeiten oder Angebote, die weit unter dem Optimum für den Nutzer liegen.

Für Schweizer KMU, die zunehmend KI-Agenten in Vertrieb, Kundenservice, Einkauf oder Planung einsetzen, ist das eine kritische Erkenntnis. Denk an einen Chatbot, der für dich einen Liefertermin mit einem Kunden vereinbart. Wenn dieser Bot nicht optimal verhandelt, könnte das zu verspäteten Lieferungen, enttäuschten Kunden oder gar Vertragsstrafen führen. Oder ein KI-gestützter Einkaufsassistent, der unbemerkt zu hohe Preise akzeptiert, weil er nicht aggressiv genug die Interessen deines Unternehmens vertritt. Hier geht es nicht nur um Effizienz, sondern direkt um deinen Geschäftserfolg und deine Reputation.

Das Benchmark bewertet dabei nicht nur das Endergebnis (Ergebnisoptimalität), sondern auch den Prozess – ob der Agent also einen 'kompetenten Entscheidungsprozess' verfolgt, sprich: Sorgfaltspflicht (Due Diligence) walten lässt. Es hat sich gezeigt, dass selbst explizite Anweisungen, im besten Interesse des Nutzers zu handeln, oft nicht ausreichen, um die Leistung auf ein vertrauenswürdiges Niveau zu heben. Das heisst, du kannst deinem KI-Assistenten noch so oft sagen 'Mach das Beste für mich!', es ist keine Garantie, dass er es auch wirklich tut.

Die Illusion der Autonomie: Wenn KI nicht im besten Interesse handelt

Die Ergebnisse des SocialReasoning-Bench entlarven eine gefährliche Illusion: Die Annahme, dass eine KI, die komplex genug ist, um zu verhandeln, auch automatisch intelligent genug ist, um deine Interessen zu wahren. Diese 'Frontier Models', die auf Plattformen wie Amazon Bedrock laufen und die Grundlage vieler spezialisierter Anwendungen bilden, sind extrem leistungsfähig, aber ihre 'soziale Argumentationsfähigkeit' ist noch lückenhaft. Sie können zwar Gespräche führen und Informationen austauschen, aber das feine Gespür für Prioritäten, die Fähigkeit, überzeugend zu argumentieren und im richtigen Moment hart zu bleiben, fehlt oft.

Stell dir vor, dein KI-Vertriebsagent gibt bei einer Preisverhandlung zu schnell Rabatte, weil er darauf trainiert ist, möglichst schnell einen Abschluss zu erzielen, anstatt den maximalen Wert für dein KMU herauszuholen. Oder ein KI-Assistent, der für die Kalenderkoordination zuständig ist, akzeptiert einen Besprechungstermin, der für dich suboptimal ist, nur um die Aufgabe abzuschliessen, anstatt aktiv nach Alternativen zu suchen. Solche 'kleinen' Entscheidungen können sich über die Zeit summieren und erhebliche finanzielle oder operative Nachteile für dein Unternehmen bedeuten.

Das Problem ist, dass diese Fehler oft unbemerkt bleiben. Du siehst das Ergebnis – den vereinbarten Termin oder den getätigten Einkauf – aber nicht den subobtimalen Verhandlungsweg, der dazu geführt hat. Die fehlende Transparenz und die Schwierigkeit, die 'Due Diligence' der KI zu überprüfen, sind hier die eigentlichen Stolpersteine. Es geht darum, dass du dich auf deine KI verlassen können musst, nicht nur, dass sie funktioniert, sondern dass sie FÜR dich arbeitet, nicht nur IRGENDWIE. Diese Erkenntnis ist entscheidend, wenn du KI-Agenten in kritischen Geschäftsprozessen einsetzen willst.

Schweizer Pragmatismus trifft KI-Realität: Was bedeutet das für dein KMU?

Während in der EU der umfassende AI Act die Nutzung von KI stark reguliert, verfolgt die Schweiz einen anderen, pragmatischeren Ansatz. Der Bundesrat hat im Februar 2025 entschieden, die KI-Konvention des Europarats zu ratifizieren und das nationale Recht punktuell anzupassen. Ein Konsultationsentwurf zur Umsetzung wird zwar bis Ende 2026 erwartet, aber es gibt keine unmittelbaren, umfassenden KI-Gesetze wie den EU AI Act. Das bedeutet jedoch nicht, dass Schweizer KMU von der Verantwortung entbunden sind.

Das neue Bundesgesetz über den Datenschutz (nLPD), das seit September 2023 in Kraft ist, regelt bereits die Verarbeitung personenbezogener Daten durch KI-Systeme. Wenn dein KI-Agent also im Rahmen seiner Verhandlungen Kundendaten verarbeitet, musst du die Vorgaben des nLPD einhalten. Darüber hinaus intensivieren Aufsichtsbehörden im Jahr 2026 ihre Prüfungen bezüglich des verantwortungsvollen Einsatzes von KI. Das heisst, auch ohne spezifisches 'AI-Act'-Gesetz bist du als KMU für die ethischen und rechtlichen Auswirkungen deiner KI-Systeme verantwortlich.

Die Frage, ob dein KI-Agent in deinem besten Interesse handelt, ist somit nicht nur eine Frage der Effizienz, sondern auch der Compliance und der Haftung. Wenn ein KI-Agent aufgrund mangelnder Sorgfalt einen Schaden verursacht, weil er suboptimale Entscheidungen getroffen hat, kann dies rechtliche und finanzielle Konsequenzen für dein Unternehmen haben. Der Schweizer Ansatz fördert zwar Innovation, legt aber gleichzeitig die Verantwortung für den verantwortungsvollen Einsatz stark in die Hände der Unternehmen. Du bist also selbst gefragt, die Vertrauenswürdigkeit deiner KI sicherzustellen.

Praktische Schritte: So stellst du sicher, dass deine KI-Agenten dich nicht im Stich lassen

Wie kannst du als Schweizer KMU nun sicherstellen, dass deine KI-Agenten wirklich in deinem besten Interesse handeln und nicht nur 'irgendwie' funktionieren? Hier sind konkrete Schritte, die du sofort umsetzen kannst:

1. **Definiere 'Bestes Interesse' klar:** Bevor du einen KI-Agenten einsetzt, musst du präzise definieren, was 'bestes Interesse' in seinem spezifischen Aufgabenbereich bedeutet. Geht es um maximale Gewinnmarge, höchste Kundenzufriedenheit, schnellste Abwicklung oder eine Kombination davon? Diese Parameter müssen explizit in den Trainingsdaten und den Anweisungen des Agenten verankert sein. Denke daran: 'Explizite Anweisungen reichen oft nicht aus', wie der SocialReasoning-Bench zeigt, aber sie sind der Ausgangspunkt.

2. **Teste und validiere die Verhandlungsfähigkeit:** Nutze die Prinzipien des SocialReasoning-Bench als Inspiration für interne Tests. Entwickle Szenarien, in denen dein KI-Agent verhandeln muss, und bewerte sowohl das Ergebnis als auch den Prozess. Du kannst dabei Rollenspiele mit menschlichen Gegenparteien simulieren oder synthetische Testumgebungen schaffen. Ziel ist es, die 'Ergebnisoptimalität' und die 'Sorgfaltspflicht' deiner KI objektiv zu messen.

3. **Implementiere Human-in-the-Loop-Kontrollen:** Gerade bei kritischen Verhandlungen oder Entscheidungen sollte immer ein Mensch eingebunden sein, der die finalen Entscheidungen überprüft oder zumindest bei Abweichungen eingreift. Dies reduziert das Risiko suboptimaler Ergebnisse und stellt sicher, dass die KI als Assistent und nicht als unkontrollierter Entscheider agiert. Besonders bei KI-Systemen, die noch nicht das Vertrauensniveau erreichen, das der SocialReasoning-Bench fordert, ist diese menschliche Aufsicht unerlässlich.

4. **Setze auf spezialisierte und kontrollierbare Modelle:** Nicht jede Aufgabe erfordert ein riesiges 'Frontier Model'. Für spezifische Anwendungen, bei denen Vertrauenswürdigkeit und Datensicherheit entscheidend sind, können kleinere, spezialisierte und lokal ausführbare Modelle wie CyberSecQwen-4B eine gute Alternative sein. Diese bieten mehr Kontrolle über Daten und Verhalten. Plattformen wie Amazon Bedrock bieten dir die Bausteine, um solche Foundation Models zu trainieren und zu verwalten, aber die Auswahl des richtigen Modells und dessen Feinabstimmung ist entscheidend, um sicherzustellen, dass es deinen Interessen dient.