Sullivan & Cromwell räumt KI-generierte Halluzinationen in Bundesgerichtsschriften ein
Sullivan & Cromwell — einer Kanzlei, deren Partner mehr als 2.000 USD pro Stunde abrechnen — hat einem Bundesrichter mehrere Korrekturen eingereicht, nachdem KI-gestützte Schriftsätze erfundene Fallbezeichnungen, fabrizierte Zitate und nicht existierende Paragraphen des U.S. Bankruptcy Code enthielten. Weder das primäre Team noch eine nachgelagerte Prüfinstanz erkannte die Fälschungen vor der Einreichung. Gary Marcus verwies darauf, dass derartige Vorfälle im juristischen Sektor bereits mehr als 1.000 Mal aufgetreten sind, und zitierte dabei den Halluzinations-Tracker von @DamienCharlotin.
Warum das relevant ist
Der Vorfall bei einer der renommiertesten und teuersten Kanzleien der USA zeigt, dass professionelles Ansehen und Stundensätze kein Indikator für die Sorgfalt bei der Prüfung von KI-Ausgaben sind — und dass mehrschichtige menschliche Prüfprozesse aus der Vor-KI-Ära systematisch unzureichend sind, wenn sie auf KI-generierte Rechtsdokumente angewandt werden.