Menschlicher Buchhalter schlägt immer noch den KI Bot. Bild: Nate Edwards, Brigham Young University
Von Christian Schröter, 24. Mai 2023, Lesedauer 1 Minute, 44 Sekunden
Chat GPT erledigt jetzt auch die Buchführung, KI Software von Open AI macht in praktischen Tests mit Studenten jedoch deutlich mehr Fehler
San Francisco, Provo, 24. April 2023
Der jüngst KI Chatbot »GPT 4« von Open AI soll künftig auch die #Buchhaltung von #Unternehmen übernehmen. Er hat, beteuert #Open #AI, die entsprechende Prüfung mit hoher Punktzahl bestanden. Dennoch ist die Software Studenten unterlegen, gegen die ihn die #Brigham #Young #University (BYU) und 186 andere Universitäten antreten ließen.
Studenten deutlich besser
Die Fragen betrafen Rechnungslegungsinformationssysteme (AIS), Wirtschaftsprüfung, Finanzbuchhaltung, Controlling und Steuern. Sie unterschieden sich in Schwierigkeitsgrad und Art (wahr oder falsch, #Multiple #Choice, Kurzantwort). Die Studenten erzielten einen Gesamtdurchschnitt von 76,7 Prozent, verglichen mit 47,4 Prozent bei Chat GPT. Bei 11,3 Prozent der Fragen schnitt Chat GPT besser ab als der Studentendurchschnitt - besonders gut in den Bereichen AIS und Auditing. Bei Steuerbewertungen, Finanzbewertungen und Management #Bewertungen schnitt der #Bot schlechter ab.
Bei Fragen, die mit richtig oder falsch beantwortet werden mussten, und bei Multiple Choice Fragen schnitt der Bot schnitt der Bot besser ab als die Studenten, hatte aber massive Probleme bei Kurzantwortfragen. Im Allgemeinen waren übergeordnete Fragen für Chat GPT schwieriger zu beantworten. Tatsächlich lieferte Chat GPT manchmal maßgebliche schriftliche Beschreibungen für falsche Antworten oder beantwortete dieselbe Frage auf unterschiedliche Weise.
Zusammenphantasierte »Fakten«
»Es ist nicht perfekt; man kann die #Software nicht für alles verwenden. Der Versuch, nur mit Chat GPT zu lernen, dürfte scheitern«, sagt Jessica Wood, die ihr Studium an der BYU gerade begonnen hat. Chat GPT phantasiert sich manchmal vermeintliche Fakten zusammen, heißt es.
»Als diese Technologie zum ersten Mal auf den Markt kam, waren alle besorgt, dass die Studenten sie zum Schummeln verwenden könnten«, so der leitende Studienautor David Wood. »Aber Möglichkeiten zu betrügen gab es schon immer. Wir versuchen also, uns auf das zu konzentrieren, was wir jetzt mit dieser Technologie tun können, was wir vorher nicht tun konnten, um den Lehrprozess für die Fakultät und den Lernprozess für die Studenten zu verbessern.«
