21 PROJEKTMANAGEMENT AKTUELL · 34. Jahrgang · 01/ 2023 DOI 10.24053/ PM-2023-0004 Potenzial des KI-gestützten Projektmanagements mit NLP-Modellen Helge F. R. Nuhn, Agnetha Flore, Rüdiger Lang, Alfred Oswald, GPT-3 Für eilige Leser | Die KI-Technologie hat in letzter Zeit bemerkenswerte Fortschritte gemacht und wird in Zukunft verstärkt in Projekten eingesetzt. Wir stellen einen Rahmen vor, der eine Interaktion zwischen Projektteams und KI aufzeigt und dabei die ICB 4-Kompetenzperspektive verwendet. Wir testen State-of-the-art NLP-Modelle. Diese vortrainierten Modelle zeigen eine beachtliche Leistung, wenn es darum geht Fachwissen der Projektmanagementdisziplin wiederzugeben. Schlagwörter | KI-gestütztes Management, Künstliche Intelligenz (KI), Maschinelles Lernen (ML), Natural Language Processing (NLP), KI-Verarbeitung natürlicher Sprache, Projektmanagement Einleitung Die digitale Transformation wird durch das Aufkommen digitaler Technologien vorangetrieben. Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) sind sehr wirksame Hebel in diesem Wandel. KI bezeichnet Computersysteme, die (selbständig) lernen und sich anpassen. ML ist der Teil des Bereichs der Künstlichen Intelligenz, in dem normalerweise große Datenmengen verwendet werden, um KI-Systeme zu trainieren, damit diese lernen, komplexe Aufgaben zu lösen. Zurzeit stellt die Erforschung autonomer KI-Systeme, sogenannter autonomer Agenten, ein bedeutendes Forschungsfeld dar. Autonome Agenten agieren in und mit (Daten-) Umgebungen, welche kognitives, taktisches und strategisches Verständnis sowie schließlich Finesse in der Ausführung von Tätigkeiten erfordern. Auch die KI-Techniken zur maschinellen Übersetzung von Texten, zur Kürzung oder zum Schreiben werblicher Texte auf Grundlage kurzer Textvorgaben haben eine oft mehr als akzeptable Leistung erreicht. Jüngsten Nachrichtenartikeln zufolge könnten große Suchmaschinenanbieter wie Google als Reaktion darauf erwägen, Inhalte in ihrem Ranking-Algorithmus schlechter zu stellen, wenn sie von KI-Modellen erstellt wurden. Trotz dieses hohen Potenzials, das moderne KI-Modelle in sich bergen, ist die wissenschaftliche Erforschung des Übergangs und der entsprechenden Anwendungen solcher Technologien in anderen Disziplinen kaum vorhanden. Dieser Artikel zeigt auf, welchen Einfluss KI-Systeme auf die Gesellschaft haben werden und warum Projektmanagement dringend in den Fokus der zukünftigen KI-Forschung gerückt werden muss. Folgende vier Arbeitshypothesen und verwandte Fragen werden hierzu diskutiert. 1. KI und Projektmanagement aus gesellschaftlicher und organisationaler Sicht Die digitale Transformation wird durch KI-Systeme und Projekte mit KI Bezug maßgeblich geprägt. KI-Systeme haben ein hohes Potenzial, die menschliche Kognition und Kooperation zu unterstützen. Projekte sind ein wichtiges Mittel, um die Zukunft zu gestalten. KI-Systeme werden in fast alle Projektlösungen einfließen und KI wird damit zu einer Kernkompetenz in der Projektarbeit. Gleichzeitig sind die Auswirkungen von KI-Projektlösungen auf Stakeholder, Gesellschaft und Umwelt zu berücksichtigen. 2. Kompetenzen von Projektmanagern und KI- Systemen KI-Algorithmen, -Modelle und -Systeme sind wichtige Ressourcen für das Projektmanagement. KI-Systeme können als funktionale Ressource für jeden Projektmanager oder jedes Projektteammitglied dienen. Die Akzeptanz von KI-Systemen als Projektmanagement-Assistenten wird zunehmen, wenn eine bestimmte Schwelle der Nützlichkeit überschritten wird. Wissen | Potenzial des KI-gestützten Projektmanagements mit NLP-Modellen 22 PROJEKTMANAGEMENT AKTUELL · 34. Jahrgang · 01/ 2023 DOI 10.24053/ PM-2023-0004 Da immer mehr Wissen in KI-Modelle gegossen wird, stellt sich die Frage, welches Kompetenzniveau einem KI-System zugeschrieben werden soll. Dies führt wiederum zu Folgefragen wie: Wie hoch ist die abrufbare „Wissensbasis“, die ein KI-System, beispielsweise ein vortrainiertes großes Sprachmodell, besitzt? 3. Anwendungsfälle für NLP-basierte KI-Systeme im Bereich der Projektmanagementkompetenzen Künstliche Intelligenz kann helfen, Projekte, Projektmanager und Projektteammitglieder entlang der drei PM-Kompetenz- Perspektiven gemäß der IPMA-Kompetenz-Baseline ICB 4.0 zu unterstützen. Die ICB 4.0 unterscheidet drei große Kompetenzbereiche „Perspektive“, „Menschen“ und „Praxis“, die in weitere Kompetenzelemente unterteilt sind. Beispiele für Anwendungsfälle aus den drei Kompetenzbereichen sind die Analyse und der Vergleich von Artefakten, die Ableitung von Zielhierarchien und die Erstellung von Zeitplänen. Text und gesprochenes Wort spielen in allen Anwendungsfällen eine zentrale Rolle und erfordern eine entsprechend kompetente künstliche Intelligenz in der Sprachverarbeitung (d. h. im Natural Language Processing). NLP spielt schon heute in vielen Bereichen eine sehr große Rolle und sollte im Projektmanagement angemessen berücksichtigt werden. 4. Verfügbare moderne NLP-Modelle Fortgeschrittene KI-Systeme können in der Projektarbeit und im Projektmanagement eingesetzt werden, um verschiedene Aufgaben zu erledigen: u. a. Zusammenfassung von Texten wie Anforderungen, Erstellung von Ziel-Hierarchien und Projektstrukturplänen, Auswertungen von Teamsitzungen usw. Um zu solchen fortgeschrittenen KI-Systemen zu gelangen, müssen einige grundlegende Eigenschaften dieser Systeme festgelegt werden. Eine fortgeschrittene NLP-Architektur, die derzeit die meisten anderen KI-Architekturen in einer Reihe von Benchmarks übertrifft, ist GPT-3. GPT-3 ist zwar nicht völlig kostenlos, übertrifft andere KI-Systeme in nahezu allen Anwendungsbereichen erheblich. Es gibt frei lizenzierte andere Modelle, die aber keine vergleichbare Leistungsfähigkeit aufweisen. Es stellt sich die Frage, ob sich dieser Performance-Unterschied verschiedener KI-Systeme auch im Projektmanagement bemerkbar macht. In einem ersten Schritt haben wir überprüft, inwieweit KI-Systeme in der Lage sind potenzielle Prüfungsfragen zum IPMA Kompetenzniveau D kompetent zu beantworten. Ziel, Methode und Messungen des Experiments In unserem Experiment bewerten vier unabhängige Bewerter einen KI-generierten Text mittels eines selbst entwickelten Reifegradmodells. Die Bewerter sind PM-Experten. Wir haben verschiedenen KI-Modellen Fragen als sogenannten „Prompt“ als Eingabe vorgegeben. Die KI-Systeme liefern auf der Basis der eingegebenen Fragen Antworten zurück. Im nächsten Schritt haben die Bewerter unabhängig voneinander die Fragen und die von der KI generierten Antworten gelesen und die Antworten nach dem unten beschriebenen Reifegradmodell bewertet. Die Einschätzung der Reife der Antworten wurden über die vier Bewerter gemittelt und als Gesamteinschätzung pro Frage-Antwort-Paar ermittelt. Hieraus wurde eine Gesamtreife über alle Frage-Antwort-Paare pro KI-Sprachmodell ermittelt. Für die Bewertung wurden sechs Reifegrade definiert: • Stufe 0: Unerkennbare Ausgabe • Stufe 1: Linguistisch akzeptabel • Stufe 2: Linguistisch akzeptabel, Inhalt weit vom Thema entfernt • Stufe 3: Linguistisch akzeptabel, inhaltlich nicht weit vom Thema entfernt • Stufe 4: Sachlich, formal und inhaltlich korrekt • Stufe 5: Annehmbare, überzeugende Antwort, inhaltlich kohärent-- nach klassischer Denkweise • Stufe 6: Annehmbare, überzeugende Antwort, inhaltlich kohärent-- gemäß agilem Mindset. Wir haben drei NLP-KI-System in unserem Experiment verwendet: GPT-NEO, GPT-3 und GPT-NEO mit von uns durchgeführtem, zusätzlichem Training anhand des Texts des PMBoK- Guide Vol. 4. Für das Training von GPT-NEO haben wir eine Textversion des PMBoK-Guide Version 4 verwendet. In einem Pretest haben wir mit einem anderen Fragen-Testkatalog das technische Setup überprüft und das Reifegradmodell evaluiert. Alle Fragen wurden aus dem Deutschen ins Englische übersetzt, um die Kompatibilität mit den NLP-Modellen zu gewährleisten. Der Pretestfragenkatalog umfasste 48 Fragen und war eine Mischung aus Fragen von Wideman und SVR Technologies. Der Haupttestfragenkatalog umfasste 215 Fragen und Antworten und stammte von der Deutschen Gesellschaft für Projektmanagement (GPM). Er wurde auf 56 Fragen und Antworten reduziert, sodass alle der in Tabelle 1 abgebildeten Kategorien hinreichend abgedeckt waren. Abbildung 1: Reifegrade für die Verteilung der Qualität von Antworten durch KI Wissen | Potenzial des KI-gestützten Projektmanagements mit NLP-Modellen 23 PROJEKTMANAGEMENT AKTUELL · 34. Jahrgang · 01/ 2023 DOI 10.24053/ PM-2023-0004 6. Ergebnisse und Diskussion GPT-3 erzielte mit deutlichem Abstand die besten Ergebnisse in der Studie, während GPT-NEO mit PMBoK-Inhalten trainiert die schlechtesten Ergebnisse erzielte. Das Training von GPT- NEO hat die Ergebnisse sogar verschlechtert! Die Inter-Rater Reliability wurde als bestenfalls mittelmäßig eingestuft. Allerdings erzeugt Fleiss' Kappa mit zunehmender Anzahl von Bewertungskategorien konservativere Werte. Siehe für die Darstellung der Ergebnisse Tabelle 2. Strategie Ergebnisorientierung Governance, Strukturen und Prozesse Projektdesign Compliance, Standards und Regularien Anforderungen und Ziele Macht und Interessen Leistungsumfang und Lieferobjekte Kultur und Werte Ablauf und Termine Selbstreflexion und Selbstmanagement Organisation, Information und Dokumentation Persönliche Integrität und Verlässlichkeit Qualität Persönliche Kommunikation Kosten und Finanzierung Beziehung und Engagement Ressourcen Führung Beschaffung Teamwork Planung und Steuerung Konflikte und Krisen Chancen und Risiken Vielseitigkeit Stakeholder Verhandlungen Change und Transformation Tabelle 1: ICB 4.0 Kompetenz-Kategorien des Testkatalogs der GPM   (Pre-Test) GPT-NEO GPT-3 GPT-NEO mit PMBOK Training ø Minimum (1.63) 1.29 3.68 0.77 ø Maximum (3.13) 2.20 4.66 1.95 ø Durchschnittswert (2.31) 1.76 4.29 1.34 ø Median (2.24) 1.79 4.25 1.32 ø Standardabweichung (1.50) 0.91 0.98 1.18 Fleiss Kappa (Inter Rater Reliability) (0.24) 0.34 0.29 0.19 (Fair) Fair Fair Poor Tabelle 2: Experimentergebnisse, beste Ergebnisse fett gedruckt Abbildung 2: Boxplot der Bewertungsergebnisse Wissen | Potenzial des KI-gestützten Projektmanagements mit NLP-Modellen 24 PROJEKTMANAGEMENT AKTUELL · 34. Jahrgang · 01/ 2023 DOI 10.24053/ PM-2023-0004 GPT-NEO liefert befriedigende Ergebnisse und GPT-3 produzierten im Allgemeinen eine sehr gute Qualität an Antworten auf Eingabefragen. Die Antworten auf Eingabefragen sind bei GPT-3 konsistent und kohärent innerhalb der Antwort. Praktisch nie traten Gegenfragen, Sonderzeichen oder abrupt endende Sätze auf. Auch offensichtliche Kopien von Texten aus Websites, Blogs, FAQs oder Chats / Foren wurden nicht festgestellt. Diese Fehler traten hingegen bei GPT-NEO häufiger auf. Eingeschränkt durch Limitationen einer kleinen Sample Size sowie der Verwendung eines nur minimal validierten Reifegradmodells lassen sich trotzdem beeindruckende Ergebnisse ablesen. Nahezu 75 % aller Antworten des Modells GPT-3 wurden mit Reifegrad 4 oder besser bewertet. Dies entspricht Antworten, die als inhaltlich richtig eingestuft wurden. Im Allgemeinen dürfte dies das Bestehen eines entsprechenden PM-Wissenstests bedeuten. Fazit In diesem Artikel wird argumentiert, dass KI-Technologien die Gesellschaft, die Wirtschaft und insbesondere das Projektmanagement weiter verändern werden. Es werden mehrere Anwendungsfälle vorgestellt, die in Reichweite einer produktiven Umsetzung sind. Unsere Forschungsfrage konzentrierte sich darauf, wie viel projektmanagementrelevantes Wissen implizit in in großen vortrainierten KI-Sprachmodellen enthalten ist. Die Ergebnisse dieses Experiments haben mehrere Erkenntnisse gebracht. Zum einen sind deutschsprachige Sprachmodelle bzw. Sprachmodelle, die nicht mit englischen Texten vortrainiert sind, recht selten und zudem nicht ansatzweise mit der Leistungsfähigkeit englischer Sprachmodelle vergleichbar. Zum anderen beinhalten moderne englische Sprachmodelle erstaunlich solide Kenntnisse im Bereich des Projektmanagements. Drittens erzeugen die den KI-Sprachmodellen zugrunde liegenden Textkorpora einen großen Unterschied bei der Modellleistung, sodass ein einfaches zusätzliches Training eines Sprachmodells, wie in unserem Fall für GPT-NEO, sogar eine schlechtere Leistungsfähigkeit hervorruft. Die Wechselwirkung zwischen KI-Sprachmodellen und Geschäfts- oder Managementherausforderungen ist ein völlig unerforschtes Gebiet. Für die Zukunft sinnvoll wäre die Erstellung einer umfassenden Forschungsagenda, die alle potenziellen Anwendungsfälle in ihrer Wechselwirkung berücksichtigt. Derzeit gibt es unseres Wissens keine solche KI-Forschungsagenda für das Projektmanagement. Positiv zu vermerken ist das Projekt LEAM (Large European AI Models) des Bundesverband KI, das mit einem deutschsprachigen großen KI-NLP-System u. a. die Grundlage für KI-Assistenz im Projektmanagement legt. Literatur [1] Abdal, Rameen, Peihao Zhu, Niloy Mitra, and Peter Wonka. „StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows.“. 2020. [2] Becker, J., Knackstedt, R., & Poeppelbuss, J. (2008). Dokumentationsqualität von Reifegradmodellentwicklungen. Arbeitsbericht Des Instituts Für Wirtschaftsinformatik, (121), 1-50. Retrieved from http: / / www.ifib-consult. de / publikationsdateien / 2009.pdf [3] Bentley, F., Luvogt, C., Silverman, M., Wirasinghe, R., White, B., & Lottridge, D. M. (2018). Understanding the Long- Term Use of Smart Speaker Assistants. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2, 1-24. [4] Chipulu, M., Neoh, J. G., Ojiako, U. and Williams, T. “A Multidimensional Analysis of Project Manager Competences,” IEEE Transactions on Engineering Management, vol. 60, Art. no. 3, Aug. 2013, doi: 10.1109 / tem.2012.2215330. [5] Christian, B. (2020) The Alignment Problem: Machine Learning and Human Values: ‎ W. W. Norton & Company, kindle edition [6] Fleiss, J. L. (1971) "Measuring nominal scale agreement among many raters." Psychological Bulletin, Vol. 76, No. 5 pp. 378-382 [7] Flore, A. (2020). Reifegradmodell für Smart Grids: Bewertung der Migrationspfade anhand von zwei Fallstudien; https: / / www.shaker.de / de / content / catalogue / index.asp? lang=de&ID=8&ISBN=978- 3-8440-7749-0&search=yes [8] Gao, L., Biderman, S., Black, S., Golding, L., Hoppe, T., Foster, C., Phang, J., He, H., Thite, A., Nabeshima, N., Presser, S., & Leahy, C. (2020). The Pile: An 800GB Dataset of Diverse Text for Language Modeling. arXiv Preprint arXiv: 2101.00027. [9] Ghosh, Arnab, et al. „Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation.“ Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation. 2019. [10] Härkönen, Erik, Aaron Hertzmann, Jaakko Lehtinen, and Sylvain Paris. „GANSpace: Discovering Interpretable GAN Controls.“ arXiv, 2020. [11] IPMA (2015) Individual Competence Baseline for Project Management, Version 4.0: IPMA International Project Management Association [12] Liu, P., Yuan, W., Fu, J., Jiang, Z., Hayashi, H., & Neubig, G. (2021). Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. arXiv Preprint arXiv: 2107.13586. [13] Lundin, Rolf A., and Anders Söderholm. „A theory of the temporary organization.“ 11 (1995): 437-455. [14] Nuhn, H. (2021) Organizing for temporality and supporting AI systems-- a framework for applied AI and organization research, Lecture Notes in Informatics, GI e.V [15] Oswald, A. (2022) The Whole-- More than the Sum of Its Parts! Self-Organization-- The Universal Principle! in Ding R, Wagner R, Bodea CN (editors) Research on Project, Programme and Portfolio Management- - Projects as an Arena for Self-Organizing: Lecture Notes in Management and Industrial Engineering, Springer Nature [16] Petroni, F., Rocktäschel, T., Lewis, P., Bakhtin, A., Wu, Y., Miller, A. H., & Riedel, S. (2019). Language Models as Knowledge Bases? [17] Peeters, M. M. M., van Diggelen, J., van den Bosch, K., Bronhorst, A., Neerinex, M. A., Schraagen, J. M., Raaijmakers, S. (2021) Hybrid Collective Intelligence in a Human- AI Society, in AI & Society Journal, March 2021 [18] PMI Project Management Institute (2008), A GUIDE TO THE PROJECT MANAGEMENT BODY OF KNOWLEDGE. Project Management Institute, Inc. Newton Square, PA, USA. Wissen | Potenzial des KI-gestützten Projektmanagements mit NLP-Modellen 25 PROJEKTMANAGEMENT AKTUELL · 34. Jahrgang · 01/ 2023 DOI 10.24053/ PM-2023-0004 [19] Poeppelbuss, J., & Röglinger, M. (2011). What makes a useful maturity model? A framework of general design principles for maturity models and its demonstration in business process management. Ecis, 1-12. Retrieved from http: / / aisel.aisnet.org / ecis2011 / 28/ [20] Puranam, P. (2021) Human-AI collaborative decision-making as an organization design Problem, Journal of Organization Design (2021) 10: 75-80 [21] Scarselli, F., & Tsoi, A. C. (1998). Universal approximation using feedforward neural networks: A survey of some existing methods, and some new results. Neural Networks, 11, 15-37. [22] Schoper, Y., Wald, A., Ingason, H., & Fridgeirsson, T. (2017). Projectification in Western economies: A comparative study of Germany, Norway and Iceland. International Journal of Project Management, 36. doi: 10.1016 / j. ijproman.2017.07.008 [23] Schuett, J., & others. (2019). A legal definition of AI. arXiv Preprint arXiv: 1909.01095. [24] Simpson, J., & Weiner, E. (1989). The Oxford English Dictionary. [25] Vasilescu, D.-C., Filzmoser, M. (2021) Machine invention systems: a (r)evolution of the invention process? , Journal AI & Society, January 2021 [26] Wald, Andreas Erich; Spanuth, Thomas; Schneider, Christoph; Schoper, Yvonne (2015). Towards a Measurement of "Projectification": A Study on the Share of Project Work in the German Economy. Advanced Project management (Vol 4) Flexibility and Innovative Capacity. ISBN: 978-3- 924 841-72-0. GPM Deutsche Gesellschaft für Projektmanagement e. V.. Chapter 1.2. s 19-36. Eingangsabbildung: © iStock.com / metamorworks Helge Nuhn Helge Nuhn ist Professor für Digital Business Engineering der Wilhelm Büchner Hochschule Darmstadt und Leiter der Fachgruppe Agile Management. Er ist Wirtschaftsinformatiker (TU Darmstadt), promovierte zum Thema temporärer Organisationsformen an der EBS Universität und arbeitet seit 2008 als Unternehmensberater selbständig und für namhafte Unternehmensberatungen, üblicherweise in Digitalisierungsprojekten zum Umgang mit ihren organisationalen Herausforderungen. Anschrift: Wilhelm Büchner Hochschule Hilpertstraße 31 64 295 Darmstadt Internet: www.wb-fernstudium.de eMail: helge.nuhn@wb-fernstudium.de Agnetha Flore Dr.-Ing. Agnetha Flore ist seit April 2020 im Zentrum für digitale Innovationen Niedersachsen tätig und hat dort im Oktober 2021 die Geschäftsführung übernommen; studierte Diplom- Kauffrau und promovierte Wirtschaftsinformatikerin; über 20 Jahre Tätigkeit in der Finanzdienstleistungsbranche; 2017 Zertifizierte Projektmanagerin (GPM); 2019 Zusatzzertifikat Hybrid+; 2019 Dozentin IBS Oldenburg für agiles Projektmanagement, 2019 GPM Fachgruppe Agiles Management und seit 2021 mit in der Fachgruppenleitung tätig. Anschrift: ZDIN Escherweg 2 26 121 Oldenburg Telefon: 0441 / 9722 - 102 eMail: agnetha.flore@zdin.de Rüdiger Lang Rüdiger Lang ist Diplommathematiker der Universität Heidelberg und hat einen Master in Industrial Mathematics der Universität Glasgow. Er arbeitet seit mehr als 20 Jahren in der Beratung und im IT-Management. Diese erfolgte sowohl für den AXA Konzern als auch für die Beratungsgesellschaften Consileon Business Consultancy und Cap Gemini Deutschland. Zusätzlich ist er Member der weltweiten Community https: / / abundance.su.org/ der Singularity Group (su.org), welche die Veränderung der Geschäftsmodelle basierend auf neuen Technologien vorantreibt. Er verfügt über langjährige Erfahrung in der Strategieentwicklung und dem Programm Management. Consileon Business Consultancy Maximilianstrasse 5 76 133 Karlsruhe 0160 / 747 0099 ruediger.lang@consileon.de Alfred Oswald Dr. Alfred Oswald promovierte in Theoretischer Physik an der RWTH Aachen. Er ist Geschäftsführer des IFST-Institute for Social Technologies GmbH, einem Beratungsinstitut für agile und fluide Organisationen. Er ist Mitglied der Leitung der GPM Fachgruppe Agiles Management. Sein Arbeitsgebiet ist das Meistern von Komplexität in Teams und Organisationen durch innovative Modelle und Technologien. Er verfügt über langjährige Erfahrung im Management innovativer und komplexer Projekte sowie in der Transformation von projektorientierten Organisationen in Hochleistungsorganisationen. IFST-- Institute for Social Technolgies GmbH Weissdornweg 12 52 223 Stolberg 02 402 37 091 alfred.oswald@socialtechnologies.de