Mieli pracować szybciej. AI spowolniła ich o 19 proc.

Zanim rozpoczęto eksperyment, wszystko wskazywało na to, że AI stanie się cennym wsparciem. Do badania zaproszono 16 doświadczonych twórców kodu, pracujących od lat przy dużych projektach open source. Każdy z nich miał rozwiązać realne problemy techniczne – część z pomocą sztucznej inteligencji, część bez.

Uczestnicy przewidywali, że dzięki AI czas realizacji zadań skróci się średnio o 24%. Po zakończeniu testów… nadal tak sądzili – choć faktyczny czas wzrósł o niemal 1/5. To ogromny rozdźwięk między odczuciem a rzeczywistością.

Autorzy badania – Joel Becker i Nate Rush – przyznają, że byli zaskoczeni. Spodziewali się wręcz dwukrotnego przyspieszenia. Zamiast tego okazało się, że nawet najlepsi mogą ulec złudzeniu efektywności, które nie przekłada się na rzeczywistą produktywność.

AI spowalnia ekspertów?

Najczęstszym problemem okazała się… nadgorliwość modeli. AI, choć często trafiała z ogólnym kierunkiem działania, generowała kod, który trzeba było poprawiać lub doprecyzować. To wymagało czasu i skupienia. W niektórych przypadkach uczestnicy musieli porównywać wiele wersji rozwiązania – lub całkowicie przepisać kod od podstaw.

Dodatkowo AI nie radziła sobie z niuansami konkretnych repozytoriów: złożonym systemem zależności, wymaganiami co do formatowania, testami czy dokumentacją. Tam, gdzie programista działa intuicyjnie, AI gubiła się w szczegółach.

Wnioski? Narzędzia AI są przydatne, ale niekoniecznie tam, gdzie praca wymaga głębokiego kontekstu, znajomości całego projektu i wysokich standardów jakości.

Rewolucja AI w polskim biznesie. Brakuje kompetencji w zespołach. Dlaczego?

Przełomowe badanie?

Większość dotychczasowych badań nad wpływem AI na programistów opiera się na benchmarkach: krótkich zadaniach algorytmicznych, pozbawionych kontekstu. Takie testy mogą zawyżać ocenę możliwości sztucznej inteligencji, bo ignorują złożoność realnych projektów.

Badanie METR było inne. Zamiast testów laboratoryjnych, skupiono się na rzeczywistej pracy – w znanym środowisku, na zadaniach przygotowanych przez samych deweloperów. Analizowano nie tylko czas, ale też jakość kodu i doświadczenie użytkownika. I to właśnie ta metodologia może zrewolucjonizować sposób, w jaki mierzymy wartość sztucznej inteligencji w pracy.

Rynek musi ochłonąć?

Wyniki badania stawiają pod znakiem zapytania niektóre prognozy, które zakładały, że AI “uwolni” ogromną produktywność w IT. Rynki finansowe, startupy AI i inwestorzy technologiczni często opierają swoje decyzje na założeniu, że narzędzia AI natychmiast zwiększają efektywność – zwłaszcza tam, gdzie praca jest kosztowna i trudna do zautomatyzowania.

Tymczasem badanie METR pokazuje, że realna wydajność może być niższa, niż zakładano – przynajmniej w krótkim terminie. Samo wdrożenie AI nie gwarantuje zysków, jeśli nie towarzyszy mu odpowiedni kontekst, trening i zmiana sposobu pracy.

MŚP vs AI. Rewolucja będzie zależeć od odwagi i kompetencji. Sprawdź szczegóły!

AI nas jeszcze zaskoczy?

To, że dziś AI nie przyspiesza pracy ekspertów, nie znaczy, że nigdy tego nie zrobi. Autorzy badania planują kolejne edycje – i liczą, że postęp w modelach oraz doświadczenie użytkowników zmienią te wyniki.

Z drugiej strony, jeśli pojawi się radykalne przyspieszenie, może to mieć poważne skutki dla całej branży. Przyspieszenie R&D nad AI mogłoby doprowadzić do centralizacji władzy technologicznej, trudności w kontroli etycznej lub nawet erozji nadzoru nad narzędziami generatywnymi.

Dlatego – jak podkreślają badacze – potrzebujemy więcej takich badań jak METR. Tylko dzięki nim możemy zrozumieć nie tylko “co potrafi AI”, ale przede wszystkim: w jakich warunkach potrafi być naprawdę użyteczna.

źródło: Economic Times, Reuters, PB, METR