Bezmyślny buntownik. Czy bunt maszyn jest możliwy?

Bezmyślny buntownik

Rozważany dotąd scenariusz zakłada, że SI pomyśli – samo to już jest fantastyką – iż nie chce wykonywać instrukcji napisanych przez człowieka. Bunt może wyglądać jednak zupełnie inaczej. Może się okazać, że całkiem bezduszny algorytm, mający tyle samo świadomości co komputer, na którym piszę te słowa, źle albo zbyt dosłownie zinterpretuje instrukcje i stanie się zagrożeniem.

Komputery zaczęły się uczyć, ale to nie działa tak jak nauka człowieka.

Współczesna SI, oparta na technologii uczenia maszynowego, może sama poszukiwać rozwiązań konkretnego problemu.

Teoretycznie więc może się okazać, że program uzna, iż jakaś forma szkodzenia ludziom będzie najlepszym możliwym sposobem na realizację powierzonego mu przez ludzi zadania. Wyobraźmy sobie sytuację rodem z powieści science fiction. Za 20 lat zlecimy sieci komputerowej znalezienie rozwiązania problemu nadmiernej emisji gazów cieplarnianych. Program przeanalizuje dane z poprzednich kilku dekad i zauważy, że spadek emisji był powiązany z epidemią koronawirusa. Teoretycznie mógłby wtedy uznać, że to właśnie jest optymalne rozwiązanie.

Oczywiście do niczego nie dojdzie, jeśli zachowamy zasadę „man in the loop”, o której wspominał dr Czulda. Gdyby tak było, komputer jedynie zasugerowałby człowiekowi stworzenie nowego wirusa i zarażenie nim ludzkości, a operator urządzenia wybuchnąłby śmiechem, a potem zmodyfikował algorytm w taki sposób, by ten, szukając rozwiązania, zwracał uwagę także na liczbę potencjalnych ofiar w ludziach.

Z drugiej strony wojskowe systemy stają się coraz bardziej złożone. Widać to chociażby w tym, jak wiele danych obecnie wymieniają pomiędzy sobą poszczególne elementy wojskowych systemów uzbrojenia.