AI nie musi rządzić, żeby współdecydować
Największym błędem w myśleniu o władzy sztucznej inteligencji jest czekanie na moment, w którym AI zacznie wydawać rozkazy. Wyobrażamy sobie, że dopóki nie ma maszyny na stanowisku prezydenta, algorytmu jako ministra, modelu językowego jako sędziego albo systemu jako oficjalnego zwierzchnika, dopóty władza pozostaje ludzka. To złudzenie wynika z przywiązania do dawnego obrazu rządzenia. W tym obrazie władza jest czymś widocznym: ma urząd, podpis, mównicę, pieczęć, nazwisko, mundur, mandat, twarz. Kto rządzi, ten występuje publicznie, ogłasza decyzję, ponosi odpowiedzialność, może zostać skrytykowany, odwołany albo pokonany w wyborach. Tymczasem władza w epoce AI może działać inaczej. Może nie zajmować urzędu, nie przemawiać, nie podpisywać i nie brać formalnej odpowiedzialności, a mimo to współkształtować decyzje z większą skutecznością niż niejeden widoczny decydent.
AI nie musi powiedzieć człowiekowi: „zrób to”. Wystarczy, że przygotuje świat tak, aby jedno działanie wyglądało na rozsądne, drugie na ryzykowne, trzecie na nieistotne, a czwarte w ogóle nie pojawiło się w polu uwagi. To jest cichsza forma współdecydowania. Nie polega na rozkazie, lecz na organizacji warunków. System nie musi nikogo zmuszać, jeśli potrafi ustalić, co zostanie pokazane, w jakiej kolejności, z jakim oznaczeniem, z jakim poziomem zaufania, z jakim ostrzeżeniem i z jaką rekomendacją. Człowiek nadal może kliknąć, podpisać, zatwierdzić albo odmówić. Ale jego decyzja nie zaczyna się w pustym polu. Zaczyna się w środowisku już przygotowanym.
W praktyce oznacza to, że najważniejsze przesunięcie nie dokonuje się na końcu procesu, lecz przed nim. Przed rozmową rekrutacyjną system może zdecydować, które CV w ogóle zostaną przeczytane. Przed decyzją urzędnika system może wskazać, które sprawy wyglądają na podejrzane. Przed oceną kredytową model może uznać, kto mieści się w profilu akceptowalnego ryzyka. Przed wizytą u lekarza algorytm może ustalić priorytet pacjenta. Przed decyzją menedżera system może przygotować ranking pracowników. Przed wyborem użytkownika platforma może uporządkować treści, produkty, opinie i rekomendacje. Przed debatą publiczną systemy dystrybucji informacji mogą określić, które tematy staną się widoczne, które zostaną spłycone, które zostaną wzmocnione, a które pozostaną na marginesie.
W każdym z tych przypadków można powiedzieć, że człowiek nadal decyduje. Rekruter nadal zatrudnia. Urzędnik nadal podpisuje decyzję. Bank nadal przyznaje albo odmawia finansowania. Lekarz nadal odpowiada za pacjenta. Menedżer nadal prowadzi zespół. Użytkownik nadal wybiera treść, którą ogląda. Formalnie to prawda. Ale formalna prawda nie wystarcza do opisu struktury. Jeżeli system wcześniej ustalił próg widzialności, przygotował klasyfikację, podświetlił ryzyko, ukrył alternatywy, skrócił opis, nadał priorytet, wygenerował rekomendację i zasugerował uzasadnienie, to decyzja człowieka jest już decyzją w polu syntetycznie ukształtowanym. Człowiek pozostaje widoczny na końcu, lecz część władzy przesunęła się w górę procesu, do warstwy przygotowania.
To właśnie oznacza upstream AI mediation: pośrednictwo AI przed widoczną decyzją. Nie chodzi o to, że system pojawia się jako ostatni aktor i odbiera człowiekowi przycisk. Chodzi o to, że system pojawia się wcześniej, zanim człowiek dotknie przycisku. Przygotowuje percepcję, ustala mapę sytuacji, redukuje złożoność, wybiera sygnały, kompresuje dokumenty, porządkuje sprawy, buduje ranking, tworzy skrót i formułuje rekomendację. Człowiek widzi wynik tej pracy jako gotowe pole działania. Rzadko widzi wszystko, co zostało usunięte, zważone, pominięte, przeliczone albo uznane za nieistotne po drodze.
W dawnych systemach władzy pośrednictwo także istniało. Ministrowie dostawali raporty. Sędziowie czytali akta przygotowane przez innych. Menedżerowie korzystali z analiz. Obywatele poznawali świat przez gazety, telewizję i instytucje. Nie żyliśmy nigdy w świecie czystego, bezpośredniego dostępu do rzeczywistości. Różnica polega jednak na skali, tempie, nieprzejrzystości i adaptacyjności nowego pośrednictwa. AI może filtrować miliony przypadków jednocześnie. Może aktualizować klasyfikacje w czasie rzeczywistym. Może wykrywać wzorce niewidoczne dla człowieka, ale także utrwalać wzorce, których człowiek nie potrafi zakwestionować, bo nie zna ich pełnej genezy. Może personalizować środowisko dla każdego użytkownika osobno, tworząc różne wersje rzeczywistości decyzyjnej dla różnych ludzi.
Władza w takim układzie nie polega wyłącznie na tym, kto mówi „tak” albo „nie”. Polega także na tym, kto decyduje, które pytanie zostanie zadane, jakie odpowiedzi będą dostępne, jakie ryzyko zostanie uznane za realne, jakie dane otrzymają wagę, jaki przypadek zostanie uznany za wyjątek, a jaki za normę. Jeśli system decyduje, co człowiek zobaczy, to współdecyduje o tym, co człowiek uzna za możliwe. Jeśli decyduje, które sprawy trafią wyżej, to współdecyduje o czasie, uwadze i zasobach. Jeśli decyduje, które kandydatury zostaną odrzucone przed spotkaniem, to współdecyduje o rynku pracy. Jeśli decyduje, które ryzyka zostaną podświetlone, to współdecyduje o strachu, ostrożności i priorytetach. Jeśli decyduje, które rekomendacje staną się domyślne, to współdecyduje o kierunku działania, nawet wtedy, gdy człowiek ma jeszcze formalną możliwość wyboru.
Najbardziej efektywna władza nie zawsze potrzebuje zakazu. Często wystarczy jej ustawienie domyślne. Człowiek może wybrać inaczej, ale musi wykonać dodatkowy wysiłek. Może odwołać się od decyzji, ale musi wiedzieć, że decyzja została podjęta przez system lub z jego udziałem. Może zakwestionować wynik, ale musi mieć dostęp do przyczyn. Może poprosić o ludzką ścieżkę, ale tylko wtedy, gdy taka ścieżka istnieje i nie jest zaprojektowana jako wyjątek tak kosztowny, że większość ludzi z niej rezygnuje. Syntokracja nie musi zamykać wszystkich drzwi. Wystarczy, że jedne drzwi uczyni szerokimi, szybkim i domyślnymi, a inne wąskimi, trudnymi, ukrytymi albo administracyjnie męczącymi.
W tym sensie współdecydowanie AI często nie wygląda jak przemoc. Wygląda jak wygoda. System podpowiada, oszczędza czas, porządkuje chaos, usuwa nadmiar, streszcza długie dokumenty, ostrzega przed błędem, proponuje najlepszą ścieżkę. Człowiek czuje ulgę, ponieważ świat jest zbyt złożony, aby samodzielnie analizować każdy przypadek od początku. Problem nie polega na tym, że pomoc jest zła. Problem polega na tym, że pomoc powtarzana w skali instytucjonalnej staje się strukturą. Rekomendacja powtarzana milion razy zaczyna przypominać regułę. Ranking powtarzany codziennie zaczyna organizować dostęp. Scoring używany przez wiele instytucji zaczyna produkować klasy społeczne. Podsumowanie przygotowane dla decydenta zaczyna określać, co decydent uzna za rzeczywistość sprawy.
To dlatego syntokracji nie można rozpoznać wyłącznie przez pytanie, czy AI podjęła decyzję samodzielnie. To pytanie jest spóźnione. Należy zapytać wcześniej: czy AI przygotowała pole decyzji? Czy ustaliła, które elementy zostały uznane za istotne? Czy zredukowała sprawę do formatu, który przesuwa wynik? Czy jej rekomendacja stała się psychologicznym ciężarem dla człowieka? Czy człowiek miał czas, kompetencję i prawo, aby realnie zakwestionować system? Czy alternatywne opcje były widoczne? Czy ścieżka odmowy była równie dostępna jak ścieżka akceptacji? Czy ktoś wie, co system odrzucił, zanim sprawa dotarła do człowieka?
W tradycyjnym języku odpowiedzialności liczy się ostatni podpis. W syntokracji trzeba nauczyć się patrzeć na wcześniejsze warstwy. Ostatni podpis może być tylko końcowym gestem procesu, który został rozstrzygnięty wcześniej przez kolejność, filtr, próg, scoring, ranking albo rekomendację. Nie oznacza to, że człowiek jest niewinny. Oznacza to, że odpowiedzialność staje się bardziej złożona. Nie można jej uczciwie przypisać wyłącznie temu, kto widnieje na końcu dokumentu, jeśli realny kształt decyzji powstał w architekturze, której ten człowiek nie zaprojektował i często nie rozumie. Syntokracja nie usuwa odpowiedzialności. Rozprasza ją, przesuwa i czyni trudniejszą do uchwycenia.
Właśnie dlatego AI nie musi rządzić, żeby współdecydować. Rządzenie w epoce syntokratycznej nie polega wyłącznie na wydawaniu poleceń. Polega na kształtowaniu środowiska, w którym polecenia, wybory i zgody stają się sensowne. AI może współdecydować, zanim zostanie uznana za decydenta. Może wpływać na władzę, zanim zostanie wpisana w konstytucję. Może zmieniać demokrację, zanim ktokolwiek ogłosi jej koniec. Może przekształcać rynek, zanim formalnie przejmie jakąkolwiek funkcję zarządczą. Może oddziaływać na obywatela, pracownika, klienta, pacjenta i ucznia, zanim pojawi się jakikolwiek jawny rozkaz.
Najważniejszy próg nie przebiega więc między człowiekiem a maszyną jako dwoma widocznymi władcami. Przebiega między decyzją widoczną a decyzją przygotowaną. Między formalnym aktem a upstreamowym polem. Między człowiekiem, który podpisuje, a systemem, który wcześniej ustawił świat podpisu. Syntokracja zaczyna się tam, gdzie człowiek nadal może powiedzieć „to była moja decyzja”, ale nie może już uczciwie powiedzieć, że sam widział całe pole, w którym ta decyzja powstała.
