Program o nazwie Project Maven wystartował wiosną 2017 r. Koncentrował się na przetwarzaniu materiału wideo zebranego przez drony. Chodziło o stworzenie algorytmów umożliwiających identyfikację oraz oznaczanie obiektów, które znalazły się na filmach. W ten sposób powstawałyby swego rodzaju etykiety pomagające żołnierzom wybierać odpowiednie cele.
Dawałoby to amerykańskiej armii możliwość przeanalizowania tysięcy godzin materiałów zebranych przez jej drony. Materiałów, które w większości nigdy nie były ani wykorzystywane, ani nawet oglądane. Dzięki algorytmom możliwe byłoby szybkie podejmowanie decyzji dotyczących życia bądź śmierci zarejestrowanych obiektów.
Jednak już w marcu 2018 r., niecały rok po rozpoczęciu projektu, pracownicy Google’a zaczęli zgłaszać zastrzeżenia. Początkowo miały one wewnętrzny charakter i wyrażały niezadowolenie z uczestnictwa w takim programie, z czasem jednak wystąpili z publicznym listem, w którym napisali między innymi, że w ich ocenie Google nie powinno „budować technologii pomagającej rządowi USA w inwigilacji wojskowej – i o potencjalnie śmiertelnych rezultatach”. Jednocześnie rezygnację złożyło wielu pracowników firmy. W odpowiedzi na te działania Google postanowiło nie przedłużać kontraktu z Pentagonem, a także przyjęło zestaw zasad, jakich zamierza przestrzegać przy rozwijaniu projektów opartych o sztuczną inteligencję.
Przeczytaj także:
- Google – globalna platforma płatnej cenzury
- Google zbiera informacje o geolokalizacji mimo zablokowanych ustawień. Nowe pozwy trafiły do amerykańskich sądów – informuje „The Wall Street Journal”
- Google Cloud buduje podwodne systemy kablowe, które połączą Bliski Wschód z Europą oraz Azją – informuje „The Jerusalem Post”
- Jawna tożsamość w trybie Google incognito?
Dziś Google nadal realizuje wojskowe kontrakty, ale Projekt Maven faktycznie został zawieszony i stał się przestrogą zarówno dla Pentagonu, jak i całej Doliny Krzemowej przed wykorzystywaniem komercyjnych kodów i algorytmów do celów wojskowych.
Należy jednak zaznaczyć, że Projekt Maven nie był pierwszą próbą stworzenia narzędzia umożliwiającego rozpoznawanie obiektów, jaką Pentagon podjął we współpracy z firmami technologicznymi. Rok przed uruchomieniem tego planu Laboratorium Badawcze Sił Powietrznych zawarło umowę na stworzenie programu VIGILANT, o którym niewiele było wiadomo aż do października 2021 r., kiedy to w ramach wniosku Freedom of Information Act ujawniono jego szczegóły.
Wykonanie programu „VIsual Global InteLligence and ANalytics Toolkit”, czyli VIGILANT, zlecono w 2016 r. nowojorskiej firmie technologicznej Kitware. Siły Powietrzne nie ujawniły co prawda szczegółów programu, ale upubliczniono kontrakty, które – w całej swojej zmienności – dostarczają pewnych tropów. Siły Powietrzne chciały otrzymać technologię przetwarzania danych, którą mogłyby wykorzystywać w zagranicznych działaniach wojskowych.
W kontraktach znajdują się zapisy, z których wynika, że celem prac miało być zwiększenie tempa zbierania danych wywiadowczych, a jednocześnie celowania. Stworzone algorytmy miały pozwolić na zaoszczędzenie czasu przez zautomatyzowanie wykrywania potencjalnych celów na przeszukiwanym terenie.
Do opracowania takich algorytmów, które potrafią zidentyfikować obiekty, potrzebny jest swego rodzaju trening, który polega na przetwarzaniu syntetycznych danych – fałszywych obrazów stworzonych z fragmentów prawdziwych informacji. W ten sposób od dłuższego czasu „uczy się” algorytmy automatycznej identyfikacji, które później działają w prawdziwym świecie, napotykając potencjalnie na rzadkie zdarzenia.
Laboratorium Badawcze Sił Powietrznych zaangażowało firmę Kitware, mającą już doświadczenie i narzędzia do pracy z przetwarzaniem danych, aby stworzyła takie syntetyczne nagrania z dronów. Co ciekawe, tworzone przez Kitware oprogramowanie działało na zasadzie open source, a zatem cały kod był dostępny publicznie i programiści spoza projektu mogli je rozbudowywać i udoskonalać.
Rzecznik Kitware odmawia jednak komentarzy na temat programu VIGILANT, zasłaniając się brakiem stosownych uprawnień do wypowiadania na jego temat.
Natomiast w ujawnionych dokumentach Siły Powietrzne wyrażają nadzieję, że rozwijana technologia będzie miała szerokie zastosowanie – nie tylko na polu walki, ale także np. w rolnictwie.
„Ten system demonstracyjny zostanie dostarczony w celu oceny przez analityków i przejścia do operacji w Siłach Powietrznych, społeczności wywiadowczej i firmach komercyjnych” – napisano w ogłoszeniu o przyznaniu kontraktu. „Mający ogromny potencjał zarówno dla wojskowej, jak i komercyjnej analityki opracowywane zastosowania sięgają od mapowania uszkodzeń upraw w rolnictwie precyzyjnym przez liczenie pojazdów komercyjnych po monitorowanie działań przeciwnika”.
Zatem program VIGILANT – przynajmniej jeszcze w 2016 r. – przedstawiano jako narzędzie służące zarówno w czasach wojny, jak i pokoju.
Jak Pentagon zainteresował się algorytmami rozpoznawania celów
Zainteresowania Pentagonu automatycznym rozpoznawaniem obiektów sięgają roku 2015, kiedy badacze akademiccy przeprowadzili stosunkowo wąski test, który wykazał jednak, że komputery mogą skuteczniej oznaczać obiekty niż zawodni pod tym względem ludzie.
„Dla Departamentu Obrony był to ważny dzień” – powiedział były zastępca sekretarza obrony Robert Work w wywiadzie dla „The Atlantic”.
W 2016 r. projekt VIGILANT koncentrował się jedynie na analizie zdjęć satelitarnych. Zastrzegano nadal, że „zarówno ramy, jak i analityka zostaną udostępnione jako otwarte źródło”, dzięki czemu mogłyby z niego korzystać także pozarządowe organizacje.
Jednak już rok później Departament Obrony rozpoczął finansowanie Projektu Maven, który z kolei koncentrował się na nagraniach wideo zebranych przez drony. Algorytmy opracowane w ramach tego projektu miały pomóc w planowaniu wojskowym.
Maven miał zaangażować sztuczną inteligencję do skrócenia czasu analizy i reakcji. W maju 2017 r. projekty nowych technologii po stronie Sił Powietrznych nadzorował John Shanahan, który powiedział wtedy portalowi Defense One, że Maven ma na celu oczyszczenie materiałów wideo, „znalezienie istotnych części, na których jest jakaś aktywność, a następnie oznaczenie tych danych”. Miało to stanowić ekwiwalent pracy wykonywanej w tym samym czasie przez zespoły składające się z trzech analityków. Wstępna analiza algorytmów sztucznej inteligencji dawałaby – przynajmniej w teorii – więcej czasu analitykom na weryfikację i potwierdzenie ustaleń.
„Projekt Maven koncentruje się na wizji komputerowej – aspekcie uczenia maszynowego i głębokiego uczenia – która autonomicznie wyodrębnia interesujące nas obiekty z ruchomych lub nieruchomych obrazów”, powiedział z kolei szef zespołu Algorithmic Warfare Cross-Function Drew Cukor w komunikacie prasowym, jaki Departament Obrony wydał w lipcu 2017 r.
VIGILANT analizował zatem obrazy satelitarne, Maven zaś – obrazy wideo z dronów. Granice między tymi programami miały zostać jednak zatarte z chwilą uruchomienia programu VIGILANT 2.
Stało się to w lutym 2018 r., kiedy amerykańskie Siły Powietrzne postanowiły włączyć w obszar swoich zainteresowań czujniki elektrooptyczne. Kontrakt ponownie otrzymał Kitware. Już przy pierwszym projekcie nakreślono, że celem przygotowywanego oprogramowania będzie praca z danymi pochodzącymi z różnych źródeł. Jednak w VIGILANT 2 aspekt ten stał się jeszcze bardziej wyraźny. W kontrakcie wyszczególniono, że „chociaż komercyjne dane satelitarne będą głównym przedmiotem tych prac, opracowana technologia może być stosowana do innych platform elektrooptycznych zarówno w domenie powietrznej, jak i kosmicznej”.
Chodziło zatem o zbudowanie modelu opartego na danych zarówno z satelitów, jak i samolotów – włączając w to drony. Maksymalna użyteczność algorytmu przetwarzania zakładała możliwość pracy w całym zakresie czujników. Oznaczało to „zdolność wykrywania zmian” na obrazach poprzez zestawienie najnowszych danych z tymi, jakie zebrano w przeszłości. Chodziło zatem o odpowiednie przetwarzanie i identyfikację danych.
Proces ten przebiega zwykle w następujący sposób: najpierw identyfikuje się w analizowanym materiale pewien punkt zainteresowania, później analizuje wcześniejsze zapisy (obrazy), a koncentracja na danym punkcie pozwala na zaobserwowanie wszelkich związanych z nim zmian. W ten sposób ocenia się wydarzenia po ich zajściu. Wojsko jednak chce kierować ruchem ludzi i pojazdów w czasie rzeczywistym, potrzebuje więc zautomatyzowanej analizy, która pomoże na dużo szybszą identyfikację zachodzących zmian o militarnym znaczeniu.
W praktyce oznacza to także, że wojsko otrzymałoby algorytm pozwalający na identyfikację pojazdu oraz śledzenie jego ruchu na zdjęciach satelitarnych i nagraniach z drona. Jeśli algorytm działałby wystarczająco szybko, VIGILANT 2 umożliwiałby podejrzenie i wyśledzenie ruchów pojazdu po całym terytorium (np. danego kraju), co z kolei umożliwiałoby wyśledzenie np. sieci rebeliantów. Jednak technologia ta budzi szereg poważnych zastrzeżeń, dotyczących zarówno specyfiki śledzenia, jak i samej poprawności identyfikacji pojazdu.
Co może pójść nie tak
Precyzyjne określanie celu, który na dodatek nie znajduje się blisko miejsca wymiany ognia, to trudne zadanie. Problemy rodzą się już w obrębie prawa wojennego. Określa ono standardy mówiące o sytuacjach, w których żołnierze mogą z mocą prawa pociągnąć za spusty. Proces ten jest jednak skomplikowany, co dobrze ilustruje fakt, że Połączone Szefostwo Sztabu w 2016 r. opublikowało liczący 230 stron podręcznik na ten temat. Jest on dostępny publicznie, można więc z łatwością sprawdzić, jak duże znaczenie przyłożono w nim do prawidłowego zidentyfikowania celu. Podręcznik podkreśla nawet, że „w skrajnych przypadkach brak należytej staranności w identyfikacji celu może skutkować wynikami, które mają negatywne reperkusje strategiczne dla Stanów Zjednoczonych i ich sojuszników”.
Widać zatem, że w przypadku wojskowego celowania to poprawność identyfikacji stanowi najwyższy priorytet. Tymczasem przy identyfikacji komputerowej błędy są praktycznie nieuniknione, ponieważ stanowią one część rozwoju algorytmu.
„Uczenie maszynowe jest tylko tak dobre, jak jakość etykiet. Zawsze będzie tylko tak dobre” – powiedziała Liz O’Sullivan, która w styczniu 2019 r. odeszła z Clarifai przez zastrzeżenia związane z zaangażowaniem firmy w prace nad Projektem Maven. „Jeśli w swoim zestawie danych masz zbyt wielu niebieskich i pomarańczowych ludzi, a próbujesz zidentyfikować ludzi różowych, nie będzie to działać tak dobrze. Program będzie miał wtedy wyższy poziom błędu. Jaki stopień błędu jest akceptowalny, gdy odbierasz ludzkie życie?”.
O’Sullivan opuściła Clarifai, kiedy zrozumiała, że opracowywana przez firmę technologia w końcu zostanie użyta w operacjach wojskowych.
„W końcu uświadomiłam sobie, że jeśli chcesz rozwijać naukę o wykrywaniu obiektów, to nieumyślnie przyczynisz się do globalnego wyścigu zbrojeń. Nie miało więc dla mnie sensu, by dalej iść tą drogą” – powiedziała.
Laboratorium Badawcze Sił Powietrznych, które zaangażowało firmę Clarifai, nie odpowiedziało na zarzut stawiany przez O’Sullivan.
Innym szczególnym problemem VIGILANT 2 jest konieczność uczenia algorytmów nie tylko na danych dostępnych publicznie, ale także niejawnych. Włączono też materiały syntetyczne (spreparowane), które umożliwiły sztucznej inteligencji naukę identyfikacji obiektów wojskowych bez konieczności faktycznego uchwycenia ich przez drony czy satelity.
Samo włączanie danych syntetycznych, które symulują zdarzenia rzadkie albo trudne do uchwycenia, nie jest niczym nowym dla procesów uczenia algorytmów identyfikacji. Problem jednak w tym, że w przypadku technologii wojskowych jest to rozwiązanie niebezpieczne, bo stwarza możliwość fałszywej identyfikacji celów na podstawie nieprawdziwych obrazów zakodowanych w historii sztucznej inteligencji.
„Próbują wykorzystać wizję komputerową do czytania w myślach, a to nie jest kryształowa kula” – skomentowała O’Sullivan. „Nie widzi przez ściany, a twierdzenie, że może wnioskować o intencjach na podstawie wzorców, jest po prostu oburzająco naiwne”.
W jaki sposób należałoby zatem identyfikować podejrzaną placówkę, która mogłaby np. posiadać broń chemiczną? Na przykład po zbiornikach lub beczkach znajdujących się na zewnątrz. I jeśli takie zostaną wykryte, a jednocześnie będą znane algorytmowi i wymodelowane, to czy wystarczy to, aby włączyć ten model do materiału zdjęciowego obiektów? To jeszcze niewiele, bo ważniejsze pytanie brzmi: czy budynek z takim wyposażeniem może zostać uznany za ważny cel? Bo jeśli tak, to modelowanie i celowanie może uznać, że uderzenie w ten obiekt będzie zasadne dla celów wojskowych.
Jeśli jednak któryś z etapów przetwarzania zawiedzie, może zostać zniszczony zupełnie niegroźny obiekt, którego jedyną winą było przypominanie ważnego celu. Przy takim błędzie prawdopodobnie zginą też niewinni ludzie.
Co ciekawe, celowo pomija się niektóre dane. 12 grudnia 2021 r. „The New York Times” opublikował artykuł, w którym opisano działania Talon Anvil – jednostki wojskowej, która wyszukiwała cele dla amerykańskiej armii walczącej z ISIS w Syrii i Iraku. Talon Anvil działało w latach 2014 – 2019, kiedy też podejmowano pierwsze operacje wykorzystujące dorobek Projektu Maven przy identyfikowaniu i namierzaniu obiektów.
W raporcie zaznaczono, że aby uniknąć odpowiedzialności za ofiary uderzeń, „Talon Anvil zaczął kierować kamery dronów z dala od celów na krótko przed uderzeniem, uniemożliwiając zbieranie dowodów w postaci nagrań wideo”.
Algorytmy i czynnik ludzki
We wrześniu 2020 r. kontrakt na VIGILANT 2 został zaktualizowany. Pentagon wyraźnie domagał się zwiększenia pracy nad etykietowaniem danych z udziałem nienadzorowanego uczenia maszynowego. W uczeniu nienadzorowanym sztuczną inteligencję obdarza się sporym zaufaniem i oczekuje, że będzie ona w stanie wykryć podobieństwa w obrazach, a później przypisać odnalezione obiekty do użytecznych grup, które nie będą dyktowane przez człowieka. Takie podejście zwiększa szybkość identyfikacji, ale zmniejsza jej dokładność. „Wykonawca będzie badał techniki i algorytmy, które zapewnią USAF wysoki stopień elastyczności (automatycznego rozpoznawania celów) poprzez produkcję nowych modeli opartych na głębokim uczeniu, które mogą być trenowane tak szybko, jak to możliwe” – czytamy w zaktualizowanym kontrakcie.
W aktualnie dostępnych systemach celowniczych budowa takiego algorytmu może zająć miesiące albo nawet lata, a każdy jest specyficzny dla danego czujnika. Siły Powietrzne chcą tymczasem, by Kitware stworzyło system automatycznego rozpoznawania celów, który może zostać wdrożony do nowej kamery w kilka godzin. Stoi za tym założenie, że proces identyfikacji jest na tyle wiarygodny, że można go tak szybko zastosować w walce.
Kolejna zmiana w kontrakcie dotyczy zwiększenia prac nad zaangażowaniem czujników satelitarnych i samolotowych w ramach tej samej analizy. Oprócz tego pojawił się wymóg możliwości zainstalowania oprogramowania do identyfikacji na mniejszych urządzeniach.
VIGILANT 2 wciąż określane jest jako technika „user-in-the-loop”, czyli działająca przy zaangażowaniu człowieka do procesu analizowania. W praktyce jednak możliwość przetwarzania danych bez zwracania wyników do ludzkiego operatora oznaczałaby, że człowiek zostałby pominięty w procesie przeglądania danych i mógł co najwyżej oceniać celowanie dokonane przez algorytm.
Aktualne badania prowadzone nad widzeniem komputerowym w sektorze publicznym pełne są raportów o algorytmicznych błędach. Znany jest przykład algorytmu, który rozpoznawał jabłko Granny Smith z dokładnością sięgającą 85 proc. Jednak kiedy na jabłku umieszczono kartkę z napisem „iPod”, algorytm rozpoznawał iPoda z pewnością rzędu… 99,7 proc.
Inteligencja maszynowa jest więc pełna potencjalnych błędów i pozostawianie jej możliwości wybierania celów do działań wojskowych – nawet w ramach wstępnej selekcji – niesie ze sobą spore ryzyko.
Wojsko ma świadomość wielu zagrożeń, jakie wiążą się z tą technologią i prowadzi nad nimi badania, ale uzyskane wyniki nie napawają optymizmem. Generał dywizji Daniel Simpson z Amerykańskich Sił Powietrznych opisał ostatnio sztuczną inteligencję rozpoznającą cele. Problem z nią polegał na tym, że została wyszkolona na pociskach ustawionych tylko pod jednym kątem. Jeśli ten sam pocisk ustawiono pod innym kątem, poprawność rozpoznania sięgała zaledwie 25 proc. Simpson uważa jednak, że bardziej niepokojące jest to, że algorytm „był przekonany, o tym, że ma rację, w 90 proc. przypadków, więc z pewnością się mylił. I to nie jest wina algorytmu. Stało się tak dlatego, że podawaliśmy mu niewłaściwe dane treningowe”.
VIGILANT rozwijany przez Kitware jest tylko przykładem wielu programów stworzonych po to, by opracowywane w Dolinie Krzemowej technologie przetwarzania danych przenieść do operacji wojskowych. Stawki są wysokie – z jednej strony są to przecież ludzkie życia, a z drugiej strony kontrakt na VIGILANT 2 z września 2020 r. opiewał na kwotę niemal 8 mln dolarów. Wydaje się to dużo, ale jednocześnie to tylko 1/10 kosztów jednego F-35A Joint Strike Fighter.
Opracowywana technologia ma służyć odnajdywaniu wzorców na nagraniach i zdjęciach, a także identyfikacji zarejestrowanych obiektów. Jednak w całym tym procesie ważny pozostaje czynnik ludzki – to od człowieka zależy bowiem rozmieszczenie kamer czy polecenie wyszukania danego rodzaju obiektów. Sztuczna inteligencja wytwarza jednak pewien dystans pomiędzy błędną decyzją a fałszywą pewnością algorytmu.
„Zawsze obawialiśmy się, że wojsko wykorzysta swoje drony do stworzenia zestawu treningowego dla wygenerowania modelu” – powiedziała O’Sullivan. „W ten sposób wszystkie błędy, które popełniliśmy w przeszłości, zostaną wykorzystane do przewidywania, jakiego rodzaju błędy będą miały miejsce w przyszłości. I myślę, że istnieje naprawdę duże ryzyko, że tak się stanie w tym przypadku”.
