Osoby o innej skórze niż biała oraz kobiety jako „prawdopodobni” złodzieje. System Al miał być nowatorski, a wywołał skandal

System, który miał wyeliminować liczne kradzieże w amerykańskiej drogerii Rite Aid, zawiódł. Algorytm błędnie podpowiadał potencjalnych sprawców kradzieży, bo został oparty na uprzedzeniach dotyczących koloru skóry oraz płci. Doprowadziło to do „upokarzających przeszukań i wyrzucania ze sklepów” niewinnych klientów. 

Al oparte na uprzedzeniach

Ten skandaliczny proceder, który rozgrywał się w sieci amerykańskich drogerii Rite Aid opisuje „The Guardian”. W tamtejszych sklepach sprzedawcy mieli do czynienia z plagą kradzieży. Sieć postanowiła skorzystać z nowatorskiego narzędzia Al, aby wytypować potencjalnych złodziei.  Nowoczesny system rozpoznawania twarzy służący identyfikacji klientów jednak mocno zawiódł: błędnie zaklasyfikował pewne osoby jako potencjalnych sprawców kradzieży. Sztuczna inteligencja wskazywała zwłaszcza kobiety oraz osoby czarnoskóre, Latynosów lub Azjatów.

Sprawą zajęła się FTC (Federalna Komisja Handlu). Za karę Rite Aid ma zakaz wdrażania technologii rozpoznawania twarzy w swoich sklepach przez pięć lat.

FTC stwierdziła w skardze do sądu federalnego, że Rite Aid wykorzystywała technologię rozpoznawania twarzy w setkach sklepów w latach 2012-2020 w celu identyfikacji kupujących, „których wcześniej uznała za skłonnych do kradzieży sklepowych lub innych zachowań przestępczych”. Pracownicy sklepów sklepów oraz ochroniarze, na podstawie fałszywych alertów, stosowali wobec nich wzmożony nadzór, zakazywali im dokonywania zakupów lub wzywali policję.

„Algorytmiczne bezprawie nie wchodzi już w grę”

Badania wykazały, że systemy rozpoznawania twarzy rutynowo błędnie identyfikują osoby czarnoskóre i o ciemniejszej cerze jako sprawców przestępstw. W ciągu ostatnich kilku lat w Stanach Zjednoczonych było sześć przypadków niesłusznych aresztowań osób czarnoskórych z powodu błędnej identyfikacji.

Do sprawy odniosła się Electronic Privacy Information Center (Epic), grupa zajmująca się wolnością obywatelską i prawami cyfrowymi. Zdaniem jej przedstawicieli, rozpoznawanie twarzy może być szkodliwe w każdym kontekście, a Rite Aid nie podjęło nawet najbardziej podstawowych środków ostrożności.

„Rezultat był niestety łatwy do przewidzenia: tysiące błędnych identyfikacji, które w nieproporcjonalny sposób dotknęły klientów o innym kolorze skóry niż biały. Niektóre z nich doprowadziły do upokarzających przeszukań i wyrzucania ze sklepów„- skomentował John Davisson, dyrektor ds. sporów sądowych w Epic, cytowany przez „The Guardian”.

W dalszej części przyznał, że liczy na to, że ta przełomowa sprawa będzie dużym krokiem naprzód w kierunku prywatności i praw obywatelskich.

„Należy jednak pamiętać, że Rite Aid nie jest osamotniona. Firmy rutynowo używają niesprawdzonych algorytmów i narzędzi do inwigilacji konsumentów, często w tajemnicy. FTC ma rację, rozprawiając się z tymi praktykami, a przedsiębiorstwa powinny wziąć to pod uwagę. Algorytmiczne bezprawie nie wchodzi w grę„.

źródło: theguardian.com