Injust i desraonat: una investigació demolidora critica l'eina basada en algorismes laboristes per a la gent gran

Un informe del síndic de greuges de la Commonwealth conclou que una "caixa negra tecnològica" ignora les recomanacions de transparència de la comissió d'investigació del cas robodebt

Seguiu el nostre blog en directe de política australiana per a les últimes actualitzacions

Rebeu el nostre correu polític diari, l'aplicació gratuïta o el pòdcast de notícies diari

Un algorisme utilitzat pel govern federal per avaluar el nivell d'atenció al qual tenen dret els australians d'edat avançada és desraonat, injust i manca de supervisió humana, segons una investigació demolidora del síndic de greuges de la Commonwealth.

La investigació també ha revelat que s'han ignorat les recomanacions de transparència de la comissió d'investigació del robodebt.

S'ha de modificar la legislació per permetre que els avaluadors de dependència puguin modificar ells mateixos les decisions algorítmiques clínicament incorrectes, i també hi ha problemes legals importants amb l'eina, va declarar dilluns a Guardian Australia el síndic de greuges de la Commonwealth, Iain Anderson.

La investigació va seguir les informacions publicades per Guardian Australia segons les quals persones grans es quedaven angoixades i sense una atenció adequada després que les seves necessitats d'atenció domiciliària fossin avaluades per un algorisme "inhumà" com a part de l'Eina d'Avaluació Integrada (IAT) obligatòria del govern.

Els avaluadors de la gent gran tenen prohibit anul·lar la recomanació del paquet de finançament de la IAT, fins i tot quan la decisió és errònia.

"Segons la llei, aquestes decisions automatitzades no es poden anul·lar ni modificar, encara que siguin clínicament inadequades", assenyala l'informe de 104 pàgines del síndic de greuges.

"No hi ha informació pública disponible que expliqui de manera significativa com l'algorisme converteix les dades d'entrada en resultats. Sense això, la IAT és una caixa negra tecnològica".

Inscriviu-vos aquí al butlletí Politics, really de Guardian Australia

Això significava que la IAT i el seu algorisme "no només tenen el potencial de soscavar la confiança pública en l'administració d'un sistema d'avaluació just i coherent", segons l'informe. "Més aviat, considerem que a una persona raonable li faltaria confiança en el fet que el sistema sigui de ben segur just i coherent".

Guardian Australia va informar que les persones implicades en el desenvolupament de la IAT no tenien ni idea que el govern hi afegiria un algorisme quan es van implementar els canvis el novembre.

Els documents publicats sota la llei de llibertat d'informació revelen pànic departamental, un greu malestar clínic entre els avaluadors de primera línia i solucions informàtiques secretes després que els funcionaris s'adonessin hores abans de la implantació de l'algorisme que la legislació prohibia legalment la intervenció humana, i que això estava causant malestar a pocs dies de la implementació.

"És molt preocupant que el departament estigués dient a la gent que aquest sistema funcionaria d'una manera determinada, mostrant-los versions d'aquest sistema, només per canviar-lo", va dir Anderson a Guardian Australia.

L'informe assenyala: "La informació proporcionada pel departament al públic suggereix que les proves clau i la consulta durant diversos anys van donar suport directe a la IAT i al seu marc de presa de decisions associat en la seva forma actual, però això no és correcte".

"Aquestes proves i consultes es referien a versions anteriors de la IAT i a una legislació anterior. No hi va haver cap consulta significativa".

Des de la implantació hi havia hagut una fallada de supervisió, segons la investigació. Les qualificacions i la competència dels avaluadors són crucials per a la IAT, però el Síndic de Greuges va trobar que el departament no havia aplicat els controls de qualitat contractuals ni havia verificat si els avaluadors posseïen les titulacions clíniques obligatòries.

Personal directiu va expressar preocupació per la manca de vies de recurs per a decisions errònies abans de la implantació de l'algorisme, va constatar el Síndic de Greuges. Un correu electrònic deia: "Em preocupa que el nostre marc actual no compleixi el primer d'aquests requisits (que hi hagi una via clara perquè els afectats sol·licitin una revisió), perquè sembla que les vies de revisió només permeten confirmar els resultats de l'algorisme".

Anderson va dir que els mitjans de comunicació i el públic havien plantejat una sèrie de preocupacions sobre el funcionament de la IAT per als paquets d'ajuda a domicili, la qual cosa va desencadenar la investigació a l'abril, i en particular hi havia una manca de transparència sobre com funcionava l'algorisme de la IAT a l'hora de prendre decisions.

"El departament no ha complert les recomanacions... de la comissió d'investigació del pla robodebt pel que fa a la transparència de la presa de decisions automatitzada del govern", conclou l'informe.

L'informe demana una revisió exhaustiva de la legislació relacionada amb el procés d'avaluació de necessitats i de les normes que sustenten l'algorisme.

"La comissió d'investigació del robodebt va afirmar que quan el govern utilitza la presa de decisions automatitzada o la intel·ligència artificial, ha de ser molt transparent perquè la gent pugui entendre com es prenen decisions que els afecten significativament", va dir.

"El departament ha de donar, al nostre parer, molta més eficàcia a la supervisió dels proveïdors d'avaluació, perquè les dades que aporten aquests proveïdors a l'algorisme són realment crucials per determinar què surt després per l'altre costat a través de l'algorisme".

Tot i que el departament de Sanitat i Envelliment va anunciar al juliol un nou procés de revisió on els avaluadors de la gent gran poden derivar decisions errònies al departament per a la seva revisió, Anderson va manifestar que li preocupa que això no sigui adequat.

"Crec que és molt important que els avaluadors puguin canviar decisions perquè semblen clínicament inadequades, i per això em preocupa que la via de derivació no ho faci necessàriament", va assenyalar.

Anderson va indicar que la investigació havia identificat nombroses preocupacions legals que està esperant que el govern abordi.

"Com es pot impugnar realment una decisió quan no saps com l'ha presa l'algorisme?", va manifestar.

"Hi ha problemes legals importants, i creiem que s'han d'abordar amb caràcter d'urgència. Al nostre parer, el departament no entenia, i potser encara no entén, components clau del marc legal que va crear, ni tampoc entenia quin marc legal se suposava que havia de crear".

S'ha contactat amb el departament de Sanitat i Envelliment perquè faci declaracions.