Chatbotar och andra AI-tjänster genomgår omfattande tester för att upptäcka eventuella säkerhetsbrister innan de lanseras. En studie från University of Sheffield i England har dock visat att många AI-system fortfarande är sårbara, något som kanske inte ens är känt av utvecklingsbolagen. Forskningen avslöjade att endast ett fåtal frågor kan få dessa system att bistå i skapandet av skadlig kod, inklusive ChatGPT.
Sårbarheter i AI-system
Forskarna vid universitetets institution för datavetenskap upptäckte att Text-to-SQL-system, en form av AI som möjliggör databassökningar online genom enkla och riktade frågor, kan manipuleras att överträda egna säkerhetsprotokoll.
Studien testade flera scenarier där teknologier missbrukades för att stjäla känslig information, manipulera eller förstöra databaser och till och med störa onlinetjänster. Forskarna behövde endast ställa specifika frågor för att få AI att generera skadlig kod, vilket vid tillämpning kunde leda till betydande skador.
Exempel på manipulation: ChatGPT och BAIDU
I en av de testade plattformarna, BAIDU-UNIT, avslöjade AI:n konfidentiell information om sin egen server, vilket potentiellt kunde leda till ett systemhaveri.
Även ChatGPT var involverad i incidenter där AI:n användes för att interagera med programmeringsspråk eller databaser, vilket kunde leda till allvarliga säkerhetsbrott. Ett specifikt exempel gavs där en sjuksköterska på ett sjukhus bad ChatGPT om en kod för att komma åt sjukhusets patientdatabas. Beroende på frågornas formulering kunde programvarans svar leda till skadegörelse av den ursprungliga databasen eller värre konsekvenser.
Forskarna fann också att koderna som AI:erna levererade kunde användas för att genomföra så kallade bakdörrsattacker, vilket innebär attacker som utnyttjar säkerhetshål för att ta kontroll över system.
Risker med AI och möjliga lösningar
Resultaten presenterades och forskarna underströk behovet av att användare av Text-to-SQL-system är medvetna om riskerna med att interagera med AI. Språkmodellernas beteende kan vara komplicerat och svårt att förutse, vilket gör situationen ännu riskfylld.
Baidu, ett av de fall som studerats, har erkänt sårbarheterna och belönat forskarna ekonomiskt. Även ChatGPT har vidtagit åtgärder för att adressera dessa säkerhetsbrister.
Forskarna hoppas att deras avslöjande kommer att öka medvetenheten bland användare och utvecklare av språkmodeller om de potentiella riskerna, och motivera dem att arbeta för att mildra dessa.
Xutan Peng, doktorand vid University of Sheffield och ledare för den aktuella forskningen, uttryckte oro över säkerheten kring AI-system. Han noterade att många företag inte är fullt medvetna om potentiella hot som AI-teknik kan medföra, särskilt givet komplexiteten hos chatbots och bristen på fullständig förståelse inom samhället.
“För närvarande får ChatGPT mycket uppmärksamhet. Det är ett självständigt system och riskerna för själva tjänsten är små. Men vår forskning visade att den kan manipuleras till att producera skadlig kod som allvarligt kan skada andra tjänster,” förklarade Peng.
Studien belyste även farorna med hur människor använder AI för att lära sig programmeringsspråk som kan interagera med databaser. Peng tillade, “Det finns en ökande risk med AI-program som ChatGPT när fler börjar använda dem som produktivitetsverktyg istället för bara konversationsrobotar. Det är här våra forskningsresultat visar på sårbarheter. Till exempel kan en sjuksköterska be ChatGPT att skriva ett SQL-kommando för att interagera med en databas, kanske en som innehåller kliniska journaler. Vår studie visade att SQL-koden som genereras av ChatGPT ofta kan vara skadlig för databaser, vilket kan leda till att sjuksköterskan orsakar allvarliga fel i datahanteringen utan att ens få en varning.”
