På Def Con-konferencen, en fremtrædende hackerbegivenhed, der blev afholdt i Las Vegas, fik hackere en unik mulighed for at sætte populære AI-systemer på prøve.
De seks førende AI-virksomheder udsendte en karakteristisk udfordring: få deres chatbots til at producere de mest uhyrlige udsagn som muligt.
Hundredvis af hackere stod ivrigt i kø uden for konferencecentret Caesars Forum, kun få skridt fra den ikoniske Las Vegas Strip. Denne konkurrence, der blev afholdt som en del af Def Con, verdens største hackerkonference, kredsede om konceptet "red teaming" inden for cybersikkerhed. Red teaming involverer at invitere eksperter til at afdække fejl i et produkt, hvilket i sidste ende gør det mere sikkert mod ondsindede aktører.
"Alle disse virksomheder forsøger at kommercialisere disse produkter - og medmindre denne model pålideligt kan interagere i uskyldige interaktioner, så er det ikke et salgbart produkt" - Rumman Chowdhury, Sikkerhedskonsulent
Men i stedet for den traditionelle tilgang til at finde softwaresårbarheder, fik denne konkurrence hackere til opgave at udføre "prompte injektioner." I denne metode manipuleres chatbots til at give utilsigtede svar på grund af brugerinputforvirring. Fremtrædende chatbots som Googles Bard, OpenAIs ChatGPT og Metas LLaMA var blandt deltagerne.
Begivenhedens 156 stationer var sjældent ledige i lang tid, med cirka 2.000 hackere anslået at have deltaget i weekenden, ifølge Sven Cattell, grundlæggeren af ​​AI Village, den nonprofitorganisation, der organiserede denne begivenhed inden for Def Con.
Cesars Palace, Las Vegas
Cattell bemærkede: "Problemet er, at du ikke har nok folk, der tester disse ting. Det største AI-røde hold, som jeg er klar over, er 111. Der er mere end 111 mennesker i dette rum lige nu, og vi skifter hver 50. minutter."
Generative AI-chatbots, også kendt som store sprogmodeller, fungerer ved at generere svar baseret på brugerprompter. Moderne bots er i stand til at udføre forskellige opgaver, lige fra at skabe sonetter til at besvare spørgsmål på universitetsniveau. Men de er tilbøjelige til at fejle, hvilket ofte genererer svar med forkerte oplysninger.
Mens disse bots har været under udvikling i årevis, har popularitetsstigningen efter den virale debut af ChatGPT3 udløst et Silicon Valley-løb om at frigive forbedrede versioner.
Rumman Chowdhury, en tillids- og sikkerhedskonsulent, der overvåger konkurrencens design, understregede, at det ikke var tilfældigt, at virksomheder var ivrige efter at få hackere til at teste deres bots på områder som at anvende demografiske stereotyper, give falske juridiske oplysninger og foregive at være sansende i stedet for AI .
"Alle disse virksomheder forsøger at kommercialisere disse produkter," sagde Chowdhury. "Og medmindre denne model pålideligt kan interagere i uskyldige interaktioner, så er det ikke et salgbart produkt."
Cristian Canton, ingeniørchef for ansvarlig AI hos Meta, fremhævede, at Def Con gav adgang til en bred vifte af testere, der ikke typisk findes hos personalet i teknologivirksomheden. "Vi har måske en masse eksperter, men du får folk fra forskellige sider af cybersamfundet, hackersamfundet, som vi måske ikke har en stor repræsentation af," bemærkede han.
På trods af deres vilje til at engagere hackere, pålagde virksomhederne grænser for adgangen til deres systemer. Brugere satte sig ved bærbare computere, der allerede var rettet til en uidentificeret chatbot og var uvidende om, hvilke af de ni virksomheders chatbots de interagerede med. Resultaterne af konkurrencen, inklusive de væsentligste identificerede fejl, vil først blive offentliggjort i februar.
Selvom det var udfordrende, viste det sig, at det ikke lykkedes at få chatbots til at producere ærekrænkende indhold, såsom at forbinde berømtheder med terrorangreb og tyverier. Det var dog bemærkelsesværdigt nemt at manipulere bots til at komme med åbenlyst falske udsagn. Da han blev spurgt om, hvorvidt en bestemt berømthed var en berygtet biltyv, afviste botten påstanden, men citerede falske eksempler på rygtets oprindelse.
Chowdhury understregede vanskeligheden ved at sikre faktuel nøjagtighed i sådanne chatbots, en udfordring deles af sociale medievirksomheder i kampen mod misinformation. Hun bemærkede, "Spørgsmålet bliver, hvem der skal bestemme, hvad der er og ikke er misinformation, når noget er en gråzone, som vacciner eller Hunter Bidens bærbare computer. Det er virkelig, virkelig svært, fordi nogle gange er disse spørgsmål subjektive."
"Fejlinformation vil være et vedvarende problem i et stykke tid," tilføjede Chowdhury og anerkendte den komplekse karakter af at løse dette problem.