Forskere fra Stanford University har udviklet en ny instruktionsfølgende sprogmodel kaldet Alpaca. Alpaca er finjusteret fra Meta's LLaMA 7B-model og er trænet på 52.000 instruktionsdemonstrationer genereret i stil med selvinstruktion ved hjælp af OpenAI's text-davinci-003.
Selvom der er mange fordele ved at bruge instruktionsfølgende modeller som Alpaca og text-davinci-003, har de også nogle alvorlige mangler. De kan for eksempel generere falske oplysninger, sprede sociale stereotyper og producere toksisk sprog. Derfor er det vigtigt for akademikere at engagere sig i forskning på området for at løse disse problemer.
Desværre har det været svært at gøre forskning på instruktionsfølgende modeller i akademisk sammenhæng på grund af manglen på en tilgængelig model, der kommer tæt på kapaciteterne i closed-source modeller som text-davinci-003. Derfor er Alpaca udviklet og frigivet til akademisk forskning.
For at træne Alpaca er der to vigtige udfordringer: en stærk fortrænet sprogmodel og høj kvalitet instruktionsfølgende data. Løsningen på den første udfordring blev Meta's nye LLaMA-modeller. For den anden udfordring foreslår self-instruct-metoden at bruge en eksisterende stærk sprogmodel til at generere instruktionsdata automatisk.
Forskerne startede med 175 menneskeskrevne instruktion-output-par og brugte text-davinci-003 til at generere yderligere instruktioner ved hjælp af disse som in-context-eksempler. Dette resulterede i 52.000 unikke instruktioner og de tilsvarende output, der kostede mindre end $500 at generere ved hjælp af OpenAI API'en.
For at finjustere LLaMA-modellen blev Hugging Face's træningsramme brugt, og der blev taget fordel af teknikker som Fully Sharded Data Parallel og mixed precision training. I en prøveevaluering sammenlignet forskerne Alpaca og text-davinci-003 på en række forskellige instruktioner, og Alpaca vandt 90 ud af 89 sammenligninger.
Selvom Alpaca og text-davinci-003 viser meget lignende ydeevne, er det vigtigt at huske på, at disse modeller stadig kan have nogle mangler, og at Alpaca kun er tilgængelig til akademisk forskning og ikke bør anvendes kommercielt eller til generel brug. Interaktion med Alpaca kan afsløre uventede evner og fejl, hvilket vil guide fremtidig evaluering af disse modeller. Forskerne opfordrer også brugere til at rapportere eventuelle bekymrende adfærd i deres webdemo, så de bedre kan forstå og begrænse disse adfærd.