Als u de laatste tijd internet gebruikt, heeft u waarschijnlijk wel eens gehoord van grote taalparadigma’s of toepassingen die eromheen zijn gebouwd. Het meest bekende voorbeeld is ChatGPT van OpenAI, dat het grote taalmodel GPT-Turbo-3.5 gebruikt. Language Large Models, of LLM’s, brengen een revolutie teweeg in de wereld van kunstmatige intelligentie en machine learning, omdat deze geavanceerde algoritmen in staat zijn om veel natuurlijke taaltaken uit te voeren. Deze algoritmen kunnen met succes tekstpatronen herkennen nadat ze zijn getraind op enorme datasets met miljoenen tot miljarden parameters. Vanwege de vele use-cases wordt LLM momenteel opgenomen in verschillende gebieden om het leven van mensen in het algemeen te verbeteren.
Veel bedrijven – van grote technologiebedrijven tot opkomende startups – zijn in de race gesprongen om AI-toepassingen in natuurlijke taal te ontwikkelen nadat ze de belofte van LLM’s hadden gezien. Als reactie op OpenAI’s ChatGPT debuteerde Google met BARD, een conversationele AI-chatbot, terwijl Meta LLaMA een LLM van 65 miljard ontwikkelde waarvan wordt beweerd dat deze GPT-3 overtreft. Maar het verhaal eindigt hier niet! De nieuwste innovatie van Nomic AI, GPT4All, een 7B LLM-parameter getraind op een brede, samengestelde set van meer dan 800.000 hoogwaardige helper-interacties verzameld met behulp van het GPT-Turbo-3.5-model, sluit zich aan bij de race van bedrijven die experimenteren met adapter-gebaseerde GPT-modellen . GPT4All is sterk geïnspireerd door het Alpaca-instructievolgmodel van Stanford University en heeft bijna 430.000 hoogwaardige helper-achtige interactieparen gegenereerd, waaronder verhaalbeschrijving, dialoog, code, enzovoort.
De makers van GPT4All zijn begonnen aan een enigszins innovatief en fascinerend pad van het bouwen van een chatbot vergelijkbaar met ChatGPT door gebruik te maken van reeds bestaande LLM’s zoals Alpaca. Het organiseren van een opmerkelijk grote hoeveelheid gegevens in snelle reactieparen was de eerste stap in deze reis. Voor dit doel verzamelde het team meer dan 1 miljoen vragen en berichten van verschillende openbaar beschikbare bronnen en verzamelde hun antwoorden met behulp van de GPT-Turbo-3.5-template. De volgende stap was het opschonen van deze QR-gegevens om eventuele mislukte onmiddellijke toestanden en grillige reacties te verwijderen, waardoor er meer dan 800.000 hoogwaardige QR-paren overblijven. Het team legde uit dat ze veel tijd en aandacht voor detail besteedden aan de stap van het organiseren en voorbereiden van de gegevens om ervoor te zorgen dat hun gegevensparen goed waren en een breed scala aan onderwerpen bestreken.
🚀 Word lid van de snelste ML Subreddit-community
De volgende fase omvatte het trainen van meerdere modellen en het selecteren van het best presterende model. De onderzoekers pasten verschillende voorbeelden van het Meta LLaMA-taalmodel toe voor training. Het model dat is gekoppeld aan de nieuwste openbare release van GPT4All is Stanford’s Alpaca, dat is gebaseerd op het Meta LLaMA-model. Het werd getraind met behulp van de low-order adaptatiemethode (LoRA), resulterend in 430.000 nabewerkingsgevallen. De onderzoekers voerden ook een eerste beoordeling van hun strategie uit door de verwarring van hun model te vergelijken met het beste alpaca-Lora-model dat openbaar beschikbaar was. De evaluatieprocedure is aan de gang en de organisatie is van plan binnenkort aanvullende informatie te verstrekken.
Momenteel is het GPT4All-model alleen gelicentieerd voor onderzoeksdoeleinden en is het commerciële gebruik ervan verboden omdat het gebaseerd is op Meta LLaMA, dat een niet-commerciële licentie heeft. Een van de belangrijkste attracties van het GPT4All-model is dat het ook wordt geleverd in een 4-bits kwantumversie, waardoor iedereen het model eenvoudig op een CPU kan uitvoeren. Simpel gezegd, gebruikers met beperkte rekenkracht kunnen genoegen nemen met een lagere nauwkeurigheid om hun model te trainen in plaats van hardware van consumentenkwaliteit. De instructies voor het uitvoeren van GPT4All zijn duidelijk en goed gedocumenteerd in hun GitHub-repository. Nomic AI heeft ook alle informatie over GPT4All, inclusief de dataset, code en modelgewichten, opengesteld voor de gemeenschap om voort te bouwen op hun werk.
Dergelijke initiatieven en bijdragen aan de race om natuurlijke taalparadigma’s zijn essentieel om het huidige tempo van kunstmatige intelligentie en machine learning te versnellen. In deze richting is het GPT4All-model echt een geweldige stap. Het model behaalt optimale resultaten terwijl het minder rekenkracht gebruikt, wat het heel bijzonder maakt.
scan de Technisch papier En github. Alle eer voor dit onderzoek gaat naar de onderzoekers van dit project. Vergeet ook niet mee te doen 17k+ML sub-redditEn onenigheid kanaalEn Email nieuwsbriefwaar we het laatste AI-onderzoeksnieuws, coole AI-projecten en meer delen.
Khushboo Gupta is een Consultant Trainee bij MarktechPost. Ze volgt momenteel haar Bachelor of Technology-graad aan het Indian Institute of Technology (IIT), Goa. Ze is gepassioneerd door machine learning, natuurlijke taalverwerking en webontwikkeling. Je vindt het leuk om meer te leren over het technische vakgebied door deel te nemen aan verschillende challenges.
🔥 MOET LEZEN – Wat is een AI-hallucinatie? Wat gaat er mis met AI-chatbots? Hoe ontdek je de aanwezigheid van hallucinaties van kunstmatige intelligentie?