De AI-taalbot Toolformer is onthuld door Meta, het bedrijf dat Facebook en Instagram heeft gemaakt. Toolformer kan zichzelf leren om andere softwaretools te gebruiken zonder zijn fundamentele taalmodelleringsmogelijkheden op te offeren. Toolformer heeft onder andere toegang tot externe softwaretools zoals zoekmachines, taalvertalers en rekenmachines. Dit is te danken aan het vermogen om gebruik te maken van API’s, protocollen waarmee verschillende applicaties met elkaar kunnen worden verbonden. Het kan nu activiteiten uitvoeren zoals feitencontrole, wiskunde en planning waarvoor voorheen menselijke interactie nodig was vanwege deze technologie.
Het vermogen van Toolformer om het juiste gereedschap te selecteren en hoe het in een bepaalde situatie te gebruiken, is een cruciaal voordeel. Het model kan de beperkingen van grote taalmodellen (LLM’s) omzeilen. LLM’s zijn niet erg goed in rekenen, door API’s aan te roepen. Het kan bijvoorbeeld wiskundige bewerkingen uitvoeren met behulp van een rekenmachine. Toolformer zou een API-koppeling naar een kalender-app kunnen gebruiken om de taak uit te voeren om een datum aan de kalender toe te voegen als iemand dat wil.
De basis van Toolformer is een vooraf getraind GPT-J-model met 6,7 miljard parameters. Volgens experimenten van onderzoekers met verschillende activiteiten waarbij tools worden gebruikt, presteert het beter dan het aanzienlijk grotere GPT-3-model. Dit omvat 175 miljard parameters, met een aanzienlijke marge.
Het succes van Toolformer is grotendeels te danken aan zijn vermogen tot “zelfgestuurd” leren. Om Toolformer te trainen, hebben onderzoekers het voorzien van een klein aantal door mensen geschreven voorbeelden die illustreren hoe elke API wordt gebruikt. Ze gaven het ook toegang tot een enorme dataset voor taalmodellering, zodat het toekomstige API-oproepen kon annoteren. Als gevolg hiervan kan Toolformer een breed begrip verwerven van het gebruik van een verscheidenheid aan tools zonder dat voor bepaalde taken gespecialiseerde instructies nodig zijn.
De integratie van externe softwaretools in taalmodellen zoals Toolformer zal waarschijnlijk resulteren in meer bekwame en betrouwbare assistenten. Het roept echter ook vragen op over veiligheid en privacy. De capaciteit van een LLM om gebruikersgegevens te beschadigen of problemen in de buitenwereld te veroorzaken, kan groter worden als het API-aanroepen kan doen. Ter illustratie: een op LLM gebaseerde assistent kan onbedoeld een API-aanroep doen die gebruikersgegevens schendt of systemen van een derde partij schaadt.
Toolformer heeft een aanzienlijke vooruitgang geboekt in de verwerking van natuurlijke taal. Dit komt door het vermogen om gebruik te maken van andere softwaretools zoals zoekmachines, rekenmachines en taalvertalers zonder de fundamentele capaciteiten op het gebied van taalmodellering in gevaar te brengen. De manier waarop we omgaan met taalmodellen kan als gevolg van deze technologie veranderen. Dit zal hen bruikbare en betrouwbare helpers maken. Bij het opnemen van externe softwaretools in LLM’s moeten onderzoekers zich echter bewust zijn van de beveiligings- en privacyproblemen die zich kunnen voordoen.
