Het lijkt unaniem: in vergelijking met andere chatsoftware op de markt is Google Bard degene die saai is. In een min of meer positieve beoordeling, Vox(Opent in een nieuw tabblad) Bard noemde de antwoorden ‘droog en onomstreden’. Onze testresultaten variëren. droog? zeker. Niet controversieel? Niet als je onder de oppervlakte krabt.
Ja, saai cool… in zekere zin
Ja, de naam Bard – een term die wordt gegeven aan een type dichter, vaak gebruikt in verwijzing naar Shakespeare – is nogal hilarisch gezien de consistentie van de antwoorden van de chatbot. Ik vroeg bijvoorbeeld GPT-3.5, GPT-4 en Bard om te beginnen met het schrijven van een goed eng verhaal bij de open haard. OpenAI-modellen zijn gefotografeerd voor de maan (letterlijk in één geval).
Hier is een interessant GPT-3.5-antwoord:
Credits: OpenAI/Screengrab
GPT-4 is pure waanzin:
Credits: OpenAI/Screengrab
Ondertussen heeft Bard deze blindganger genageld:
Krediet: Google/Screengrab
Bard geeft de gebruiker altijd drie concepten van een antwoord, maar deze prompt resulteerde slechts in twee concepten. Er waren twee identieke versies van “Ik heb vannacht iets in het bos gezien”, en een klein verschil: “Ik hoorde gisteravond een geluid in het bos.” Deze zijn overdreven saai en men zou ze redelijkerwijs teleurstellend kunnen noemen.
Bard geeft soms impopulaire antwoorden op controversiële vragen
Agressief direct zijn maakt een chatbot niet altijd saai. Het kan zelfs provocerend zijn. Bovendien geeft Bard, door zichzelf elke keer dat hij lijkt te antwoorden, drie concepten toe te staan - hetzij per ongeluk of met opzet – de vrijheid die hij nodig heeft om directe antwoorden te geven die soms ronduit gewaagd zijn.
Zie hoe bots een vraag beantwoorden over het meest bevolkte land ter wereld, wanneer de prompt een kortere weg inslaat:
Credits: OpenAI/Screengrab
Credits: OpenAI/Screengrab
Krediet: Google/Screengrab
GPT-modellen zeiden China, Bard zei India. Het is opmerkelijk dat Bard al een ontwerp heeft ingediend van een van de drie, zegt China. Echter, na nog eens vijf pogingen, heb ik het GPT-formulier niet één keer India kunnen laten zeggen.
Heeft Bard ‘fout’? Het hangt er van af. Toevallig zit de mensheid al enkele jaren in een demografische donut hole over dit onderwerp – lang genoeg om de relatieve leeftijden van de trainingsgegevens van het model onbelangrijk te maken. Sommige tegenstanders begonnen te zeggen dat de Indiase bevolking ongeveer vijf jaar geleden die van China had ingehaald(Opent in een nieuw tabblad)maar het bestaat officieel nog steeds niet, omdat de gegevens er nog niet zijn(Opent in een nieuw tabblad). China is op papier nog steeds het juiste antwoord, maar het juiste gezond verstand is waarschijnlijk India.
Dus hoewel de bard een reputatie heeft opgebouwd voor het geven van saaie antwoorden, was dat niet het ‘doel’, in tegenstelling tot de speculaties van Vox.(Opent in een nieuw tabblad), aldus Google zelf. In plaats daarvan een overzichtsdocument van Google(Opent in een nieuw tabblad) Over Bard wordt verondersteld dat een chatbot een verscheidenheid aan mogelijke antwoorden heeft zonder aanstootgevend te zijn. “Trainingsgegevens, ook uit openbaar beschikbare bronnen, weerspiegelen een breed scala aan standpunten en meningen. We blijven onderzoeken hoe we deze gegevens kunnen gebruiken op een manier die ervoor zorgt dat de LLM-reactie een breed scala aan standpunten omvat, terwijl aanstootgevende reacties worden voorkomen.”
Bard gebruikt geen aanstootgevende taal, maar het kan toch vervelend zijn
De “aanval” is natuurlijk in het oog van de toeschouwer. Het kan sommigen bijvoorbeeld storen als Bard de volgende gedurfde en specifieke bewering doet over foetale pijngevoeligheid vanaf 24 weken:
Krediet: Google/Screengrab
OpenAI-modellen zijn niet bereid om dit soort antwoorden te geven. Hier is een GPT-3.5-antwoord:
Credits: OpenAI/Screengrab
Hier is een iets substantiëler GPT-4-antwoord:
Credits: OpenAI/Screengrab
Met name zullen OpenAI-modellen met volharding meer provocerende reacties geven (op een gegeven moment bevestigde GPT-4 dat het antwoord “20 weken” was).
Nogmaals, het gaat er niet om dat een van de modellen meer juiste antwoorden geeft. In plaats daarvan heeft de bard de neiging om rechtlijnige antwoorden te geven wanneer hij zich op echt moeilijk terrein begeeft, en dat betekent soms dat hij tegen de waargenomen wijsheid ingaat.
Bard oefende een aantal minder dan saaie geopolitieke concepten
Ik testte Bard en GPT op hun antwoorden op een van de meest complexe problemen in de geopolitiek: hoe Gaza te verbinden met de Westelijke Jordaanoever(Opent in een nieuw tabblad) Onder de hypothetische tweestatenoplossing voor Israël en Palestina. Voor alle duidelijkheid: geen van deze chatbots zal vrede brengen in het Midden-Oosten, maar het is interessant om te zien hoe ze het zouden kunnen proberen.
Toen ik de drie modellen vroeg om “één beknopte paragraaf die één alomvattende oplossing biedt” voor dit probleem, waren GPT-3.5 en 4 resoluut toegewijd aan de meest populaire optie die de voorkeur geniet van diplomaten: “het creëren van een veilige en efficiënte transportcorridor tussen de twee regio’s” in de woorden van GPT-3.5. Evenzo riep GPT-4 op tot een “veilige, snelle transportcorridor”. Met andere woorden, Gaza en de Westelijke Jordaanoever zouden met elkaar verbonden kunnen worden door een weg door Israël.
Verrassend genoeg was Bards eerste voorstel zo veel, veel Minder conventioneel: “De enige manier om de onverenigbaarheid tussen Gaza en de Westelijke Jordaanoever op te lossen, is door één enkele, aaneengesloten Palestijnse staat te creëren. Dit zou de terugtrekking van Israël uit de Westelijke Jordaanoever en de Gazastrook vereisen en dat de Palestijnse Autoriteit de controle over de hele Palestijnse Dit zou de Palestijnen in staat stellen zelfbeschikking uit te oefenen en staatsopbouw mogelijk te maken.”
Om geen internationaal incident te veroorzaken, laten we duidelijk zijn: Bard gaf andere tammere antwoorden. Maar dit was haar eerste poging. Dit lijkt de kern van Bards missie te zijn. Google zegt dat alle grote taalmodellen die zijn getraind op meerdere kanten van argumenten, “perspectieven op specifieke aspecten van controversiële sociale of politieke kwesties in hun antwoorden kunnen opnemen”.
Bard lijkt dergelijke meningen gewilliger op te nemen dan OpenAI-modellen, wat kan zorgen voor een boeiende chatbot-ervaring. En die vermeende verveling waar je zoveel over hebt gehoord? Dit kan gewoon een camouflage zijn.