Het lastige aan een bijna bruikbaar AI-antwoord is dat je er al werk in hebt zitten. De instructie geschreven, de uitkomst gelezen, nog een poging gedaan. Opnieuw beginnen voelt zonde. Dus blijf je schaven, terwijl je eigenlijk wilde weten of deze werkwijze tijd oplevert.
Het werkblad hieronder helpt om dat uit te zoeken. Je vult je eigen tijden in; er staan geen voorbeeldresultaten klaar. Kies een taak die je vaker doet en waarvan je de uitkomst kunt beoordelen. Een offerte, bijvoorbeeld, of het uitwerken van vergadernotities. ‘Mijn werk met AI’ is te groot om iets zinnigs over te noteren.
Eerst de afspraak, dan de klok
Schrijf op wat klaar betekent. Bij notulen kan dat zijn dat een afwezige collega ziet welke besluiten zijn genomen, wie iets moet doen en wanneer. Alleen ‘de tekst leest goed’ zegt weinig over de bruikbaarheid.
Neem diezelfde afspraak mee wanneer je de taak zonder AI uitvoert. Anders vergelijk je straks een gecontroleerd verslag met een vlot concept. Ook dat is informatie, maar het verschil in tijd beantwoordt dan niet de vraag die boven het werkblad staat.
Houd het herstelwerk apart
Bij maken noteer je de tijd tot de eerste versie die je gaat beoordelen. Het verzamelen van invoer en het schrijven van instructies horen daarbij. Bij controleren gaat het om de beoordeling: de opname terugluisteren, een naam verifiëren, kijken of een besluit werkelijk is genomen. Herstellen is het werk dat daarna volgt, inclusief een nieuwe poging wanneer de eerste onbruikbaar blijkt.
Wees vooral eerlijk over handelingen die je liever zou vergeten. Heb je de tekst uiteindelijk zelf herschreven? Zet die tijd erbij. Was een controle overbodig omdat de uitkomst al goed was? Ook dat mag blijken. Het blad hoeft geen vooraf gekozen conclusie te bevestigen.
Wat je met de uitkomst kunt
Onderzoek maakt duidelijk waarom die afbakening ertoe doet. METR onderzocht ervaren ontwikkelaars in hun eigen projecten; Generative AI at Work onderzocht een assistent bij klantenservice. De studies meten verschillende taken en uitkomsten. Ze bieden dus geen kant-en-klaar antwoord voor een offerte of een vergadering. S1 S2
De totaaltijden staan naast elkaar. Daaronder is ruimte voor wat de cijfers niet vertellen: de moeilijkheid van de opdracht, het resultaat voor de ontvanger, een onderbreking of iets wat je tijdens de eerste poging hebt geleerd.
Met één vergelijking heb je geen bewijs voor een algemeen productiviteitseffect. Je hebt wel een plek om verder te kijken. Als controleren telkens het meeste werk kost, onderzoek dan welk deel van de uitkomst onzeker blijft. Als herstellen uitloopt, bewaar de passage waar het misging. Dat materiaal is bruikbaarder voor een volgende poging dan alleen de constatering dat AI deze keer ‘niet zo goed werkte’.
Open het werkblad. Je kunt het in je account bewaren of als CSV downloaden. Bewaar er geen vertrouwelijke klantinformatie in.