Zelf AI draaien op je eigen computer. Wil jij dat bijhouden?

Een verslaggever van The Verge houdt een dagboek bij. Hij wil AI eindelijk echt gaan gebruiken, maar zijn meest persoonlijke gegevens aan een clouddienst geven zat hem steeds dwars. Dus probeert hij het andersom: krachtige AI draaien op zijn eigen computer. Dat kan steeds beter. Zijn eerste oordeel staat al in de kop: spannend, overweldigend en frustrerend.

Zijn grote vraag is of het zo nuttig is dat je bakken geld moet steken in een computer met veel, te duur geheugen.

Dezelfde dag meldde Tweakers een gerucht van een leaker: Nvidia zou stoppen met zijn snelste gewone videokaart, de RTX 5090, zodat de chip alleen nog naar zijn RTX Pro-kaarten en AI gaat. De prijzen waren al hoog. Een gerucht, geen besluit. Maar het zegt wel waar de dure onderdelen voor AI eerst naartoe gaan.

Zijn zorg klopt

De verslaggever twijfelt niet voor niets. Wat je in een AI-dienst stopt, staat ergens anders. Voor een ondernemer gaat dat niet alleen over jezelf. Het gaat over je klanten. Hun adres, hun opdracht, wat ze je betaalden.

Maar wie wordt de systeembeheerder?

Wat in zo'n dagboek makkelijk wegvalt: hij heeft er tijd voor. Proberen, vastlopen en erover schrijven is zijn werk. Jij hebt een zaak. Elk uur dat je kwijt bent aan een model, een update of een geheugenkaart, is een uur zonder klant.

Zelf draaien is dus geen gratis privacy. Je ruilt de vraag "waar staan mijn gegevens?" in voor "wie houdt dit bij?". Allebei goede vragen. Je moet ze alleen wel allebei stellen, voordat je een duur apparaat koopt.

Deze week

Houd vijf werkdagen bij hoeveel minuten je kwijt bent aan je software zelf. Instellen, bijwerken, wachtwoorden zoeken, uitzoeken waarom iets het niet doet. Gewoon een streepje per kwartier op een briefje naast je toetsenbord.

Dat getal is wat zelf regelen je nu al kost. Komt er een AI bij die je zelf moet onderhouden, dan komt hij daar bovenop. Weet je dat getal, dan weet je ook hoeveel ruimte je nog hebt.

Vonti werkt daarom anders: elke klant een eigen afgeschermde omgeving, met het geheugen als gewone notities die je zelf kunt lezen. Het onderhoud is niet jouw klus.