Bij cloud-AI gebruik je modellen via een API van een externe provider. Denk aan OpenAI, Anthropic, Google of Azure OpenAI. Je stuurt data naar hun servers, het model verwerkt die data en stuurt een response terug. Je hebt geen eigen hardware nodig, en je profiteert van de beste en meest up-to-date modellen.

Providers bieden doorgaans dataverwerkingsovereenkomsten (DPA's) en geven garanties over hoe ze met je data omgaan. Veel bieden ook de optie om data niet te gebruiken voor modeltraining.

On-premise betekent dat het AI-model draait op infrastructuur die je zelf beheert: servers in je eigen datacenter of op een private cloud die jij controleert. Je hebt open-source modellen nodig (zoals Llama, Mistral of Qwen) of self-hosted oplossingen.

Data verlaat nooit je eigen netwerk. Dat is de kern van de privacybelofte van on-premise AI.

Voor veel organisaties is cloud-AI prima, mits aan een paar voorwaarden is voldaan:

• Je hebt een verwerkersovereenkomst getekend met de provider
• De data die je verwerkt is niet bijzonder gevoelig (geen medische gegevens, geen BSN's)
• Je provider biedt garanties over datacenterlocatie (EU-hosting)
• Je kunt data minimaliseren: stuur niet meer dan nodig naar de API

Sectoren als marketing, retail en e-commerce gebruiken cloud-AI doorgaans zonder grote bezwaren, zolang ze geen persoonsgegevens in prompts stoppen.

Er zijn situaties waarbij on-premise de voorkeur of zelfs vereiste is:

• Gezondheidszorg: Medische gegevens vallen onder strikte privacywetgeving. Cloud-gebruik is mogelijk maar vereist extra waarborgen en toestemming.
• Juridische dienstverlening: Vertrouwelijke cliëntinformatie mag in veel gevallen niet naar externe servers.
• Overheidsinstellingen: Sommige overheidsorganisaties mogen data niet buiten hun eigen netwerk brengen.
• Financiële sector: Afhankelijk van het type data en de jurisdiction zijn er beperkingen.
• Bedrijfsgeheimen: Als je prompts kernbedrijfsdata bevatten die je niet wil delen, overweeg je on-premise.

On-premise AI is niet gratis. Je hebt hardware nodig: GPU-servers voor grotere modellen zijn duur in aanschaf en onderhoud. Naast hardware heb je DevOps-capaciteit nodig om de infrastructuur te beheren en bij te houden.

Open-source modellen zijn qua kwaliteit inmiddels goed, maar ze halen de beste cloud-modellen nog niet altijd. Een Llama of Mistral-model is voor veel taken uitstekend, maar voor de meest complexe redeneer- of schrijftaken presteren closed-source modellen vaak nog beter.

De meest pragmatische route voor veel organisaties is een hybride aanpak:

• Niet-gevoelige data verwerk je via cloud-APIs voor maximale kwaliteit en eenvoud
• Gevoelige data verwerk je on-premise of in een private cloud
• Summariseer of anonimiseer data voordat je die naar de cloud stuurt

Dit geeft je de voordelen van cloud-AI waar het kan, met de zekerheid van on-premise waar het moet.

De Europese privacywetgeving (AVG) stelt eisen aan de verwerking van persoonsgegevens, ook als dat via AI-prompts gebeurt. Zorg dat je een verwerkingsgrondslag hebt, een verwerkersovereenkomst met je AI-provider, en dat je gebruikers informeert als je hun data verwerkt.

De keuze tussen cloud en on-premise is slechts één aspect van AVG-compliance bij AI.

De keuze tussen cloud-AI en on-premise is afhankelijk van je sector, de gevoeligheid van je data en je budget. Bij Mach8 helpen we klanten de juiste afweging te maken en implementeren we AI op een manier die past bij hun privacyvereisten en risicoprofiel.

Wil je advies over de juiste AI-architectuur voor jouw organisatie? Neem contact op met Mach8 of bekijk onze AI-agents service.