Vijf technische redenen waarom AI-agents in productie falen

AI-agents zitten overal in prototypes. In productie zijn ze zeldzaam. Het verschil tussen een demo die stakeholders imponeert en een systeem dat betrouwbaar in productie draait, is techniek, niet originaliteit. Dit zijn de vijf faalmodi die we het vaakst zien.

1. Geen evaluatielus. Teams leveren agents op zonder manier om te meten of outputs in de loop der tijd beter of slechter worden. Zonder evaluaties is elke model-update een gok. Productieagents hebben geautomatiseerde evaluatiepipelines nodig die bij elke wijziging draaien — niet handmatige steekproeven na deployment.

2. Contextvensters gebruiken als databases. Alles in de prompt proppen werkt voor demo's. In productie raken contextvensters vol, exploderen de kosten en neemt de retrieval-kwaliteit af. Productieagents hebben degelijke retrieval-architecturen nodig: vector stores, reranking en selectieve contextassemblage.

3. Geen human-in-the-loop interfaces. Agents die autonoom handelen zonder toezicht werken in demo's en falen in productie. Productieagents hebben goedkeuringsworkflows, escalatieroutes en operation centers nodig waar mensen kunnen zien wat de agent deed, waarom en kunnen ingrijpen.

4. Prompts behandelen als code zonder versiebeheer. Prompts zijn logica. Ze veranderen gedrag. Toch versioneren de meeste teams ze niet, testen ze niet en rollen ze niet terug wanneer ze breken. Productieagents hebben promptmanagement nodig met versiebeheer, A/B-testen en rollback.

5. Geen observability. Wanneer een agent in productie een beslissing neemt, moet je weten wat hij raadpleegde, hoe hij redeneerde en wat hij produceerde. Zonder observability is debuggen gissen. Productieagents hebben tracing, logging en monitoring nodig vanaf dag één.