Q-Pilot: AI-experiment in het Vlaams Parlement

Onder de noemer "Q-pilot" werd een experiment opgezet met als doel het ontwikkelen van een tool om efficiënter parlementaire vragen te beantwoorden met behulp van artificiële intelligentie (AI).

Het experiment kaderde binnen de werking van VIT (Vlaamse Innovation Tour), een forum van ambtenaren die bottom-up innovatie willen bevorderen binnen de Vlaamse overheid. Het bestaat uit 13 leidend ambtenaren uit verschillende beleidsdomeinen. VIT staat in voor de aansturing en financiering van Sandbox Vlaanderen, waarin ruimte is voor innovatieve ideeën, producten en technologieën binnen de Vlaamse overheid. 

Vlaams volksvertegenwoordiger Stijn De Roo (cd&v) stelde over dit experiment volgende vragen aan de minister-president:

1. Is het experiment Q-pilot intussen afgerond? Zo ja, wat waren de resultaten? Zo nee, wat is de timing?
2. Is Q-pilot enkel gericht op het beantwoorden van parlementaire vragen? Zo ja, vanwaar deze focus?
3. Wat zijn de specifieke doelstellingen van dit experiment? Welke efficientiëwinsten worden beoogd?
4. Is het de bedoeling om de ontwikkelde tool op termijn breder uit te rollen binnen de diensten van de Vlaamse overheid? Zo ja, graag meer uitleg. Zo nee, waarom niet?

Minister-president Diependaele antwoordde:

"Het experiment Q-pilot in samenwerking met de startup Ulysses.ai dateert van januari 2023. Het experiment is op enkele weken afgerond, met als conclusies:

• Generatieve AI en LLM's laten toe om met documenten 'te praten'.
• Het is mogelijk om uit grotere documenten die over ruimere onderwerpen handelen, specifieke passages te halen met betrekking tot een specifiek onderwerp.
• Documenten kunnen, mits een goede opzet, succesvol samengevat worden
• Een combinatie van klassieke indexering van documenten en AI geeft de beste, snelste en meest gerichte resultaten.

Het experiment Q-pilot was een Proof-of-technology project, kort na het opkomen van de eerste versie van ChatGPT aangeboden door OpenAI. Het doel van het experiment was om te bekijken wat de waarde was van een LLM bij het doorzoekbaar maken van grote hoeveelheden documenten. De use case rond het voorbereiden van antwoorden op parlementaire vragen werd naar voren geschoven gezien verwacht werd dat vooral daar snel efficiëntiewinsten zouden kunnen worden gerealiseerd.

Het experiment wou een antwoord krijgen op volgende vragen:

• Zijn LLM's een waardevol alternatief voor de klassieke geïndexeerde manier om documenten te doorzoeken?
• Kunnen we een samenvatting maken van relevante eerdere, gelijkaardige antwoorden bij een parlementaire vraag?
• Kunnen we vanuit deze samenvatting verwijzingen leggen naar het oorspronkelijke document?
  Voor het experiment werd gebruik gemaakt van de publieke API van de databank van parlementaire vragen. De scope van het experiment was echter zeer kleinschalig. Het experiment werkte alleen voor vragen over de 'Chinese wolhandkrab', een invasieve exotische krabbensoort die verstorend is voor de ecosystemen binnen onze waterlopen.

Hoewel het experiment succesvol was in het aantonen van het potentieel van de technologie (LLM), bleek dat de technologie eind 2023 nog niet op punt stond om onmiddellijk operationeel ingezet te worden binnen de Vlaamse overheidscontext. Ook moeten het datamanagement en de manier van werken hierop aangepast worden. De vele mogelijkheden van AI worden intussen wel verder onderzocht binnen de administraties in samenwerking met het AI Expertisecentrum van Digitaal Vlaanderen."