Reflectie blog 4

Dit is een reflectie blog over de periode van 5-5-2025 t/m 24-5-2025.

AI onderzoek

Ik ben het in mijn vorige blogs natuurlijk veel gehad over het onderzoek zelf en dat ik meer met onderzoeken bezig was als coderen. Nu ik bijna klaar ben met het onderzoeken van de verschillende onderdelen voor de AI oplossing ben ik bezig met het maken van een test applicatie waar ik verschillende modellen samenvoeg tot 1 werkende pratende AI.

Onderzoek:

Ik heb in nog wat onderzoek gedaan. Zo heb ik een goed TTS model gevonden genaamd Kokoro. Dit is een super snel model wat alsnog super goed klinkt. Het enige nadeel voor nu is dat het niet werkt in het Nederlands dus daar moet ik later nog een oplossing voor vinden. Verder ben ik nu overgestapt naar het testen van modellen op Google Colab dit is een online virtual machine waar ik veel betere hardware heb als mijn eigen laptop.

Hier is een voorbeeld van mijn test van Koroko in Google Colab.

Ik heb het grootste deel van de laatste dingen zelf onderzocht. Ik heb wel wat hulp gekregen met Google Colab maar voor de rest eigenlijk alleen gewerkt.

Resultaat:

Ik ga voor nu Kokoro gebruiken om de test applicatie te maken. Dit is ver uit het best TTS model wat ik heb gevonden en is ook super snel. Het enige nadeel is dat het niet in het Nederlands werkt.

Test applicatie:

Ik ben nu net een paar dagen bezig met het maken van een test applicatie. Deze bestaat uit 3 onderdelen: STT, TTS en LLM. Deze probeer ik allemaal met een API of WebSocket te maken op Google Colab en die dan vanaf een python script op mijn laptop te laten samenwerken.

Hier zie je een test van de TTS API.

Hier van de STT API.

En hier van de LLM API.

Deze 3 werkende API’s ga ik samenvoegen en laten samenwerken met wat extra dingen zoals VAD om hier een werkende pratende AI van te maken.

Deze API’s heb ik helemaal zelf gemaakt. Ik heb wel wat problemen gehad met het werkend krijgen op Google Colab. Dit kwam door een verschil in driver en package versies. Na hulp vragen van een collega die hier meer van wist is dit opgelost.

Ik heb deze test aan mijn collega laten zien en hij vond het er goed uit zien. Ik kreeg hierna de opdracht op dit allemaal samen te voegen tot een werkende test applicatie waar je dus tegen een ai kan praten en die dan terug praat.

Door het verder onderzoeken en het maken van de test applicatie heb ik veel dingen geleerd. Over TTS heb ik veel geleerd door het testen van dit model en dit werkte ook goed. Over LLM modellen heb ik ook veel geleerd en dat vooral op het punt van gesprekken onthouden en instructies geven.

Conclusie periode 4

Ik heb weer veel geleerd over AI. Vooral het bouwen van de API’s voor de AI heb ik veel van geleerd. Eerst was het gewoon simpel een python scriptje runnen maar nu moest ik echt uitvogelen hoe ik de data die het model moest gebruiken naar het model kreeg, dit vond ik erg leerzaam. Ook werken met API’s en WebSocket’s in python was iets nieuws voor mij dus daar heb ik ook veel van geleerd wat zeker van pas gaat komen tijdens het bouwen van de test applicatie.

Overig:

Ik heb nu ook officieel een zomerbaan bij MCXess dus dat is leuk!