Reflectie blog 5

Dit is een reflectie blog over de periode van 26-5-2025 t/m 21-6-2025.

AI onderzoek

Na het afronden van de tests waar ik in mijn vorige blog over heb geschreven ben ik gaan werken aan het maken van een test applicatie waar alle tests samenwerken. Ik ben begonnen met het opzetten van een API in python en zorgde er voor dat deze API ook met WebSocket’s werkte, dit is namelijk hoe wij de data in het echt ook naar telefoons sturen. Na deze basis op te zetten ben ik stap voor stap gaan werken aan het toevoegen van de VAD, TTS, AI en SST functies. Als eerst de VAD functie deze zorg er voor dat ik weet wanneer de gebruiker praat en zo een zo kort mogelijk stuk audio naar het TTS model kan sturen wat middelen bespaart. Hier na ben ik door gegaan met het maken van de TTS functie, dit zet de spraak van de gebruiker om in tekst alleen hier liep ik tegen het probleem aan dat aan het begin of het einde soms een deel van de praat weg viel. Hiervoor heb ik deze oplossing gemaakt.

Deze code onthoud het blok audio na het controleren op spraak en als er dan in het volgende blok wel spraak is plakt deze code het vorige blok vooraan zodat er geen klein stukje audio verloren gaat. Ook plak ik 1 extra blok aan het einde zodat er daar ook geen tekst verloren gaat. Hierdoor krijg ik altijd de volledige tekst.

Nu ik de tekst van de gebruik heb stuur ik dit door naar een AI model. Ik gebruik zelf mistral AI want dit is een Europees model en dit beter voor wetgevingen en de baas heeft ook aangegeven dat als het mogelijk is om dat model te gebruiken dat ik dat moest doen. Na het toevoegen van de AI functionaliteit liep ik weet tegen een probleem aan namelijk dat de AI steeds alles vergat. Hiervoor heb ik simpelweg gewoon een array gemaakt die de berichten van de gebruiker en de AI onthoudt

Hier zie je de code waar ik de tekst van de gebruiker in de array zet dan de AI een reactie laat maken en daarna weer de reactie van de AI in de array zet.

Als laatste moest ik de tekst van de AI omzetten naar geluid, dit was redelijk simpel en hiervoor kon ik gewoon de code van mijn test opnieuw gebruiken. Dit werkte meteen en hierna moest ik alleen nog de audio over de WebSocket terug sturen en dan kon je een gesprek voeren met een AI model.

Nadat ik deze code op mijn laptop af had en het daar ook werkte (wel heel langzaam) ging ik het op mijn online test omgeving van Google Colab testen. Hier liep ik tegen een probleem aan namelijk dat alles losse onderdelen wel werkte maar dat als ik ze samen wilde draaien in Google Colab dat de versie van een package niet goed was. Na veel op te zoeken en te vragen aan mijn collega ben ik er niet uitgekomen en heb ik samen met mijn collega besloten om een VM te kopen inplaats van verder te werken op Google Colab. Dit was even werk met alles daar goed draaiende krijgen maar het is uiteindelijk gelukt.

Hier zie je de output van de VM hier in kan je zien dat er eerst naar spraak word gekeken. Als dan de gebruiker klaar is met praten de audio word omgezet naar tekst, met die tekst word dan een antwoord gemaakt en dat word dan weer naar spraak omgezet. In totaal duurde dit deze 2 keer ergens tussen de 0,6 en 0,8 seconden. Dit betekend dat ik nu dus een werkende AI heb gemaakt waar je tegen kan praten en dan ook snel antwoord kan krijgen.

Er zitten nog zeker wat fouten in de code en het werkt voor nu ook alleen nog in het Engels. Ik ga samen met mijn collega verder werken aan deze code om alle problemen er uit te halen en het ook in meerdere talen beschikbaar te maken.

MCIN platform

Verder ben ik nu ook begonnen met het werken aan het platform van MCXess, dit heet MCIN. Voor nu ben ik bezig met het draaiende krijgen van dit project op mijn laptop, dit is nogal een taak want dit project bestaat al bijna 20 jaar dus ik ben bezig met veel oude programma’s te installeren en ook veel oude versies van bijvoorbeeld .NET.

Conclusie periode 5

Ik heb weer veel geleerd en gedaan. Het bouwen van de test applicatie was erg leuk en ook vooral heel leerzaam. Van het leren hoe ik data van het ene model naar het andere model moest verplaatsen en dan weer te gebruiker tot het oplossen van de driven en package problemen. Al zou ik dit opnieuw maken zou ik zeker eerder overstappen op een VM want dit heeft mij super veel tijd bespaard vergeleken met Google Colab.