![\"Ceo](\"https:\/\/keplervision.eu\/wp-content\/uploads\/2025\/10\/CEO-blog-software-udates.png\" "\\"CEO-blog-software-udates\\"")
\n <\/div>\n \n \n <\/div>\n <\/div>\n Is het de moeite waard om jaarlijks te betalen voor software updates
Introductie: Waar gaat deze blog over?<\/span><\/h1>\nBij Kepler Vision Technologies ontwikkelen we kunstmatige intelligentie die ziekenhuizen, verpleeghuizen en GGZ-instellingen helpt om het welzijn van bewoners te bewaken. Wanneer een bewoner hulp nodig heeft, stuurt onze software direct een alarm naar de smartphone van de zorgmedewerker.<\/p>\n
We licenti\u00ebren onze software via een jaarlijks abonnement in plaats van een eenmalige betaling. De terugkerende kosten geven klanten recht op software-updates. Wat leveren die updates hen precies op? Wordt de software daadwerkelijk beter met de tijd?<\/span><\/p>\nHet korte antwoord: ja, absoluut. Onze software verbetert continu. De updates zijn de investering waard: zo hebben we onlangs de herkenning van ligposities toegevoegd om doorligwonden te voorkomen. Diezelfde functionaliteit maakt het mogelijk om onrust in bed te detecteren. Dat zijn zichtbare, tastbare verbeteringen.<\/p>\n
Maar er gebeurt n\u00f3g veel meer op het gebied van niet-zichtbare verbeteringen, waarbij we de herkenningskwaliteit van onze software verfijnen. Deze verbeteringen zijn minder tastbaar, maar ze bestaan wel degelijk en ze zijn aanzienlijk. Het updaten van onze neurale netwerken vereist kostbare rekenkracht voor training en verificatie. Ook deze verbeteringen zitten in onze software-updates. Deze blog richt zich vooral op die onzichtbare verbeteringen.<\/span><\/p>\nIn de rest van dit artikel<\/span>:<\/span><\/p>\n\n- Leg ik uit waarom de standaardmetriek voor kwaliteitsverbetering bij onze software niet meer werkt.<\/span><\/li>\n
- Bespreek ik de alternatieve metrics die we gebruiken: het aantal gemiste en valse alarmen over tijd.<\/li>\n
- Beschrijf ik de vier factoren die de verbetering van onze AI aandrijven. Laat ik zien wat 30 software-updates in 20 maanden hebben opgeleverd, en hoe onze investeringen zich uitbetalen.<\/li>\n<\/ul>\n\n
Alles wat hier wordt besproken, gaat over onze Kepler Night Nurse-software, die on-premise draait op AI-servers. Tot slot leg ik uit hoe deze resultaten ook gelden voor onze embedded Kepler Nurse Assist-software, die draait op de Mobotix C71-sensor.<\/p>\n<\/div>\n
\nWaarom de standaardmetriek voor kwallitieitsmeting niet meer werkt voor onze software<\/span><\/h3>\nEen veelgebruikte metriek om te bepalen hoe goed computer vision-software werkt, is de Average Precision<\/i>. Deze wordt weergegeven als een waarde tussen 0 en 100%. Waarden boven 80% gelden als uitstekend, waarden onder 50% duiden op ruimte voor verbetering.<\/p>\n
Wij beschouwen Average Precision als een zeer betrouwbare maat. Bij Kepler berekenen we deze over honderdduizenden testbeelden\u2014twee ordes groter dan gebruikelijk in academische benchmarks. Onze testsets leveren daardoor zeer betrouwbare cijfers die de praktijk accuraat weerspiegelen.<\/span><\/p>\nIn het begin waren onze Average Precision-scores bescheiden. Maar al snel stegen ze naar 99,7% in ons tweede jaar, en vervolgens naar waarden boven 99,99%. Fantastisch nieuws\u2014maar hierdoor is Average Precision niet langer een bruikbare maat. Zodra je z\u00f3 dicht bij 100% zit, houdt de metriek op relevant te zijn. Een luxeprobleem, maar toch een probleem.<\/p>\n
En eerlijk gezegd: zorgmedewerkers geven niets om Average Precision-scores. In gesprekken met verpleegkundigen heb ik het er nooit over. Wat voor hen telt, is het aantal gemiste alarmen per jaar en het aantal valse alarmen. Daarom richt ik me in de rest van dit artikel op deze twee praktische metingen.<\/span><\/p>\nGemiste vallen: het moeilijktse om te meten<\/strong><\/h3>\n\nWanneer een bewoner valt maar onze software dit niet detecteert, spreken we van een false negative<\/i>. Een gemist alarm is voor een AI-bedrijf zeer moeilijk om zelf te ontdekken. Hiervoor zijn we afhankelijk van de gebruikers van de software,\u00a0de zorgmedewerkers.<\/span><\/p>\n<\/div>\nBij Kepler meten we false negatives door zorginstellingen actief te vragen om elke val die de software mist aan ons te melden. Hiervoor bieden we een online meldtool. In het zeldzame geval dat een val wordt gemist, bekijken we de video en voegen we het incident toe aan onze trainingsdata. Na hertraining zal onze software dit type val niet meer missen.<\/span><\/p>\nWe beschouwen deze meldingen als uiterst betrouwbaar. Zorgmedewerkers zijn altijd gealarmeerd wanneer een val wordt gemist (wij ook), en ze melden dit graag.<\/span><\/p>\nValse alarmen: Moeilijker te signaleren\u00a0<\/strong><\/h3>\nEen vals alarm, of false positive<\/i>, is eenvoudiger te detecteren. Om te bepalen hoeveel valse alarmen onze software geeft, gebruiken we twee methoden:<\/p>\n\n- Handmatige kwaliteitscontrole.<\/b><\/span> Wanneer een nieuwe zorgorganisatie start met onze software, vragen we vrijwel altijd toestemming om mee te kijken. We bekijken dan of elk gegenereerd alarm terecht was. Deze cijfers zijn zeer betrouwbaar.<\/span><\/li>\n
- De eerder genoemde online meldtool.<\/b>Valse alarmen worden minder emotioneel ervaren dan gemiste alarmen. Zoals ik later zal toelichten, vermoed ik dat slechts een fractie van de valse alarmen wordt gemeld. Het is dus niet onze betrouwbaarste metriek, maar het geeft wel een indicatie van trends: gaat de software vooruit of achteruit?<\/li>\n<\/ol>\n
De vier aandrijvers voor AI verbetering<\/span><\/h3>\n\u00a0<\/p>\n
Gedurende een periode van 20 maanden, van januari 2024 tot september 2025, hebben we grote stappen gezet om onze software te verbeteren:<\/p>\n
\u00a0<\/p>\n<\/div>\n
\n\n- We verzamelden meer uren aan video, analyseerden deze handmatig en labelden fouten\u2014met als resultaat 16% meer trainingsdata.<\/span><\/li>\n
- We trainden nieuwe neurale netwerken met deze data\u201439 keer in totaal.<\/span><\/li>\n
- We brachten 30 software-updates uit waarin deze modellen en architecturen waren verwerkt.<\/span><\/li>\n
- We introduceerden drie nieuwe netwerkarchitecturen, waarvan er \u00e9\u00e9n (november 2024) een duidelijk zichtbare kwaliteitsboost opleverde (zie Figuur 2).
<\/span><\/li>\n<\/ol>\n![\"\"](\"https:\/\/keplervision.eu\/wp-content\/uploads\/2025\/10\/blog-picture1.png\")
<\/p>\n
De toename van 16% in onze trainingsdata is vrij bescheiden. In de afgelopen jaren hebben we ons gericht op het verzamelen van uitsluitend de bijzondere gevallen: de outliers<\/i> en de gemiste vallen. Door deze aan onze trainingsdata toe te voegen, voorkomen we dat we dergelijke situaties opnieuw missen. Dit betekent ook dat de omvang van onze dataset niet meer spectaculair groeit\u00a0 wat misschien contra intu\u00eftief klinkt, maar juist positief is. Zoals Peter Norvig, voormalig Director of Research and Search Quality bij Google, ooit treffend zei: \u201cBetter data beats more data.\u201d<\/b><\/span><\/p>\nOnze strategie voor modelupdates is dan ook volledig kwaliteitsgedreven. Wanneer we nieuwe slimme sensoren aansluiten bij nieuwe zorgorganisaties en we lagere dan verwachte prestaties zien, trainen we onze neurale netwerken opnieuw op basis van die feedback.<\/p>\n
De resultaten: minder gemiste en valse alarmen
<\/strong><\/p>\nLaten we beginnen met het belangrijkste resultaat: de impact op gemiste vallen (<\/span>false negatives<\/i>). Figuur 1 toont het aantal meldingen van zorgmedewerkers waarin staat dat onze software een val heeft gemist.<\/span><\/p>\n![\"\"](\"https:\/\/keplervision.eu\/wp-content\/uploads\/2025\/10\/blog-picture2.png\")
<\/p>\n
De grafiek laat zien dat het aantal gemiste vallen in 20 maanden tijd met 44% is gedaald<\/span>, een aanzienlijke verbetering:<\/p>\n\n- Twee jaar geleden:<\/span> onze klanten rapporteerden iets meer dan 3 gemiste vallen per 10.000 sensoren per maand. Dit komt neer op <\/span>1 gemiste val per 277 streams<\/span>.<\/span><\/li>\n
- Nu: iets minder dan 2 gemiste vallen per 10.000 sensoren per maand. Dit komt neer op <\/span>1 gemiste val per 416 streams per jaar<\/span>.
<\/span><\/li>\n![\"\"](\"https:\/\/keplervision.eu\/wp-content\/uploads\/2025\/10\/blog-picture3.png\")
<\/li>\n<\/ul>\nMet hetzelfde registratiemechanisme laat Figuur 2 het aantal fouten van het neurale netwerk zien. Dit betreft niet alleen valalarmen, maar ook andere alarmen zoals \u201cop de rand van het bed zitten\u201d, \u201cuit bed\u201d, \u201cuit de kamer\u201d, enzovoort. Het totaal aantal valse alarmen voor al deze detecties is in \u00e9\u00e9n jaar tijd met <\/span>bijna 50% gedaald<\/span>.<\/span>
<\/span><\/p>\nWe hebben daarnaast een tweede metriek voor de valse alarmen, afkomstig uit onze eigen Quality Assurance-procedure die we toepassen op nieuw aangesloten slimme sensoren. De resultaten over 12 maanden, van maart 2024 tot maart 2025, laten het volgende zien: de tijd tussen twee valse valalarmen nam toe van <\/span>1 vals alarm per 72 dagen<\/span> naar <\/span>1 vals alarm per 148 dagen<\/span>. Ook dit bevestigt de bijna <\/span>50% prestatieverbetering<\/span>.<\/span><\/p>\n\u00a0<\/p>\n
![\"\"](\"https:\/\/keplervision.eu\/wp-content\/uploads\/2025\/10\/blog-picture4-1024x577.png\")
<\/p>\n
\u00a0<\/p>\n
Hoe betrouwbaar zijn deze statistieken, en gelden ze ook voor onze embedded Kepler Nurse Assist software?<\/b><\/h3>\n
Alle resultaten in dit artikel hebben betrekking op de Kepler Night Nurse-software, die on-premise draait op AI-servers. De verschillen en overeenkomsten met de embedded Kepler Nurse Assist-software zijn als volgt:<\/span><\/p>\n\n- Beide versies zijn verkrijgbaar via een abonnementsmodel. Voor Nurse Assist noemen we dit de <\/span>Software Update Assurance<\/span>.<\/span><\/li>\n
- Bij de serverversie zijn de Kepler-engineers verantwoordelijk voor de software-updates. Bij de embedded versie worden de updates ge\u00efnstalleerd door de systeemintegrator.<\/li>\n
- De beschikbare geheugen- en rekenkracht op een AI-server is aanzienlijk groter dan wat beschikbaar is op een camera. Daarom draaien er op de camera andere neurale netwerken dan op de server. Maar: we trainen alle neurale netwerken op exact dezelfde datasets<\/span>.\u00a0<\/span>Hierdoor gelden de prestatieverbeteringen die we voor de serverversie meten \u00f3\u00f3k voor de camera-versie. De absolute prestaties verschillen, maar de relatieve verbeteringen<\/span> worden w\u00e9l doorgegeven.<\/span><\/li>\n<\/ol>\n
Een paar kantekeningen:<\/p>\n
\n- De R\u00b2-waarden zijn laag wanneer je kijkt naar hoe goed de metingen in Figuur 1 en 2 op een rechte lijn passen. Toch is een trendlijn de enige betrouwbare manier om ontwikkelingen over tijd af te leiden.<\/span><\/li>\n
- Het is mogelijk dat verpleegkundigen in sommige gevallen te druk waren om een melding te doen. Toch geloven we dat de metingen van gemiste vallen zeer betrouwbaar zijn; verpleegkundigen zijn gemotiveerd om het direct te melden wanneer onze software faalt.<\/span><\/li>\n
- Sommige nieuwe installaties gebruiken videostreams afkomstig van sensoren van zeer lage kwaliteit. Dit kan onze statistieken negatief be\u00efnvloed hebben, omdat onze software sterk afhankelijk is van hoogwaardige sensoren.<\/span><\/li>\n<\/ul>\n
Conclusie: Softwareverbeteringen betalen zich uit
<\/strong><\/p>\nDus: verbetert onze software met de tijd? Zonder twijfel.<\/span><\/p>\n\n- Twee jaar geleden:<\/span> 1 gemiste val per 277 streams per jaar.<\/span><\/li>\n
- Nu:<\/span> 1 gemiste val per 416 streams per jaar.<\/span><\/li>\n<\/ul>\n
Dat is een aanzienlijke verbetering. Concreet betekent dit: in een zorginstelling met 416 bewoners<\/span> zal onze software gemiddeld \u00e9\u00e9n val per jaar missen<\/span>.\u00a0En daar laten we het niet bij. We blijven data verzamelen, onze neurale netwerken verbeteren en nieuwe updates uitrollen. Alles met \u00e9\u00e9n doel: de veiligheid van bewoners en pati\u00ebnten waarborgen.<\/span><\/span><\/p>\n<\/div> <\/div>\n<\/div>\n <\/div>\n \n \n \n \n\n \n\t\t
Het korte antwoord: ja, absoluut. Onze software verbetert continu. De updates zijn de investering waard: zo hebben we onlangs de herkenning van ligposities toegevoegd om doorligwonden te voorkomen. Diezelfde functionaliteit maakt het mogelijk om onrust in bed te detecteren. Dat zijn zichtbare, tastbare verbeteringen.<\/p>\n
Maar er gebeurt n\u00f3g veel meer op het gebied van niet-zichtbare verbeteringen, waarbij we de herkenningskwaliteit van onze software verfijnen. Deze verbeteringen zijn minder tastbaar, maar ze bestaan wel degelijk en ze zijn aanzienlijk. Het updaten van onze neurale netwerken vereist kostbare rekenkracht voor training en verificatie. Ook deze verbeteringen zitten in onze software-updates. Deze blog richt zich vooral op die onzichtbare verbeteringen.<\/span><\/p>\n In de rest van dit artikel<\/span>:<\/span><\/p>\n Alles wat hier wordt besproken, gaat over onze Kepler Night Nurse-software, die on-premise draait op AI-servers. Tot slot leg ik uit hoe deze resultaten ook gelden voor onze embedded Kepler Nurse Assist-software, die draait op de Mobotix C71-sensor.<\/p>\n<\/div>\n Een veelgebruikte metriek om te bepalen hoe goed computer vision-software werkt, is de Average Precision<\/i>. Deze wordt weergegeven als een waarde tussen 0 en 100%. Waarden boven 80% gelden als uitstekend, waarden onder 50% duiden op ruimte voor verbetering.<\/p>\n Wij beschouwen Average Precision als een zeer betrouwbare maat. Bij Kepler berekenen we deze over honderdduizenden testbeelden\u2014twee ordes groter dan gebruikelijk in academische benchmarks. Onze testsets leveren daardoor zeer betrouwbare cijfers die de praktijk accuraat weerspiegelen.<\/span><\/p>\n In het begin waren onze Average Precision-scores bescheiden. Maar al snel stegen ze naar 99,7% in ons tweede jaar, en vervolgens naar waarden boven 99,99%. Fantastisch nieuws\u2014maar hierdoor is Average Precision niet langer een bruikbare maat. Zodra je z\u00f3 dicht bij 100% zit, houdt de metriek op relevant te zijn. Een luxeprobleem, maar toch een probleem.<\/p>\n En eerlijk gezegd: zorgmedewerkers geven niets om Average Precision-scores. In gesprekken met verpleegkundigen heb ik het er nooit over. Wat voor hen telt, is het aantal gemiste alarmen per jaar en het aantal valse alarmen. Daarom richt ik me in de rest van dit artikel op deze twee praktische metingen.<\/span><\/p>\n Wanneer een bewoner valt maar onze software dit niet detecteert, spreken we van een false negative<\/i>. Een gemist alarm is voor een AI-bedrijf zeer moeilijk om zelf te ontdekken. Hiervoor zijn we afhankelijk van de gebruikers van de software,\u00a0de zorgmedewerkers.<\/span><\/p>\n<\/div>\n Bij Kepler meten we false negatives door zorginstellingen actief te vragen om elke val die de software mist aan ons te melden. Hiervoor bieden we een online meldtool. In het zeldzame geval dat een val wordt gemist, bekijken we de video en voegen we het incident toe aan onze trainingsdata. Na hertraining zal onze software dit type val niet meer missen.<\/span><\/p>\n We beschouwen deze meldingen als uiterst betrouwbaar. Zorgmedewerkers zijn altijd gealarmeerd wanneer een val wordt gemist (wij ook), en ze melden dit graag.<\/span><\/p>\n Een vals alarm, of false positive<\/i>, is eenvoudiger te detecteren. Om te bepalen hoeveel valse alarmen onze software geeft, gebruiken we twee methoden:<\/p>\n \u00a0<\/p>\n Gedurende een periode van 20 maanden, van januari 2024 tot september 2025, hebben we grote stappen gezet om onze software te verbeteren:<\/p>\n \u00a0<\/p>\n<\/div>\n De toename van 16% in onze trainingsdata is vrij bescheiden. In de afgelopen jaren hebben we ons gericht op het verzamelen van uitsluitend de bijzondere gevallen: de outliers<\/i> en de gemiste vallen. Door deze aan onze trainingsdata toe te voegen, voorkomen we dat we dergelijke situaties opnieuw missen. Dit betekent ook dat de omvang van onze dataset niet meer spectaculair groeit\u00a0 wat misschien contra intu\u00eftief klinkt, maar juist positief is. Zoals Peter Norvig, voormalig Director of Research and Search Quality bij Google, ooit treffend zei: \u201cBetter data beats more data.\u201d<\/b><\/span><\/p>\n Onze strategie voor modelupdates is dan ook volledig kwaliteitsgedreven. Wanneer we nieuwe slimme sensoren aansluiten bij nieuwe zorgorganisaties en we lagere dan verwachte prestaties zien, trainen we onze neurale netwerken opnieuw op basis van die feedback.<\/p>\n De resultaten: minder gemiste en valse alarmen Laten we beginnen met het belangrijkste resultaat: de impact op gemiste vallen (<\/span>false negatives<\/i>). Figuur 1 toont het aantal meldingen van zorgmedewerkers waarin staat dat onze software een val heeft gemist.<\/span><\/p>\n De grafiek laat zien dat het aantal gemiste vallen in 20 maanden tijd met 44% is gedaald<\/span>, een aanzienlijke verbetering:<\/p>\n Met hetzelfde registratiemechanisme laat Figuur 2 het aantal fouten van het neurale netwerk zien. Dit betreft niet alleen valalarmen, maar ook andere alarmen zoals \u201cop de rand van het bed zitten\u201d, \u201cuit bed\u201d, \u201cuit de kamer\u201d, enzovoort. Het totaal aantal valse alarmen voor al deze detecties is in \u00e9\u00e9n jaar tijd met <\/span>bijna 50% gedaald<\/span>.<\/span> We hebben daarnaast een tweede metriek voor de valse alarmen, afkomstig uit onze eigen Quality Assurance-procedure die we toepassen op nieuw aangesloten slimme sensoren. De resultaten over 12 maanden, van maart 2024 tot maart 2025, laten het volgende zien: de tijd tussen twee valse valalarmen nam toe van <\/span>1 vals alarm per 72 dagen<\/span> naar <\/span>1 vals alarm per 148 dagen<\/span>. Ook dit bevestigt de bijna <\/span>50% prestatieverbetering<\/span>.<\/span><\/p>\n \u00a0<\/p>\n \u00a0<\/p>\n Een paar kantekeningen:<\/p>\n Conclusie: Softwareverbeteringen betalen zich uit Dus: verbetert onze software met de tijd? Zonder twijfel.<\/span><\/p>\n Dat is een aanzienlijke verbetering. Concreet betekent dit: in een zorginstelling met 416 bewoners<\/span> zal onze software gemiddeld \u00e9\u00e9n val per jaar missen<\/span>.\u00a0En daar laten we het niet bij. We blijven data verzamelen, onze neurale netwerken verbeteren en nieuwe updates uitrollen. Alles met \u00e9\u00e9n doel: de veiligheid van bewoners en pati\u00ebnten waarborgen.<\/span><\/span><\/p>\n<\/div> <\/div>\n<\/div>\n <\/div>\n \n
Waarom de standaardmetriek voor kwallitieitsmeting niet meer werkt voor onze software<\/span><\/h3>\n
Gemiste vallen: het moeilijktse om te meten<\/strong><\/h3>\n
Valse alarmen: Moeilijker te signaleren\u00a0<\/strong><\/h3>\n
\n
De vier aandrijvers voor AI verbetering<\/span><\/h3>\n
\n
<\/span><\/li>\n<\/ol>\n<\/p>\n
<\/strong><\/p>\n<\/p>\n\n
<\/span><\/li>\n<\/li>\n<\/ul>\n
<\/span><\/p>\n<\/p>\nHoe betrouwbaar zijn deze statistieken, en gelden ze ook voor onze embedded Kepler Nurse Assist software?<\/b><\/h3>\n
Alle resultaten in dit artikel hebben betrekking op de Kepler Night Nurse-software, die on-premise draait op AI-servers. De verschillen en overeenkomsten met de embedded Kepler Nurse Assist-software zijn als volgt:<\/span><\/p>\n\n
\n
<\/strong><\/p>\n\n