Er det verdt å betale årlig for programvareoppdateringer
Innledning: Hva handler denne bloggen om?
Hos Kepler Vision Technologies utvikler vi kunstig intelligens som hjelper sykehus, sykehjem og psykiatriske institusjoner med å overvåke beboernes velvære. Når en beboer trenger hjelp, sender programvaren vår umiddelbart et alarm til pleiepersonalets smarttelefon.
Vi lisensierer programvaren vår gjennom et årlig abonnement i stedet for en engangsbetaling. De løpende kostnadene gir kundene rett til programvareoppdateringer. Hva gir disse oppdateringene dem egentlig? Blir programvaren faktisk bedre med tiden?
Det korte svaret: ja, absolutt. Programvaren vår blir stadig bedre. Oppdateringene er verdt investeringen: Vi har for eksempel nylig lagt til funksjonen for gjenkjenning av liggestillinger for å forebygge liggesår. Den samme funksjonen gjør det mulig å oppdage uro i sengen. Dette er synlige og merkbare forbedringer.
Men det skjer enda mer når det gjelder usynlige forbedringer, der vi finpusser gjenkjenningskvaliteten til programvaren vår. Disse forbedringene er mindre håndgripelige, men de finnes absolutt, og de er betydelige. Oppdatering av våre nevrale nettverk krever kostbar datakraft til opplæring og verifisering. Også disse forbedringene inngår i programvareoppdateringene våre. Denne bloggen fokuserer hovedsakelig på de usynlige forbedringene.
I resten av denne artikkelen:
- Jeg skal forklare hvorfor standardmålingen for kvalitetsforbedring ikke lenger fungerer for programvaren vår.
- Jeg skal gå gjennom de alternative måleparametrene vi bruker: antall uoppdagede alarmer og falske alarmer over tid.
- Jeg skal beskrive de fire faktorene som driver forbedringen av vår AI. Jeg skal vise hva 30 programvareoppdateringer på 20 måneder har ført til, og hvordan investeringene våre gir avkastning.
Alt som blir omtalt her, handler om vår Kepler Night Nurse-programvare, som kjører lokalt på AI-servere. Til slutt skal jeg forklare hvordan disse resultatene også gjelder for vår innebygde Kepler Nurse Assist-programvare, som kjører på Mobotix C71-sensoren.
Hvorfor standardmålemetoden for kvalitetsmåling ikke lenger fungerer for programvaren vår
En mye brukt måleenhet for å vurdere hvor godt programvare for datavisjon fungerer, er gjennomsnittlig presisjon (Average Precision). Denne angis som en verdi mellom 0 og 100 %. Verdier over 80 % regnes som utmerket, mens verdier under 50 % tyder på at det er rom for forbedring.
Vi anser gjennomsnittlig presisjon som et svært pålitelig mål. Hos Kepler beregner vi dette på hundretusener av testbilder – to størrelsesordener større enn det som er vanlig i akademiske benchmark-tester. Testdatasettene våre gir derfor svært pålitelige tall som nøyaktig gjenspeiler virkeligheten.
I begynnelsen var våre Average Precision-resultater beskjedne. Men allerede i løpet av vårt andre år steg de til 99,7 %, og deretter til verdier over 99,99 %. Fantastiske nyheter – men dette betyr at gjennomsnittlig presisjon ikke lenger er et brukbart mål. Så snart man kommer så nær 100 %, slutter målet å være relevant. Et luksusproblem, men likevel et problem.
Og for å være ærlig: helsepersonell bryr seg ikke om Average Precision-verdier. I samtaler med sykepleiere snakker jeg aldri om det. Det som teller for dem, er antall oversette alarmer per år og antall falske alarmer. Derfor vil jeg i resten av denne artikkelen fokusere på disse to praktiske målingene.
Uoppdagede fall: det vanskeligste å måle
Når en beboer faller, men programvaren vår ikke oppdager dette, snakker vi om et «false negative». For et AI-selskap er det svært vanskelig å oppdage en uteblitt alarm på egen hånd. Her er vi avhengige av brukerne av programvaren, altså helsepersonellet.
Hos Kepler måler vi falske negativer ved å be helseinstitusjonene aktivt om å rapportere hvert fall som programvaren overser til oss. Til dette formålet tilbyr vi et nettbasert rapporteringsverktøy. I de sjeldne tilfellene hvor et fall overses, ser vi på videoen og legger hendelsen til i treningsdataene våre. Etter omskolering vil programvaren vår ikke lenger overse denne typen fall.
Vi anser disse meldingene som svært pålitelige. Helsepersonellet blir alltid varslet når et fall ikke blir oppdaget (det blir vi også), og de melder gjerne fra om dette.
Falske alarmer: Vanskeligere å oppdage
En falsk alarm, eller «false positive», er lettere å oppdage. For å finne ut hvor mange falske alarmer programvaren vår gir, bruker vi to metoder:
- Manuell kvalitetskontroll. Når en ny helseorganisasjon tar i bruk programvaren vår, ber vi nesten alltid om tillatelse til å følge med. Vi sjekker da om hvert enkelt alarm som utløses, var berettiget. Disse tallene er svært pålitelige.
- Det tidligere nevnte nettbaserte rapporteringsverktøyet.Falske alarmer oppleves som mindre følelsesmessig belastende enn alarmer som ikke blir oppdaget. Som jeg skal forklare senere, mistenker jeg at bare en brøkdel av de falske alarmene blir rapportert. Det er altså ikke vår mest pålitelige måleparameter, men den gir likevel en indikasjon på trender: går programvaren fremover eller bakover?
De fire drivkreftene bak forbedring av AI
I løpet av en periode på 20 måneder, fra januar 2024 til september 2025, har vi gjort store fremskritt med å forbedre programvaren vår:
- Vi samlet inn flere timer med videomateriale, analyserte det manuelt og merket feilene – noe som resulterte i 16 % mer treningsdata.
- Vi trente opp nye nevrale nettverk med disse dataene – 39 ganger totalt.
- Vi lanserte 30 programvareoppdateringer som inneholdt disse modellene og arkitekturene.
- Vi innførte tre nye nettverksarkitekturer, hvorav én (november 2024) ga en tydelig kvalitetsforbedring (se figur 2).
Økningen på 16 % i treningsdataene våre er ganske beskjeden. De siste årene har vi fokusert på å samle inn utelukkende de spesielle tilfellene: avvikene og de oversette fallene. Ved å legge disse til i treningsdataene våre, unngår vi å overse slike situasjoner på nytt. Dette betyr også at størrelsen på datasettet vårt ikke lenger vokser spektakulært, noe som kanskje høres kontraintuitivt ut, men som faktisk er positivt. Som Peter Norvig, tidligere direktør for forskning og søkekvalitet hos Google, en gang treffende sa: «Bedre data slår mer data.»
Vår strategi for modelloppdateringer er derfor fullstendig kvalitetsdrevet. Når vi kobler nye smarte sensorer til nye helseorganisasjoner og ser at ytelsen er lavere enn forventet, trener vi våre nevrale nettverk på nytt basert på denne tilbakemeldingen.
Resultatene: færre ubesvarte og falske alarmer
La oss begynne med det viktigste resultatet: virkningen på uoppdagede fall (falske negativer). Figur 1 viser antall meldinger fra helsepersonell der det fremgår at programvaren vår ikke har registrert et fall.
Grafen viser at antallet uoppdagede fall har gått ned med 44 % i løpet av 20 måneder, noe som er en betydelig forbedring:
- For to år siden: Våre kunder rapporterte litt over 3 uregistrerte fall per 10 000 sensorer per måned. Dette tilsvarer 1 feilfall per 277 strømmer.
- Nå: litt under 2 uoppdagede fall per 10 000 sensorer per måned. Dette tilsvarer 1 feilfall per 416 strømminger per år.
Ved hjelp av den samme registreringsmekanismen viser figur 2 antall feil i det nevrale nettverket. Dette gjelder ikke bare fallalarmer, men også andre alarmer som «sitter på sengekanten», «ute av sengen», «ute av rommet» og så videre. Det totale antallet falske alarmer for alle disse registreringene har i løpet av ett år økt med har falt med nesten 50 %.
Vi har i tillegg en annen måleparameter for falske alarmer, hentet fra vår egen kvalitetssikringsprosedyre som vi bruker på nyinstallerte smarte sensorer. Resultatene for 12 måneder, fra mars 2024 til mars 2025, viser følgende: tiden mellom to falske fallalarmer økte fra 1 falsk alarm per 72 dager til 1 falsk alarm per 148 dager. Også dette bekrefter den nesten 50 % ytelsesforbedring.
Hvor pålitelige er disse statistikkene, og gjelder de også for vår innebygde Kepler Nurse Assist-programvare?
Alle resultatene i denne artikkelen gjelder Kepler Night Nurse-programvaren, som kjører lokalt på AI-servere. Forskjellene og likhetene med den innebygde Kepler Nurse Assist-programvaren er som følger:
- Begge versjonene er tilgjengelige via et abonnementsmodell. For Nurse Assist kaller vi dette Programvareoppdateringsgaranti.
- For serverversjonen er Kepler-ingeniørene ansvarlige for programvareoppdateringene. For den innebygde versjonen installeres oppdateringene av systemintegratøren.
- Minne- og regnekapasiteten på en AI-server er betydelig større enn den som er tilgjengelig på et kamera. Derfor kjører kameraet andre nevrale nettverk enn serveren. Men: vi trener alle nevrale nettverk på nøyaktig de samme datasettene. Dermed gjelder ytelsesforbedringene vi måler for serverversjonen også for kameraversjonen. Den absolutte ytelsen varierer, men de relative forbedringene overføres.
Noen kommentarer:
- R²-verdiene er lave når man ser på hvor godt målingene i figur 1 og 2 passer inn i en rett linje. Likevel er en trendlinje den eneste pålitelige måten å utlede utviklingen over tid på.
- Det er mulig at sykepleierne i enkelte tilfeller hadde for mye å gjøre til å kunne rapportere dette. Likevel mener vi at målingene av uregistrerte fall er svært pålitelige; sykepleierne er motivert til å rapportere det umiddelbart når programvaren vår svikter.
- Noen nye installasjoner bruker videostrømmer fra sensorer av svært lav kvalitet. Dette kan ha hatt en negativ innvirkning på statistikken vår, siden programvaren vår er svært avhengig av sensorer av høy kvalitet.
Konklusjon: Programvareforbedringer lønner seg
Så: blir programvaren vår bedre med tiden? Uten tvil.
- For to år siden: 1 feilfall per 277 strømmer per år.
- Nå: 1 feilfall per 416 strømminger per år.
Det er en betydelig forbedring. Konkret betyr dette at i en omsorgsinstitusjon med 416 beboere vil programvaren vår i gjennomsnitt overse ett fall per år. Og vi nøyer oss ikke med det. Vi fortsetter å samle inn data, forbedre våre nevrale nettverk og lansere nye oppdateringer. Alt med ett mål: å ivareta beboernes og pasientenes sikkerhet.
Denne artikkelen ble først publisert på LinkedIn; her er lenken.