Keplers automatiske gjenkjenning av menneskelig aktivitet i sykehjem: Fortid, nåtid og fremtid

Vårt selskap, Kepler Vision Technologies, har nå eksistert i 9 år. Programvaren vår brukes på mer enn hundre helseinstitusjoner. Vi har null avgang, noe som betyr at programvareavtaler som utløper, forlenges med tre til fem år. Dette betyr at når du kjøper programvaren vår, inngår du et langsiktig samarbeid med oss. Derfor tror jeg at hvis du vurderer å samarbeide med oss, vil du først vite mer om Keplers fortid, nåtid og fremtid. Det er det denne artikkelen handler om.

Bakgrunnen for Kepler Vision

For omtrent femten år siden hadde to nederlandske AI-professorer og jeg startet et selskap innen datasyn ved Universitetet i Amsterdam. Noen år senere ble selskapet kjøpt opp av det San Diego-baserte multinasjonale selskapet Qualcomm [1]. Vår daværende rådgiver innen immateriell eiendom hadde med suksess lisensiert sin peer-to-peer-patentportefølje til Apple, Microsoft og Spotify [2]. Vi alle – professorene, IP-rådgiveren, universitetet og jeg selv – slo da sammen en del av inntektene og startet et nytt spin-off-selskap fra universitetet, Kepler Vision Technologies.

Planen vår var å lansere et nytt, fremvoksende område innen AI, kalt gjenkjenning av menneskelig aktivitet, på markedet. Planen vår var også å ikke kaste bort karrierene våre på for eksempel å holde noen opptatt på en mobilapp for å øke sjansen for at vedkommende skulle klikke på en annonse. I stedet ønsket vi å gjøre en meningsfull forskjell i årene fremover.

Demografi er en god indikator på hva som vil skje om flere tiår. Demografiske prognoser tyder på at befolkningen i Europa, Kina og Japan vil bli eldre. Dette betyr at etterspørselen etter omsorgstjenester vil øke. Samtidig synker tilgangen på omsorgspersonell. I Nederland, der jeg kommer fra, har antallet ansatte i langtidspleie per 100 personer over 65 år gått ned med over 20 % de siste ti årene [3]. Denne mangelen vil øke raskt i årene som kommer. I tillegg faller en tredjedel av de eldre hvert år [4], noe som gjør fallulykker til den nest viktigste årsaken til utilsiktede dødsfall etter skader som følge av trafikkulykker [5].

Vår drøm var derfor å skape et rolig, intelligent bevissthetslag rundt menneskelige aktiviteter som kunne beskytte eldre, sårbare mennesker. Laget skal hjelpe underbemannede omsorgsteam med å reagere raskere når det er nødvendig, noe som gir omsorgspersonalet større trygghet. Det intelligente laget er i stor grad avhengig av den nyeste forskningen innen datasyn, som er spesialfeltet til mine medgrunnleggere og meg selv.

Utfordringen ved å starte en bedrift som betjener helseinstitusjoner

Den største usikkerheten på det tidspunktet var om sykehjemmene ville godta kameraer som sensorer i beboernes rom. Det var tegn på at dette kunne være tilfelle. Det ble solgt kameraer som ser ut som røykvarslere til nederlandske institusjoner for langtidspleie. Ved hjelp av geofencing kunne man manuelt avgrense et område foran døren eller sengen. Hvis intensiteten i mange piksler i disse områdene endret seg, gikk alarmen.

Min største bekymring med denne rudimentære «smarte» sensoren, da vi startet med Kepler, var at en bevegelsesdetektor basert på geofencing var foreldet teknologi på det første stedet med 20 senger, men bare hvis systemintegratøren har kapasitet til det; ellers må utrullingen utsettes med 1 eller 2 ganger alt som skal behandles. Det ville føre til unødvendige falske alarmer, for eksempel når en pute faller ut av sengen eller en fot stikker ut. I tillegg var løsningen upålitelig. Hvis rengjøringspersonalet i en helseinstitusjon ved et uhell flytter sengen, blir det geofence-avgrensede området ugyldig, noe som fører til at fall ikke blir oppdaget. Moderne AI løser alle disse problemene, og denne innsikten førte til vårt første produkt, som vi har kalt Kepler Night Nurse.

I de første årene viste det seg imidlertid å være vanskelig å selge løsningen vår til sykehjem. Omsorgsboliger er ikke militære organisasjoner, der beslutninger fattes på toppen og gjennomføres på de lavere nivåene. I sykehjem er antallet beslutningstakere og påvirkere uendelig: familierepresentanter, omsorgspersonell, IT-ledere, styremedlemmer, innovasjonssjefen, driftslederen og økonomidirektøren må alle involveres.

Dessuten tar en slik beslutningsprosess tid. Min erfaring med innføring av ny teknologi i sykehjem:

• Det tar ett eller noen år å ta beslutningen.
• Produktet skal tas i bruk på det første stedet med 20 senger, men bare hvis systemintegratøren har kapasitet til det; ellers må innføringen utsettes med ett eller to år.
• Det vil ta noen år til før den siste lokasjonen blir tatt i bruk.

Dette betyr at hvis en nyetablert bedrift skal overleve de første tre til syv årene, må den være svært godt finansiert. Det vil ta lang tid før pengene begynner å strømme inn. Det finnes ingen snarveier for en nyetablert bedrift. Å tilby rabatter fremskynder ikke den skisserte beslutningsprosessen, og det gjør heller ikke å ansette flere selgere.

Det hjelper heller ikke at kunnskap i helsevesenet videreformidles gjennom et mester-lærling-forhold. Allerede under studietiden gjennomgår sykepleiere og leger omfattende praksisperioder. Læreren har ingen erfaring med AI, så innovasjonene siver nedover svært sakte.

Til slutt var det også de tekniske utfordringene. AI trenger treningsdata. Det viste seg at det røykvarslerlignende kameraet som ofte brukes i nederlandske sykehjem, var et fiskeøye-kamera, som er fundamentalt forskjellig fra kuppelkameraet på smarttelefonen din . Det finnes ingen fisheye-datasett tilgjengelig for opplæring. I tillegg fantes det ingen datasett om personer som falt. Vi brukte mye tid på å samle inn treningsdata, og vi visste ikke om det ville være mulig å utvikle en pålitelig falldetektor basert på maskinsyn.

Ytterligere komplikasjoner var at helseinstitusjonene ikke ønsker at dataene deres skal behandles i skyen, og krever at all behandling skjer på stedet. Slik behandling på stedet medfører sine egne tekniske utfordringer, som ikke er umulige å løse, men som krever både tid og kostnader: Høye startinvesteringer i maskinvare, håndtering av maskinvarefeil, etablering av automatisert redundans, ansvar for oppdateringer og sikkerhetsrettelser – listen er lang.

Til slutt er det det nye spørsmålet om geopolitikk. For å omgå problemene med lokal drift begynte vi å utvikle programvaren vår slik at den kunne kjøre innebygd i kameraene. Det første brikkesettet vi portet til, var fra den kinesiske produsenten Hisilicon. Portingen tok seks måneder. I løpet av den tiden trådte, til vår overraskelse, amerikanske eksportrestriksjoner i kraft for første gang, noe som medførte at kameraet med dette brikkesettet aldri ble lansert på markedet.

Hvor vi står i dag, ved slutten av de første dagene av datamaskinvisjonsbasert falldeteksjon

Vi har overvunnet alle de nevnte utfordringene. Vi har rikelig med data om fallhendelser som vi kan bruke til å trene våre nevrale nettverk. Vi har tatt i bruk programvaren vår, både lokalt og innebygd, på mer enn 100 helseinstitusjoner . Programvaren vår sørger stille og rolig for 15 000 innbyggere døgnet rundt i mange forskjellige land, fra Europa til Japan og USA.

I dag hjelper vi disse helseorganisasjonene med å skape tryggere, roligere og panikkfrie miljøer ved hjelp av intelligent overvåking. Vår teknologi omdanner smarte sensorer til pålitelig støtte i helsevesenet, slik at personalet oppdager viktige situasjoner raskere, reduserer unødvendige alarmer og kan fokusere på det som betyr mest. Vår teknologi sikrer tilgjengeligheten av helsetjenester.

Denne suksessen gikk ikke ubemerket hen. Vi har sett, og ser fortsatt, «me-too»-produkter komme og gå.

Utviklingen av AI-styrt falldeteksjon kan sammenlignes med utviklingen av teknologi for selvkjørende biler. Det tok Silicon Valley-kjendisen George Hotz en måned å bygge en selvkjørende bil i garasjen sin [6]. Men det tar en hel generasjon å lage en selvkjørende bil man kan stole fullt og helt på.

Dette gjelder også for falldeteksjon: Det er enkelt å lage en prototype, men det er svært vanskelig å utvikle en pålitelig løsning. Du kan enkelt sjekke dette selv. Det finnes mange velutstyrte demonstrasjonslokaler der nye aktører viser frem sine falldetektorer. Men i løpet av de siste syv årene, der vi har demonstrert vår fallregistreringsløsning i praksis på Zorg & ICT-messene, har jeg aldri sett en live-demonstrasjon fra en annen leverandør. Nykommerne forteller eventyr ved hjelp av PowerPoint-presentasjoner og forhåndsinnspilte videoer på messene, men programvaren deres fungerer rett og slett fortsatt ikke i praksis.

Det positive med konkurrenter er selvfølgelig at de bidrar til å skape markedet og støtter kategoriens fremtid, siden helseinstitusjonene nå har noe å velge mellom. Men i dag øker nykommerne risikoen for helseinstitusjonene ved å stole på en leverandør de ikke kjenner. For å skissere noen av disse risikoene:

1. Konkurrenten vil ha gått konkurs innen utrullingen er planlagt. Dette skyldes den flerårige beslutningsprosessen og den langvarige gjennomføringsprosessen. Det er vanskelig for en nyetablert bedrift å overleve dette. Bortsett fra i Bibelen blir den lille David som regel raskt drept.
2. Defekte anlegg. For å sikre en vellykket installasjon må en rekke brikker falle på plass, blant annet å plassere sensoren i rommet, konfigurere kameraparametrene og programvareinnstillingene samt koble den til sykepleieralarmsystemet. Dette går ofte galt hos forhastede leverandører.
3. Programvare som ikke fungerer som den skal. Ofte har nykommere ikke tilgang til treningsdata, og derfor trener de sine nevrale nettverk på syntetisk genererte bilder. Deretter, etter at programvaren fra nykommeren er installert, blir nattvaktene avlyst, fordi man nå forhåpentligvis kan tilby samme omsorgsnivå med færre ansatte. Så faller en beboer, men den umodne programvaren oppdager ikke dette fordi den aldri har sett ekte fall, bare syntetiske data. Personalet og familien er svært sinte, og ledelsen ved sykehjemmet angrer på sitt valg.
4. I et voksende felt som falldeteksjon ved hjelp av maskinsyn blir det stadig vanskeligere å holde seg unna andres patenter. Etter hvert som kaken vokser, oppstår det en ny dynamikk: patentinnehavere som vil ha sin del. Risikoen gjelder hele kjeden: fra «me-too»-programvareleverandøren, via distributøren som distribuerer programvaren, til systemintegratøren som installerer programvaren, og til slutt til lederen av sykehjemmet som bruker programvaren.

Lance Good: «Det er nesten umulig å skrive ikke-trivial programvare som er fri for patenthindringer.» [7]

Fremtiden: Hvordan vil morgendagens verden se ut?

Etterspørselen etter helsetjenester vil øke eksponentielt i årene som kommer. Uten store endringer vil én av fire arbeidstakere i Nederland i 2040 måtte jobbe i helsevesenet, sammenlignet med omtrent én av seks i dag [11]. Etterspørselen etter teknologi som hjelper helsepersonell med å utføre arbeidet sitt, vil derfor bare øke.

Derfor utvikles det alternative teknologier. Men disse er fortsatt betydelig dårligere enn synsbaserte metoder. Det finnes noen få: radar, time-of-flight og dybde. Alle hevder å gi bedre personvern enn synsbaserte metoder. Dette stemmer imidlertid ikke. Automatiserte, synsbaserte metoder har blitt så pålitelige at visuell verifisering – det vil si å se på videostrømmen ved alarm – rett og slett ikke er nødvendig. Synsbaserte teknologier gir også mye bedre resultater i praksis [15].

I årene som kommer vil ledende selskaper innføre nye funksjoner som går utover ren fallregistrering, for eksempel forebygging av liggesår. I tillegg vil datavisjonsbasert gjenkjenning av menneskelig aktivitet flyttes fra:

• Profesjonelle pleieinstitusjoner i fellesarealene og i private boliger;
• Pasientrommet på sykehuset, operasjonssalen og venterommet.

Vi er sikre på at etterspørselen etter omsorg vil fortsette å øke i årene som kommer, på grunn av en aldrende befolkning, flere kroniske sykdommer og flere eldre med helseproblemer. Hvis vi ikke gjør noe, vil personalmangelen gjøre det umulig å fortsette å tilby alle former for omsorg slik vi gjør i dag [12]. Likevel er jeg optimistisk med tanke på fremtiden og Keplers evne til å levere meningsfulle og nødvendige produkter til sykehjem:

• Programvaren til vårt selskap har hittil blitt installert 15 000 ganger.
• Vi har ingen avgang.
• Vi har sikret vår immaterielle eiendom med 86 innvilgede patenter, slik at vi kan fortsette å levere våre tjenester i årene som kommer.
• Vi fortsetter å oppnå betydelige kvalitetsforbedringer. Ved å fortsette å forbedre AI-systemet vårt, gikk vi fra 1 uoppdaget fall per måned per 277 gjesterom til 1 uoppdaget fall per 416 rom på bare 18 måneder [13]. Det er en forbedring på 44 %.
• Som et spin-off-selskap fra universitetet er vi i en god posisjon til å dra større nytte av den nåværende medvinden som skapes av forskning innen datasyn og kunstig intelligens.

Teknologi vil bidra til å sikre tilgjengelig eldreomsorg i årene som kommer.