Deep learning slaat een brug tussen de digitale en de echte wereld

20 juni 2022
Leestijd: 9 minuten

Deel op LinkedIn

Deep learning slaat een brug tussen de digitale en de echte wereld

Algoritmen hebben zich altijd thuis gevoeld in de digitale wereld, waar ze getraind en ontwikkeld worden in volmaakt gesimuleerde omgevingen. De huidige golf van deep learning technologie faciliteert de sprong die kunstmatige intelligentie (AI) maakt van de digitale naar de fysieke wereld. De toepassingen zijn eindeloos, van machinebouw tot landbouw, al moeten er nog de nodige obstakels worden overwonnen.

Voor traditionele AI experts is deep learning (DL) oud nieuws. De technologie beleefde zijn doorbraak in 2012 toen het Alex Krizhevsky voor het eerst lukte om convolutionele neurale netwerken, hét kenmerk van deep learning technologie, toe te passen met zijn AlexNet algoritme. Het zijn neurale netwerken die computers hebben laten zien, horen en spreken. DL is de reden dat we met onze telefoons kunnen praten en e-mails aan onze computers kunnen dicteren. Maar DL algoritmen hebben hun rol altijd gespeeld in de veilige gesimuleerde omgeving van de digitale wereld. Baanbrekende AI onderzoekers zijn hard aan het werk om deep learning te introduceren in onze fysieke, driedimensionale wereld. Inderdaad, de echte wereld.

Deep learning kan veel betekenen voor het verbeteren van je bedrijf, of je nu autofabrikant, chipmaker of boer bent. Hoewel de technologie volwassen is geworden, is de sprong van de digitale naar de fysieke wereld een stuk uitdagender gebleken dan velen hadden verwacht. Daarom hebben we het al jaren over slimme koelkasten die onze boodschappen kunnen doen, maar heeft nog niemand er een. Wanneer algoritmen hun veilige digitale nest verlaten en het in drie hele echte en ruwe dimensies moeten zien te rooien, zijn er tal van uitdagingen die moeten worden overwonnen.

Annotatie automatiseren

Het eerste probleem is nauwkeurigheid. In de digitale wereld kunnen algoritmen wegkomen met nauwkeurigheidspercentages van rond de 80%. Daarmee red je het echter niet in de echte wereld. “Als een tomaatplukrobot maar 80% van alle tomaten ziet, mist de kweker 20% van zijn omzet,” aldus Albert van Breemen, een AI onderzoeker die DL algoritmes heeft ontwikkeld voor Nederlandse land- en tuinbouw bedrijven. Zo heeft hij een robot ontworpen die bladeren van komkommerplanten knipt, een robot die asperges kan oogsten en een model dat aardbeienoogsten kan voorspellen. Zijn bedrijf is ook actief in de medische industrie, waar zijn team een model heeft ontwikkeld dat de productie van medische isotopen optimaliseert. “Mijn klanten zijn gewend aan 99,9% nauwkeurigheid en dat verwachten ze ook van AI algoritmes,” zegt Van Breemen. “Elke procent verlies van nauwkeurigheid gaat ze geld kosten.”

Om de gewenste niveaus te halen moeten AI modellen voortdurend worden bijgetraind. En daarvoor is een constant geüpdatete stroom van data nodig. Data verzamelen is zowel duur als tijdrovend, aangezien al die data door mensen moet worden geannoteerd. Om die uitdaging het hoofd te bieden heeft Van Breemen elk van zijn robots uitgerust met een functionaliteit die het vertelt of het zijn taken goed of slecht uitvoert. Wanneer ze een fout maken, sturen de robots alleen de specifieke data door waar ze zich op moeten verbeteren. Die data wordt automatisch over de totale robotvloot verzameld. Dus in plaats van duizenden beelden ontvangt Van Breemens team er slechts enkele honderden, die vervolgens getagd, gelabeld en weer teruggestuurd worden om de robots bij te trainen. “Een paar jaar geleden riep iedereen dat data goud is,” zegt hij. “Nu beginnen we in te zien dat data een hele grote hooiberg is waar ergens dat klompje goud ligt. Dus de uitdaging is niet om zoveel mogelijk data te verzamelen, maar de juiste data.”

Van Breemens team heeft software ontwikkeld die de het bijtrainen van nieuwe ervaringen automatiseert. Hun AI modellen kunnen zich nu voor nieuwe omgevingen zelf bijtrainen, grotendeels zonder menselijke tussenkomst. Ook hebben ze een manier gevonden om het annotatieproces te automatiseren via het trainen van een AI model dat het gros van het annotatiewerk voor zijn rekening neemt. Van Breemen: “Dat klinkt een beetje paradoxaal, omdat je zou kunnen zeggen dat een model dat foto’s kan annoteren hetzelfde model is dat ik nodig heb voor mijn applicatie. Maar we trainen ons annotatiemodel met een veel kleinere dataset dan ons doelmodel. Het annotatiemodel is minder nauwkeurig en kan nog steeds fouten maken, maar het is goed genoeg om nieuwe datapunten te creëren die we kunnen gebruiken om het annotatieproces te automatiseren.”

De Nederlandse AI specialist ziet een enorm potentieel voor deep learning in de maakindustrie, waar AI ingezet kan worden voor toepassingen als het opsporen van defecten en het optimaliseren van machines. De wereldwijde slimme maakindustrie wordt geraamd op 185 miljard euro en heeft een voorspelde groeiratio van 11% tot 2025. De Brainport regio rondom Eindhoven waar Van Breemens bedrijf actief is, telt vele machinebouwers van wereldformaat, waaronder Philips en ASML. (Van Breemen heeft in het verleden voor beide bedrijven gewerkt.)

**De sim-to-real kloof**

Een tweede uitdaging voor het toepassen van AI in de echte wereld is het feit dat fysieke omgevingen veel gevarieerder en complexer zijn dan digitale omgevingen. Een zelfrijdende auto die in de VS is getraind, zal niet automatisch in Europa functioneren met zijn hele eigen verkeersregels en -borden. Van Breemen kreeg met deze uitdaging te maken toen hij zijn DL model dat komkommerplanten knipt wilde toepassen in de kas van een andere teler. “Als dit in de digitale wereld speelde, zou ik gewoon hetzelfde model trainen met de data van de nieuwe teler,” zegt hij. “Maar deze teler had LED verlichting in zijn kas hangen, waardoor alle komkommerfoto’s een paarsblauwe gloed kregen die ons model niet herkende. We moesten het model aanpassen om die afwijking te corrigeren. Op moment dat je je modellen uit de digitale wereld haalt en gaat toepassen in de echte wereld, gebeuren er allerlei onvoorspelbare dingen.”

Van Breemen noemt dit de ‘sim-to-real kloof’, het verschil tussen een voorspelbare en onveranderlijke gesimuleerde omgeving en de onvoorspelbare, altijd veranderende fysieke werkelijkheid. Andrew Ng, de gerenommeerde AI onderzoeker van Stanford en medeoprichter van Google Brain die ook streeft naar het toepassen van deep learning in de maakindustrie, heeft het over de ‘proof of concept to production gap’. Het is één van de redenen waarom 75% van alle AI projecten in de maakindustrie niet van de grond komt. Een van de manieren om dit probleem op te lossen is volgens Ng meer aandacht voor het opschonen van de dataset. De traditionele zienswijze in AI was focussen op het bouwen van een goed model, dat zich vervolgens bekommerde om ruis in de data. Maar in de maakindustrie is een datagedreven zienswijze wellicht nuttiger, aldus Ng, aangezien de dataset vaak klein is. Het verbeteren van de data heeft dan een onmiddellijk effect op het verbeteren van de totale nauwkeurigheid van het model.

Naast schonere data is cycleGAN een andere manier om de sim-to-real kloof te overbruggen. CycleGAN is een beeldvertaaltechniek die twee verschillende domeinen met elkaar verbindt, populair geworden door verouderingsapps zoals FaceApp. Van Breemens team deed onderzoek naar de toepasbaarheid van cycleGAN in machinebouw omgevingen. Het team trainde een model dat de bewegingen van een robotarm optimaliseerde in een gesimuleerde omgeving, waar drie gesimuleerde camera’s een gesimuleerde robotarm observeerden die een gesimuleerd object oppakte. Vervolgens ontwikkelden ze een DL algoritme gebaseerd op cycleGAN die de beelden van de echte wereld (drie echte camera’s die een echte robotarm observeerden die een echt object oppakte) vertaalden naar een gesimuleerd beeld, wat gebruikt kon worden om het gesimuleerde model bij te trainen. Van Breemen: “Zo’n robotarm bestaat uit heel veel bewegende delen. Normaalgesproken moet je dat allemaal van tevoren programmeren. Maar als je het een duidelijk omschreven doel geeft, zoals het oppakken van een object, gaat hij zijn bewegingen eerst optimaliseren in de gesimuleerde wereld. Via cycleGAN kan je die optimalisatie vervolgens in de echte wereld gebruiken, wat heel veel menselijke uren scheelt.” Elke aparte fabriek die hetzelfde AI model zou gebruiken om een robotarm te bewegen zou dan zijn eigen cycleGAN moeten trainen om het generieke model aan te passen aan de eigen specifieke parameters op locatie.

Reinforcement learning

Het veld van deep learning blijft zich voortdurend ontwikkelen. De nieuwste doorbraak heet reinforcement learning. Hierbij veranderen algoritmen van observeerders naar beslissers, waarbij ze robots instructies geven hoe ze efficiënter kunnen werken. Standaard DL algoritmen worden door software engineers geprogrammeerd om een bepaalde taak uit te voeren, zoals het bewegen van een robotarm om een doos te vouwen. Een reinforcement algoritme zou kunnen ontdekken dat er efficiëntere manieren zijn om dozen te vouwen dan de voorgeprogrammeerde bewegingen voorschrijven.

Het kwam door reinforcement learning (RL) dat een AI systeem ’s werelds beste Go speler kon verslaan in 2016. Nu maakt ook RL langzaam de overstap naar de maakindustrie. De technologie is nog niet volwassen genoeg om nu al te worden toegepast, maar volgens de experts is dat slechts een kwestie van tijd.

Met behulp van RL voorziet Albert van Breemen de optimalisatie van een gehele kas. Daarbij beslist het AI systeem hoe de planten zo efficiënt mogelijk kunnen groeien zodat de teler de meeste winst kan maken. Dat optimalisatieproces vindt plaats in een gesimuleerde omgeving waar duizenden mogelijke groeiscenario’s worden getest. De simulatie experimenteert met verschillende groeivariabelen zoals temperatuur, vochtigheid, licht en kunstmest en kiest het scenario waarbij de planten het beste groeien. Dat winnende scenario wordt vervolgens terugvertaald naar de drie dimensies van de echte kas. “De bottleneck is de sim-to-real kloof,” legt Van Breemen uit. “Maar ik verwacht echt dat die problemen binnen vijf tot tien jaar zijn opgelost.”

''Als een opgeleid psycholoog word ik gefascineerd door de transitie die AI maakt van de digitale naar de fysieke wereld. Het laat zien hoe complex onze driedimensionale wereld werkelijk is en hoeveel neurologische en motorische vaardigheden nodig zijn voor eenvoudige handelingen zoals het knippen van bladeren of het vouwen van dozen. Deze transitie maakt ons meer bewust van onze eigen interne, breingestuurde ‘algoritmen’ die ons helpen door de wereld te navigeren en waar duizenden jaren van evolutie voor nodig waren. Het is interessant om te zien hoe AI daarmee gaat concurreren. En als AI die achterstand weet weg te werken, gaat mijn slimme koelkast zeker champagne bestellen om het te vieren.'' Aldus Bert-Jan Woertman, Directeur van Mikrocentrum.

Wilt u aan de slag met Smart Industry?

Bekijk onze cursussen op het gebied van deep learning en meer!

Naar cursusaanbod

Nieuws

Nieuws 190

Deep learning slaat een brug tussen de digitale en de echte wereld