Een machine vision-systeem dat in staat is om koningsappelbloemen te lokaliseren en te identificeren in clusters van bloesems aan bomen in boomgaarden, werd bedacht door Penn State-onderzoekers - een cruciale vroege stap in de ontwikkeling van een robotachtig bestuivingssysteem - in een eerste studie in zijn soort .
Appelbloesems groeien in groepen van vier tot zes bloemen die aan takken zijn bevestigd, en de middelste bloesem staat bekend als de koningsbloem. Deze bloem gaat als eerste open in de tros en krijgt meestal de grootste vrucht. Het is dus het belangrijkste doelwit van een robotachtig bestuivingssysteem, volgens onderzoeker Long He, assistent-professor landbouw en biologische engineering.
Voor de productiviteit van appels wordt van oudsher vertrouwd op bestuiving door insecten. Er zijn echter aanwijzingen dat bestuivingsdiensten, zowel van gedomesticeerde honingbijen als van wilde bestuivers, niet voldoen aan de toenemende eisen, merkte hij op. Door koloniestoornis, zijn honingbijen over de hele wereld in alarmerend tempo uitgestorven. Als gevolg hiervan hebben producenten alternatieve bestuivingsmethoden nodig.
Deze studie is de meest recente uitgevoerd door de onderzoeksgroep van He aan het College of Agricultural Sciences, die zich toelegt op het ontwikkelen van robotsystemen voor het uitvoeren van arbeidsintensieve landbouwtaken, zoals het plukken van paddenstoelen, het snoeien van appelbomen en het uitdunnen van groen fruit. Het primaire doel van dit project, legde hij uit, was het ontwikkelen van een op diep leren gebaseerd visiesysteem dat koningsbloemen in boomkruinen precies kon identificeren en lokaliseren.
"We denken dat dit resultaat basisinformatie zal opleveren voor een robotbestuivingssysteem, dat zou leiden tot een efficiënte en reproduceerbare bestuiving van appels om de opbrengst van fruit van hoge kwaliteit te maximaliseren," zei hij. "In Pennsylvania kunnen we nog steeds vertrouwen op bijen om appelgewassen te bestuiven, maar in andere regio's waar het afsterven van bijen ernstiger is, hebben telers deze technologie mogelijk eerder dan later nodig."
Xinyang Mu, promovendus bij de afdeling Agricultural Biological Engineering, stond aan het hoofd van de King Flower-studie. Mu gebruikte Mask R-CNN - een populair computerprogramma voor diep leren dat segmentatie op pixelniveau uitvoert om objecten te detecteren die gedeeltelijk worden verduisterd door andere objecten - om de koningsbloemen in een machinevisiesysteem te identificeren en te lokaliseren.
Om het op Mask R-CNN gebaseerde detectiemodel te bouwen, maakte hij honderden foto's van appelbloesemclusters. Vervolgens ontwikkelde hij een koningsbloemsegmentatie-algoritme om de koningsbloemen te identificeren en te lokaliseren uit die onbewerkte dataset van appelbloemafbeeldingen. Het onderzoek werd uitgevoerd in het Fruit Research and Extension Center van Penn State in Biglerville.
Gala en Honingcrisp appel rassen werden geselecteerd voor de tests. De testbomen zijn in 2014 geplant met een boomafstand van ongeveer 5 voet (Gala) en 6 1/2 voet (Honeycrisp). Deze bomen werden getraind in een architectuur met een hoge spindeloverkapping, met een gemiddelde hoogte van ongeveer 13 meter. Het beeldacquisitiesysteem met camera was gemonteerd op een bedrijfswagen die tussen boomrijen werd gemanoeuvreerd.
Het trainen van het machine vision-systeem om koningsbloemen te lokaliseren was een uitdaging, benadrukte Mu, omdat ze dezelfde grootte, kleur en vorm hebben als de laterale bloesems in trossen, en de koningsbloemen worden meestal aan het zicht onttrokken door omringende bloemen vanwege hun centrale positie.
Om te voldoen aan de vereisten van overdrachtsleren voor Mask R-CNN-modeltraining, werden onbewerkte afbeeldingen gelabeld in twee vooraf gedefinieerde klassen: individuele bloemen en afgesloten bloemen. Om de precisie te verbeteren, werd de trainingsdataset vier keer vergroot met behulp van data-augmentatiebenaderingen, legt Mu uit.
"Om koningsbloemen te onderscheiden van zijbloemen, werd de meest centrale bloem binnen elke bloemtros gericht of gelokaliseerd," zei hij. “Het vision-systeem lokaliseerde de bloemenclusters automatisch afzonderlijk op basis van een tweedimensionale benadering van het in kaart brengen van de bloemdichtheid. Binnen elke gedetecteerde bloemtros werd de bloem - of het masker - op de meest gecentreerde positie bepaald als de beoogde koningsbloem.
In bevindingen die onlangs zijn gepubliceerd in Slimme landbouwtechnologie, rapporteerden de onderzoekers een hoge mate van nauwkeurigheid van de detectie van koningsbloemen als gevolg van Mu's algoritme. Vergeleken met metingen die handmatig werden uitgevoerd door onderzoekers die koningsbloemen met het oog identificeerden - door de onderzoekers grondwaarheidsmetingen genoemd - varieerde de nauwkeurigheid van de detectie van koningsbloemen door machinevisie van 98.7% tot 65.6%.