Meetnauwkeurigheid is essentieel bij het evalueren van de prestaties van een vision systeem. Het is cruciaal voor betrouwbare resultaten. Het bepaalt de kwaliteit, consistentie en precisie. Deze nauwkeurigheid is hard nodig bij inspectietoepassingen en kwaliteitscontrole.
Om de nauwkeurigheid van het vision-systeem te meten, worden verschillende belangrijke meetgegevens gebruikt. Deze geven een duidelijk beeld van de prestaties van de visionmachine en helpen het systeem te verbeteren. Hiertoe behoren precisie en recall, die helpen bij het verminderen van fout-positieven tijdens het detecteren van defecten.
Factoren zoals resolutie, lenskalibratie, lichtomstandigheden en beeldverwerking dragen bij aan gedetailleerde inspecties, waardoor de precisie en nauwkeurigheid van het systeem gegarandeerd zijn.
In dit artikel evalueren we de metrieken die worden gebruikt om de nauwkeurigheid van het visionmachinesysteem te berekenen. Daarnaast bespreken we optimalisatiestrategieën om vision systemen te verbeteren.
Belangrijkste termen
Er worden verschillende metrieken gebruikt om de precisie en nauwkeurigheid van vision-systemen te evalueren. Meestal hangen deze termen met elkaar samen en moeten ze grondig worden begrepen. Daarom volgt hier een definitie en bespreking van deze termen om ze beter te begrijpen.
- Verwarringsmatrix
Confusiematrix - een krachtige tabel die wordt gebruikt om te zien hoe goed een classificator voor machine vision zijn taken uitvoert. Het vergelijkt de voorspelling van het systeem met de werkelijke waarheid.
De matrix bestaat uit vier hoofdonderdelen, die elk een specifiek type resultaat weergeven. Dit zijn true positives (TP), false positives (FP), false negatives (FN) en true negatives (TN). Diagonale tonen correcte voorspellingen, terwijl off-diagonale incorrecte voorspellingen tonen. Hieronder staat de tabel met de verwarringsmatrix die gegevens toont om deze goed te begrijpen:
| Werkelijk voorspeld | Positief (defect) | Negatief (geen defect) |
| Positief (defect) | True Positive (TP) | Vals Negatief (FN) |
| Negatief (geen defect) | Vals Positief (FP) | Waar negatief (TN) |
- True Positive (TP): Als het systeem een positief geval correct identificeert (bijvoorbeeld een defect detecteert).
- Waar negatief (TN): Als het systeem een negatief geval correct identificeert (bijvoorbeeld een goed onderdeel correct herkent).
- False Positive (FP): Wanneer het systeem iets ten onrechte als positief bestempelt (bijvoorbeeld een goed onderdeel ten onrechte als defect bestempelt).
- Vals Negatief (FN): Als het systeem een positief geval niet detecteert (bijvoorbeeld een defect mist).
Door voorspellingen versus de werkelijkheid samen te vatten, kunnen we met de verwarringsmatrix belangrijke kwaliteitsgegevens berekenen. Deze statistieken - nauwkeurigheid, precisie, recall en F1 score - zijn allemaal belangrijk om te zien hoe goed een systeem presteert. Ze helpen zowel de sterke als de potentiële zwakke punten te benadrukken.
- Nauwkeurigheid
Nauwkeurigheid meet hoe vaak het vision-systeem over het geheel genomen correct is. Het geeft antwoord: Hoeveel van alle inspecties heeft het systeem goed gedaan?
Het kan worden berekend met de volgende formule:
Nauwkeurigheid: TP+TN / (totale inspecties: TP+TN+FP+FN)
Een systeem controleert bijvoorbeeld 1000 onderdelen en identificeert er 980 correct als goed of defect.
Nauwkeurigheid: 980/1000 = 98%
De nauwkeurigheid van het vision-systeem is 98%. En 0,2% is de fout, het omgekeerde van nauwkeurigheid.
Het is dus belangrijk om te begrijpen dat nauwkeurigheid alleen misleidend kan zijn als de klassen onevenwichtig zijn (bijvoorbeeld als de meeste onderdelen goed zijn).
- Precisie
Precisie heeft betrekking op de nauwkeurigheid van correcte voorspellingen. Het vertelt ons: Van alle onderdelen die als positief (defect) zijn gelabeld, hoeveel zijn er daadwerkelijk defect? Precisie en recall zijn beide metrieken die meer diepgaande details geven over de prestaties van het systeem.
Het wordt als volgt berekend:
Nauwkeurigheid: TP/(TP+FP)
Hoge precisie betekent dat het vision-systeem weinig valse alarmen geeft. Het voorspelt defecten nauwkeurig zonder ten onrechte goede onderdelen af te keuren. Lage precisie betekent dat veel fout-positieven leiden tot meer uitval of herbewerking.
- Terugroepen
Antwoorden oproepen: Van alle werkelijke positieve gevallen (defecten), hoeveel heeft het systeem er gevonden? Het wordt gedefinieerd als de verhouding van ware positieven tot de som van ware positieven en valse negatieven. Het wordt berekend als:
Terugroepen: TP/TP + FN
Een hoge terugroepwaarde betekent dat het vision-systeem de meeste defecten kan detecteren. Er is dus minder kans dat gedetecteerde stukken onopgemerkt worden doorgelaten. Een lage terugroepwaarde betekent daarentegen dat veel defecten onopgemerkt blijven, waardoor de kwaliteit in gevaar komt.
- F1 score
De F1-score brengt precisie en recall samen in één getal. Het is het harmonisch gemiddelde, dat een gevoel geeft van de algehele kwaliteit tussen deze twee statistieken.
Het kan als volgt worden berekend:
F1 = 2 × (precisie × terugroepfunctie) / (precisie + terugroepfunctie)
Een hoge F1-score betekent dat het systeem een goede precisie en recall behaalt. Hierdoor worden valse alarmen en gemiste defecten beperkt.
Evalueren van de belangrijkste meetgegevens die de prestaties van het vision-systeem beïnvloeden
Nauwkeurigheid
Nauwkeurigheid speelt een belangrijke rol bij de prestaties van vision-systemen. De nauwkeurigheid van het systeem hangt af van verschillende factoren, waaronder nauwkeurigheid en herhaalbaarheid. Deze factoren zorgen ervoor dat het systeem consistente resultaten levert bij herhaalde inspecties. Voor nauwkeurige resultaten moet de nauwkeurigheid van het systeem tussen 0,00005 en 0,0001 liggen. Deze waarde kan veranderen afhankelijk van specifieke toepassingen. De juiste kalibratie is hier de sleutel. Het stemt metingen af op standaard referentiewaarden en verbetert zo de herhaalbaarheid en vermindert fouten. Door regelmatig te kalibreren blijft het systeem ook na verloop van tijd betrouwbaar.
Samen garanderen uiterst nauwkeurige systemen en nauwkeurige kalibratie stabiele, betrouwbare meetprestaties voor veeleisende industriële taken.
Precisie
Een belangrijke metriek, precisie in machinezichtsystemen, is van vitaal belang voor consistente en betrouwbare metingen. Het helpt de variatie bij herhaalde controles te verminderen, waardoor de algehele nauwkeurigheid van het systeem verbetert. Als de precisie hoog is, kan het systeem in de loop van de tijd stabiele resultaten produceren, wat vooral belangrijk is op gebieden zoals metrologie waar kleine fouten van belang zijn.
Het bereiken van subpixelprecisie gaat nog een stap verder door kenmerken te meten die kleiner zijn dan een enkele pixel. Hierdoor kan het systeem fijne details en kleine defecten detecteren die anders onopgemerkt zouden blijven. Deze precisie is essentieel voor industrieën die afhankelijk zijn van strenge kwaliteitscontrole en gedetailleerde beeldvorming.
Verschillende sleutelfactoren beïnvloeden de precisie:
- Kalibratie: Een juiste instelling van camera's en lenzen zorgt ervoor dat het systeem correct en consistent meet. Een goede kalibratie stemt de werkelijke metingen af op de verwachte normen, waardoor er minder fouten optreden.
- Kwaliteit van onderdelen: Hoogwaardige camera's en lenzen met minimale vervorming en een hoge resolutie verbeteren de precisie aanzienlijk. Slechte onderdelen kunnen leiden tot onscherpte en foutieve metingen.
- Stabiliteit in het milieu: Stabiele verlichting en gecontroleerde temperaturen voorkomen meetdrift en ruis. Veranderingen in verlichting of temperatuur kunnen variabiliteit en fouten veroorzaken.
Door zich op deze gebieden te richten, kunnen machine vision-systemen een hoge precisie behouden en betrouwbare, nauwkeurige inspecties leveren die essentieel zijn voor industriële en kwaliteitskritische toepassingen.
Resolutie
Een andere factor die de meetnauwkeurigheid van het systeem beïnvloedt, is de resolutie.
Het moet voldoen aan het theorema van Nyquist en Shannon. Deze stellen dat de pixelresolutie ten minste twee keer de frequentie van de fijne details moet bevatten. Dit zorgt voor nauwkeurige, foutloze gegevens zonder aliasing. Het gebruik van componenten met een hoge resolutie en weinig ruis verbetert de nauwkeurigheid van een systeem. Het helpt fijnere informatie op te vangen, wat resulteert in nauwkeurigere detectie en classificatie.
Terugroepen
Recall meet het aantal defecte items dat het systeem correct identificeert. Het laat zien in hoeverre het systeem in staat is om de meeste defecten te detecteren. Recall is cruciaal voor kwaliteitscontrole in vision toepassingen, waar het missen van een defect ernstige problemen kan veroorzaken in het productieproces.
Het is altijd goed om een hoge terugroepfrequentie te hebben. Het betekent dat de meeste defecte onderdelen worden teruggehaald en van de productielijn worden verwijderd. Terugroepen moet echter in evenwicht zijn met precisie om te veel valse alarmen te voorkomen. Het bijhouden van terugroepacties over een groot aantal inspecties helpt inzicht te krijgen in de algehele effectiviteit van het systeem bij het nauwkeurig en consistent detecteren van defecten, waardoor een betrouwbare kwaliteitsgarantie wordt gegarandeerd.
R&R meter
Herhaalbaarheid en reproduceerbaarheid van meters (Gauge R&R) wordt gebruikt om de betrouwbaarheid van een machinezichtsysteem te meten. Het wordt gebruikt om de consistentie en nauwkeurigheid van de metingen van het systeem te bepalen. De techniek onderzoekt variaties die te wijten zijn aan het proces in plaats van aan het meetsysteem.
Idealiter maken meetfouten minder dan 10 procent uit van de totale variabiliteit. Dit bevestigt de robuustheid van het systeem. Bij de Gauge R&R studie meten meerdere operators herhaaldelijk hetzelfde onderdeel. Dit test twee dingen:
Herhaalbaarheid: Hoe vergelijkbaar zijn de metingen van één operator voor hetzelfde onderdeel?
Reproduceerbaarheid: De mate waarin de metingen van verschillende operators consistent zijn in één onderdeel.
Gauge R&R helpt bij het beoordelen van het vermogen van het systeem om veranderingen in de productiekwaliteit betrouwbaar te detecteren. Deze continue beoordeling ondersteunt het kwaliteitsbeheer door te zorgen voor nauwkeurige en consistente metingen in de loop van de tijd.
Hoe optimaliseer je het vision-meetsysteem?
Er zijn effectieve optimalisatiestrategieën die je moet gebruiken om topnauwkeurigheid te bereiken. Hieronder worden er enkele besproken.
- De kwaliteit van de camera heeft invloed op de resolutie. Je moet dus kiezen voor camera's met een hoge resolutie. Met weinig ruis kan het systeem zelfs de kleinste details nauwkeurig vastleggen.
- Kleinere pixels verbeteren het vastleggen van details, maar gaan ten koste van hogere ruisniveaus. Telecentrische lenzen kunnen worden gebruikt om de grootte van objecten te stabiliseren, vervorming te minimaliseren en nauwkeurige metingen mogelijk te maken.
- Kalibratie is essentieel; door de metingen van het systeem af te stemmen op standaarden blijven de resultaten nauwkeurig en betrouwbaar binnen de ingestelde toleranties.
- Complexe beeldverwerking, zoals subpixel, verhoogt de nauwkeurigheid voorbij de pixelgrenzen. Goed gecontroleerde, stabiele verlichting helpt bij het verminderen van beeldproblemen, zoals washout of schittering.
Conclusie
Tot slot zijn vision systemen een cruciaal onderdeel van productieapparatuur. Hun meetnauwkeurigheid, de kritieke parameter, wordt geëvalueerd aan de hand van verschillende meetmethoden. Dit zijn onder andere nauwkeurigheid, precisie, resolutie, recall en F1-score. Omdat deze metrieken aan elkaar gerelateerd zijn, worden deze termen vaak door elkaar gehaald. Ze begrijpen en analyseren is dus belangrijk om nuttige inzichten te krijgen in de nauwkeurigheid van het meetsysteem.
Daarnaast kunnen vision-systemen geoptimaliseerd worden door verschillende nuttige strategieën. Deze omvatten de kalibratie van apparatuur, het gebruik van hoogwaardige camera's en lenzen, het volgen van de stellingen van Nyquist en Shannon en een gecontroleerd verlichtingssysteem. Dit alles verbetert het vermogen van het systeem om kleine defecten te detecteren en nauwkeurige gegevens te leveren.