Mit der Verbesserung des Preis-Leistungs-Verhältnisses von bildgebenden Geräten und der Geschwindigkeit der Computer-Informationsverarbeitung sowie der Vervollkommnung der damit verbundenen Theorien hat die Vision-Servo-Technologie die technischen Voraussetzungen für die praktische Anwendung geschaffen, und die damit verbundenen technischen Fragen sind zum aktuellen Forschungsschwerpunkt geworden. Definition von Vision Servo Der größte Teil der Informationen, die der Mensch aus der [...]
Mit der Verbesserung des Preis-Leistungs-Verhältnisses von Bildverarbeitungsgeräten und der Geschwindigkeit der Computer-Informationsverarbeitung sowie der Vervollkommnung der zugehörigen Theorien hat die Bildverarbeitungs-Servotechnik die technischen Voraussetzungen für die praktische Anwendung geschaffen, und die damit verbundenen technischen Fragen sind zu einem aktuellen Forschungsschwerpunkt geworden.
Der größte Teil der Informationen, die der Mensch von der Außenwelt aufnimmt, wird über die Augen gewonnen. Seit Jahrhunderten träumt die Menschheit davon, intelligente Maschinen zu schaffen, deren erste Funktion darin besteht, das menschliche Auge zu imitieren, um die Außenwelt erkennen und verstehen zu können.
Zahlreiche Strukturen im menschlichen Gehirn sind an der Verarbeitung visueller Informationen beteiligt, so dass viele Probleme im Zusammenhang mit dem Sehen mühelos bewältigt werden können. Unser Verständnis der visuellen Kognition ist jedoch nach wie vor begrenzt, so dass der Traum von intelligenten Maschinen nur schwer zu verwirklichen ist.
Mit der Entwicklung der Kameratechnik und dem Aufkommen der Computertechnologie begannen intelligente Maschinen mit visuellen Funktionen von Menschen hergestellt zu werden, wodurch sich allmählich die Disziplin und Industrie des maschinellen Sehens entwickelte.
Nach der Definition der Machine Vision Division der Society of Manufacturing Engineers (SME) und der Automated Imaging Association der Robotic Industries Association (RIA) ist das maschinelle Sehen "die automatische Aufnahme und Verarbeitung eines Bildes eines realen Objekts durch optische Geräte und berührungslose Sensoren, um die erforderlichen Informationen zu erhalten oder die Bewegungen eines Roboters zu steuern".
Als biomimetisches System, das dem menschlichen Auge ähnelt, umfasst das maschinelle Sehen im weitesten Sinne die Erfassung von Informationen über reale Objekte durch optische Geräte sowie die Verarbeitung und Ausführung der entsprechenden Informationen. Dies umfasst das sichtbare und nicht sichtbare Sehen und sogar die Erfassung und Verarbeitung von Informationen im Inneren von Objekten, die das menschliche Sehen nicht direkt beobachten kann.
In den 1960er Jahren begann man aufgrund der Fortschritte in der Robotik und der Computertechnologie, Roboter mit visuellen Fähigkeiten zu erforschen. In diesen Studien waren die Sicht und die Bewegung des Roboters jedoch streng genommen ein offener Kreislauf.
Das visuelle System des Roboters verarbeitet das Bild, um die Position und die Ausrichtung des Ziels zu bestimmen, berechnet daraus die Bewegungshaltung des Roboters und liefert diese Informationen in einem einzigen Schritt, ohne weitere Eingriffe.
1973 wurde das Konzept der visuellen Rückmeldung eingeführt, als jemand ein visuelles System zur Robotersteuerung einsetzte.
Erst 1979 schlugen Hill und Park das Konzept des "visuellen Servoing" vor. Im Gegensatz zur visuellen Rückkopplung, bei der nur Signale aus visuellen Informationen extrahiert werden, umfasst das visuelle Servoing den gesamten Prozess von der visuellen Signalverarbeitung bis zur Robotersteuerung und bietet eine umfassendere Betrachtung der einschlägigen Forschungsarbeiten zur Robotervision und -steuerung.
Seit den 1980er Jahren, mit dem Fortschritt der Computertechnologie und der Kameraausrüstung, haben technische Fragen der visuellen Servosysteme von Robotern die Aufmerksamkeit vieler Forscher auf sich gezogen. In den letzten Jahren wurden sowohl in der Theorie als auch in der Anwendung der visuellen Roboterservosteuerung erhebliche Fortschritte erzielt.
Diese Technologie ist häufig ein Spezialthema auf vielen akademischen Konferenzen und hat sich allmählich zu einer eigenständigen Technologie entwickelt, die die Bereiche Robotik, automatische Steuerung und Bildverarbeitung umfasst.
Gegenwärtig ist die robotergestützte Vision Servosteuerung Systeme können auf folgende Weise kategorisiert werden:
Je nach Anzahl der Kameras kann man sie in monokulare, binokulare und mehräugige Servosysteme unterteilen.
Monokulare Sehsysteme können nur zweidimensionale Bilder aufnehmen und die Tiefeninformation des Ziels nicht direkt erfassen.
Multi-Eye-Vision-Servosysteme können Bilder aus mehreren Richtungen des Zielobjekts erfassen und liefern so umfangreiche Informationen. Sie erfordern jedoch große Mengen an Bilddatenverarbeitung, und je mehr Kameras beteiligt sind, desto schwieriger ist es, die Systemstabilität aufrechtzuerhalten. Gegenwärtig wird in Vision-Servo-Systemen hauptsächlich binokulares Sehen verwendet.
Je nach Kameraplatzierung lassen sich die Systeme in Eye-in-Hand-Systeme und feste Kamerasysteme (Eye-to-Hand oder Standalone) einteilen.
Theoretisch können Eye-in-Hand-Systeme eine präzise Steuerung erreichen, aber sie sind anfällig für Kalibrierungsfehler und Fehler in der Roboterbewegung.
Feste Kamerasysteme sind unempfindlich gegenüber kinematischen Fehlern des Roboters, aber unter den gleichen Bedingungen ist die Genauigkeit der erhaltenen Zielpositionsinformationen nicht so gut wie die des Eye-in-Hand-Systems, was zu einer relativ geringeren Steuerungsgenauigkeit führt.
Basierend auf der räumlichen Position oder den Bildmerkmalen des Roboters werden Vision-Servo-Systeme in positionsbasierte Vision-Servo-Systeme und bildbasierte Vision-Servo-Systeme unterteilt.
In positionsbasierten Vision-Servo-SystemenNach der Verarbeitung des Bildes wird die Position des Ziels relativ zur Kamera und zum Roboter berechnet.
Dies erfordert eine Kalibrierung der Kamera-, Ziel- und Robotermodelle, und die Kalibrierungsgenauigkeit wirkt sich auf die Steuerungsgenauigkeit aus, was die Schwierigkeit dieser Methode darstellt. Während der Steuerung wird die erforderliche Lageänderung in den Drehwinkel des Robotergelenks umgewandelt, der von der Gelenksteuerung gesteuert wird.
In bildgestützten Vision-Servo-Systemen, Die Kontrollfehlerinformation ergibt sich aus der Differenz zwischen den Zielbildmerkmalen und den gewünschten Bildmerkmalen.
Ein weiteres Problem ist, dass das Bild zweidimensional ist und die Berechnung der Bild-Jacob-Matrix eine Schätzung der Zieltiefe (dreidimensionale Informationen) erfordert, was in der Computer Vision immer eine Herausforderung war.
Zu den Methoden zur Berechnung der Jacobimatrix gehören die Ableitung von Formeln, die Kalibrierung, die Schätzung und Lernmethoden usw. Erstere können auf der Grundlage des Modells abgeleitet oder kalibriert werden, letztere können online geschätzt werden. Bei den Lernmethoden werden hauptsächlich Methoden des neuronalen Netzes verwendet.
Bei Robotern, die Gelenksteuerungen mit geschlossenem Regelkreis verwenden, werden Bildverarbeitungsservosysteme in dynamische Beobachtungs- und Bewegungssysteme und direkte Bildverarbeitungsservos unterteilt.
Bei der ersten Variante wird das Feedback der Robotergelenke verwendet, um den Roboterarm zu stabilisieren, und das Bildverarbeitungsmodul berechnet den Geschwindigkeits- oder Positionsinkrement, den die Kamera haben sollte, was dann an die Robotergelenksteuerung zurückgegeben wird. Bei der zweiten Variante berechnet das Bildverarbeitungsmodul direkt den Steuerbetrag für die Gelenkbewegung des Roboterarms.
Die Forschung im Bereich des visuellen Servoing erstreckt sich über fast zwei Jahrzehnte. Aufgrund ihres multidisziplinären Charakters hängt ihre Entwicklung jedoch stark von Fortschritten in diesen verschiedenen Bereichen ab. In der visuellen Servoforschung gibt es noch viele ungelöste Probleme.
Zu den wichtigsten künftigen Forschungsrichtungen im Bereich des visuellen Servoing gehören:
- Die schnelle und robuste Erfassung von Bildmerkmalen in realen Umgebungen ist ein kritischer Punkt für visuelle Servosysteme.
In Anbetracht der großen Informationsmenge in der Bildverarbeitung und der Entwicklung der programmierbaren Gerätetechnologie kann die hardwarebasierte Implementierung allgemeiner Algorithmen zur Beschleunigung der Informationsverarbeitung einen Fortschritt in dieser Frage bedeuten.
- Erarbeitung einschlägiger Theorien und geeigneter Software für robotische Bildverarbeitungssysteme.
Viele der derzeitigen Bildverarbeitungsmethoden in Robotik-Vision-Servosystemen sind nicht auf diese Systeme zugeschnitten. Wenn spezialisierte Softwareplattformen zur Verfügung stünden, könnte dies den Arbeitsaufwand verringern und sogar die Systemleistung durch Hardware-Visualisierungsdatenverarbeitung verbessern.
- Anwendung verschiedener Methoden der künstlichen Intelligenz auf Robotik-Vision-Servoing-Systeme.
Während neuronale Netze bereits in der Roboter-Vision-Servoing eingesetzt werden, müssen viele intelligente Methoden noch vollständig genutzt werden.
Wenn man sich zu sehr auf mathematische Modelle und Berechnungen verlässt, kann dies zu übermäßigen Rechenanforderungen während des Betriebs führen, die mit den derzeitigen Computerverarbeitungsgeschwindigkeiten kaum zu bewältigen sind.
Der Mensch erreicht verwandte Funktionen jedoch nicht durch umfangreiche Berechnungen, was darauf hindeutet, dass Methoden der künstlichen Intelligenz mathematische Berechnungen reduzieren und die Anforderungen an die Systemgeschwindigkeit erfüllen könnten.
- Implementierung aktiver Bildverarbeitungstechniken in Roboterservosystemen.
Aktives Sehen, ein aktuelles Thema in der Computer- und Bildverarbeitungsforschung, ermöglicht es Bildverarbeitungssystemen, ihre Umgebung aktiv wahrzunehmen und die benötigten Bildmerkmale auf der Grundlage bestimmter Regeln zu extrahieren. Mit diesem Ansatz können Probleme gelöst werden, die normalerweise nur schwer zu lösen sind.
- Integration von visuellen Sensoren mit anderen externen Sensoren.
Um Robotern eine umfassendere Wahrnehmung ihrer Umgebung zu ermöglichen, insbesondere zur Ergänzung von Informationen für Roboter-Sichtsysteme, könnten verschiedene Sensoren zu Roboter-Sichtsystemen hinzugefügt werden.
Dies könnte einige der Schwierigkeiten bei Roboter-Sichtsystemen beheben, aber die Einführung mehrerer Sensoren würde die Lösung von Informationsfusions- und Redundanzproblemen bei Roboter-Sichtsystemen erfordern.
In den letzten Jahren wurden auf dem Gebiet der Robotik-Vision-Servotechnik erhebliche Fortschritte erzielt, und die praktischen Anwendungen im In- und Ausland nehmen zu. Es wird erwartet, dass viele technische Herausforderungen in naher Zukunft in der Forschung überwunden werden.
In der kommenden Zeit werden Robotik-Vision-Servosysteme eine herausragende Stellung einnehmen in Robotertechnologieund ihre industriellen Anwendungen werden weiter zunehmen.