Das Projekt DARVIN

In der ersten Hälfte der 1980er Jahre begann Hans-Hellmut Nagel mit Forschungen zu Fahrassistenzsystemen in Kraftfahrzeugen. Diese Arbeiten mündeten ab 1995 im Projekt DARVIN, welches am Fraunhofer-Institut für Informations- und Datenverarbeitung (IITB) umgesetzt wurde. Das Projekt wurde von einem Internetauftritt begleitet, der ab dem Jahr 2003 über das Internetarchiv dokumentiert ist. Ursprünglich stand dieser Internetauftritt am Institut für Algorithmen und Kognitive Systeme der Fakultät für Informatik der Universität Karlsruhe zur Verfügung. Diese Website ist heute nur mehr über das Internet-Archive (Stand 22.03.2023) abrufbar. Auf archive.org kann nachvollzogen werden, wie sich die Website im Lauf der Zeit vom 28.08.2003 bis zum 22.03.2023 verändert hat. Allerdings sind dort ursprünglich vorhandene Videos nicht einsehbar. Darum haben Florian Müller und Jakob Tschandl im Auftrag der Arbeitsgruppe Kryptographie und Sicherheit des Instituts für Informationssicherheit und Verlässlichkeit am KIT für das Deutsche Museum diesen Internetauftritt rekonstruiert. Hier finden Sie die Informationen zum Projekt DARVIN inklusive einer Einführung von Hans-Hellmut Nagel.

Der Internet-Auftritt DARVIN illustriert eine spezielle, späte Zwischenstufe in einer mehrere Jahrzehnte währenden Entwicklung zur modellgestützten Bildauswertung von Straßenverkehrsszenen.

1. Zu den verwendeten Begriffen

Der Begriff Bild-"Auswertung" unterscheidet sich wesentlich vom Begriff Bild-"Verarbeitung". Bildverarbeitung erzeugt aus einem digitalen Bild wieder ein digitales Bild. Bildauswertung dagegen erzeugt aus einem digitalen Bild eine begriffliche Beschreibung (eines Teiles) des durch das Bild erfassten Sachverhalts in der aufgezeichneten Szene (vergleiche hierzu die einführenden Bemerkungen zum Internet-Auftritt Bildfolgen).

Der Internet-Auftritt Bildfolgen dokumentiert verschiedene Straßenverkehrsszenen, die bei sich bewegenden Straßenfahrzeugen durch stationäre Videokameras aufgezeichnet worden sind.

Im Internet-Auftritt DARVIN werden verschiedene Bildfolgen mit eingeblendeten Auswertungsresultaten illustriert, die aus einem speziell ausgestatteten, fahrenden - d.h. sich bewegendem Kraftfahrzeug - heraus mit zwei Videokameras von stationären Straßenszenen aufgenommen worden sind.

Die Nutzung von a-priori-Wissen über die erfasste Szene ermöglicht es, unwesentlich erscheinende Details in den Bildelementen einer digitisierten Video-Aufnahme zu übergehen und dadurch Rechenaufwand zu vermeiden. Angesichts der bis in die neunziger Jahre beschränkten Rechenkapazitäten konnte dieser Aspekt nicht außer Acht gelassen werden, wenn man komplexere Realwelt-Szenen auswerten wollte. Die in einem Kraftfahrzeug bereitzustellende Rechenkapazität war noch stärker beschränkt als diejenige einer (Groß-)Rechenanlage in einem Rechenzentrum.

Als "modellgestützt" werden Auswertungsprozesse bezeichnet, die explizit Angaben bereitstellen über Szenen, deren Bilder auszuwerten sind. Explizite Angaben werden getrennt von den Auswertungs-Befehlen bereitgestellt. Man kann diese Angaben daher überprüfen, modifizieren oder ergänzen, ohne die Sequenz der Auswertungsbefehle selber zu inspizieren oder zu verändern.

In den explizit bereitgestellten Angaben findet sich das für ausgewählte (aber nicht zu eng umrissene)  Untersuchungen zu verwendende a-priori-Wissen über die erfasste Szene. Ein solches, durch Weglassen vereinfachtes - d.h. von der Komplexität der Szene abstrahiertes - Wissen wird auch als "Modell" bezeichnet. So umfasst auch ein Modelleisenbahnwagen im Allgemeinen nicht jedes Detail eines bestimmten Eisenbahnwagens, z.B. eine verschlissene Stelle in einer Sitzpolsterung.

Der Begriff Modell wird auch für nicht-geometrische Aspekte einer Szene verwendet.

2. Zur Vorgeschichte der Bildfolgen von DARVIN

Die in der vorstehenden Begriffserläuterung dargelegten Überlegungen veranlassten H.-H. Nagel im ersten Drittel der achtziger Jahre (leider erlauben die aktuell noch zugänglichen Unterlagen nicht, dies zeitlich zu präzisieren) dazu, dem damaligen Leiter der Konzernforschung von Bosch, Prof. Bolle, das im Folgenden skizzierte Grundlagenforschungsprojekt vorzuschlagen. Prof. Bolle war damals Mitglied im wissenschaftlichen Beirat des Fraunhofer-Instituts für Informations- und Datenverarbeitung (IITB) in Karlsruhe.

Der Fahrer (bitte generisch zu verstehen) eines Kraftfahrzeuges sollte durch Warnungen - gegebenenfalls auch durch automatisch erfolgende, unmittelbare Einwirkungen in die Fahrzeugführung - dabei unterstützt werden, kritische Entwicklungen in der Umgebung des Eigenfahrzeuges frühzeitig zu erkennen und die Konsequenzen eines eventuell nicht mehr zu vermeidenden Verkehrsunfalls zu mindern. (Ein solches Vorgehen kann man als sichtsystem-gestützte Variante einer Entwicklung auffassen, die u.a. zum automatischen Gurtstraffer oder zum Antiblockier-System ABS geführt hat.)

Hierzu sollte ein Kraftfahrzeug speziell für Fahrmanöver in Innenstädten so ausgestattet werden, dass das in einem Navigationssystem gespeicherte Wissen zur Auswertung von Videobildfolgen herangezogen werden konnte, die durch Videokameras hinter der Frontscheibe eines zu entwickelnden Versuchsfahrzeuges angeordnet waren.

Prof. Bolle erteilte dem IITB einen Auftrag zur Umsetzung dieses Vorschlages. Um möglichst rasch zu ersten Ergebnissen zu kommen, wollten wir die Entwicklungsdauer für ein geeignetes Versuchsfahrzeug möglichst verkürzen. Hierzu bot sich das folgende Vorgehen an.

Prof. E.D. Dickmanns von der Universität der Bundeswehr München hatte durch eine Firma einen Kleintransporter für automatische Fahrversuche umbauen lassen, u.a. mit einem separaten Diesel-Generator zur Stromerzeugung für die benötigte spezielle Versuchs-Elektronik. Prof. Dickmanns gestattete liebenswürdigerweise, dass die seinerzeit von ihm beauftragte Firma einen weiteren Kleintransporter für uns umbaute.

Dadurch erhielt das IITB ein Versuchsfahrzeug, das in der Folgezeit in der Werkstatt des IITB sowie durch Mitarbeiter der Forschungsgruppe an unsere Bedürfnisse und Erfahrungen angepasst wurde - den grünen Kleintransporter in der Abbildung.

Zusammen mit dem Entwicklungsauftrag der Fa. Bosch erhielten wir von dieser Firma eine Datei mit den Navigationssystemdaten eines kleinen Kartenausschnittes um das Gelände des IITB in Karlsruhe. Auf dieser Grundlage entwickelte die Forschungsgruppe am IITB einen Ansatz, die Daten eines Navigationssystems für automatische Fahrversuche zunächst auf dem Gelände des IITB in Karlsruhe zu nutzen.

Nach überzeugenden Vorführungen der inzwischen erworbenen Fähigkeiten gestattete die Stadt Karlsruhe solche Fahrversuche auch in der unmittelbaren Umgebung des IITB, vorausgesetzt ein Fahrer saß eingriffsbereit am Lenkrad, um in kritischen Situationen sofort die Kontrolle über das Versuchsfahrzeug übernehmen zu können: dieses war so konstruiert worden, dass bei einem Eingriff des Fahrers der automatische Fahrmodus sofort ausgeschaltet wurde und die Kontrolle über das Versuchsfahrzeug einschließlich Gas- sowie Bremspedal praktisch verzugslos an den Fahrer überging.

Inzwischen war Prof. Bolle in den Ruhestand gewechselt. Sein Nachfolger wurde Dr. Siegle, der diese Bemühungen fortführen ließ. Unter seiner Regie wurde ein umfangreiches Demonstrationsvorhaben in der Innenstadt von Hildesheim, am Sitz des für unser Vorhaben zuständigen Bosch-Labors, geplant und durchgeführt. Hierzu mussten in Abstimmung mit der Stadtverwaltung von Hildesheim die Straßen, auf denen unser Demonstrationsfahrzeug entlangfahren sollte, kurzfristig für den übrigen Verkehr gesperrt werden.

Die Ergebnisse dieses Demonstrationsversuches wurden 1992 auf dem Intelligent Vehicles Symposium vorgetragen (G. Siegle, J. Geisler, F. Laubenstein, H.-H. Nagel, and G. Struck: "Autonomous Driving on a Road Network". In: "Proc. Intelligent Vehicles Symposium IVS'92, 29June-1July1992, Detroit/MI", pp. 403-408).

Zeitlich überlappt mit diesen Versuchen wurde ein BMW Touring nach Vorbereitung durch die Firma BMW im IITB so umgebaut, dass sichtsystemgestützte Fahrversuche auch mit einem Personenwagen durchgeführt werden konnten (siehe den dunklen BMW mit der Nummer KA LR270 in der Abbildung oben). Dieses "Versuchsfahrzeug der zweiten Generation" (siehe die obige Abbildung) wurde mit - für die damalige Zeit - leistungsfähigen Spezial-Rechnern ausgestattet, die teilweise am IITB entwickelt worden waren. Besonderes Augenmerk war beim Umbau darauf gelegt worden, dass im Fahrgastraum nur die beiden Videokameras hinter der Windschutzscheibe sichtbar waren, aber keine anderen elektronischen Bauteile oder Kabelverbindungen: der Fahrgast sollte nicht von seinem Fahrvergnügen durch sichtbare Elektronikkomponenten abgelenkt werden. Mit diesem Versuchswagen, der Mitarbeitern der Firma BMW in München vorgeführt worden ist, war auch sichtsystemgestützt vollautomatisch auf der Autobahn zwischen Karlsruhe und München gefahren worden. Hierbei saß ein Mitarbeiter der Forschungsgruppe eingriffsbereit hinter dem Lenkrad, ohne dies (von einigen kritischen Situationen abgesehen) während der sichtsystemgestützten Fahrt zu berühren, wie durch die unter Auflagen erteilte Fahrgenehmigung gefordert.

Dieser BMW Touring wurde am IITB für Experimente u. a. zur Gestaltung der Fahrer-Fahrzeug-Wechselwirkung bei sensorgestütztem Fahren eingesetzt.

3. Zum Versuchsfahrzeug DARVIN

Ab 1995 wurde am IITB ein weiterer Personenwagen - ein VW Passat Variant GL (1996) (siehe die obige Abbildung) -  für Fahrversuche auf der Grundlage von Daten aus einem Navigationssystem umgebaut.

Der Schwerpunkt der Forschungsarbeiten lag darin, aus den in einem Navigationssystem gespeicherten Angaben in Echtzeit die Fahrbahn-Geometrie zu berechnen. Dadurch erübrigte es sich, explizite Modelle der jeweils zu befahrenden Straße mitzuführen. Einzelheiten zu diesem Ansatz finden sich in dem Internet-Auftritt DARVIN (unten).

Die mit diesem Versuchsfahrzeug DARVIN erzielten abschließenden Ergebnisse wurden veröffentlicht: F. Heimes and H.-H. Nagel: "Towards Active Machine-Vision-Based Driver Assistance for Urban Areas". In: International Journal of Computer Vision 50:1 (2002) 5-34.

4. Abschließende Bemerkungen

2000 schied H.-H. Nagel aus Altersgründen aus dem Leitungsgremium des IITB aus. Die Verantwortung für die Versuchsfahrzeuge sowie für weitere Versuche ging in andere Hände über.

Hans-Hellmut Nagel, KIT, März 2024

DARVIN steht für

Driver
Assistance using
Realtime
Vision for
INnercity areas

Anwendungen

DARVIN ist die dritte Generation einer experimentellen Plattform für maschinelle Fahrzeugkontrolle. Ihre Ausstattung ist für die Entwicklung und experimentelle Verifikation von algorithmischer Fahrerassistenz im Stadtverkehr konzipiert. Das Projekt wird von der Fraunhofer-Gesellschaft finanziert und von H.-H. Nagel geleitet.

• Modellbasierte Verfolgung von Kreuzungen
• Modellgestützte Fahrzeugverfolgung
• Verkehrssituationsanalyse und konzeptionelle Beschreibung
• Fahrerassistenz durch gesprochene Empfehlungen und unterstützende Fahrzeugsteuerung
• Unterstützung für behinderte Fahrer

Computersteuerung von

• Hydraulischem Lenksystem
• Bremssystem
• Drosselklappe
• Gangschaltungssystem
• Licht- und Blinksignalsteuerung

Diese Systeme können über den Computer gesteuert werden, und eine manuelle Bedienung durch den Fahrer kann erkannt werden.

Ausstattung

• Fahrzeug:
  Volkswagen Passat Variant GL (1996)
• Computer:
  2 x Doppel-PentiumII-300Mhz
  2 x PentiumI-233Mhz
  TFT-Flachbildschirm
  Fast Ethernet gekoppelt
• Stereo CCD-Kamera-Einrichtung
• Lenkwinkelsensor
• GMR (magneto-resistiv) Radsensoren

Die Ausrüstung wurde hauptsächlich von Haag Rehatechnik, Östringen, installiert, die GMR-Sensoren wurden freundlicherweise von der Robert Bosch GmbH zur Verfügung gestellt.

Entwicklungsziel

In diesem Projekt wird ein Fahrerassistenzsystem - insbesondere für Behinderte - entwickelt mit dem Ziel zu klären, welche zusätzliche Unterstützung einem Fahrer durch eine Kombination von Bildfolgenauswertung und logischer Auswertung von Zwischenergebnissen auf der begrifflichen Ebene geboten werden kann. Dabei ist vorgesehen, daß das System auf Grund des dadurch angestrebten Grades an Verständnis der aktuellen Verkehrssituation den Fahrer auch bei der Fahrzeugführung entlasten kann, solange er nicht korrigierend eingreift; insbesondere die Spurhaltung und Abstandsregelung soll dem Fahrer weitgehend abgenommen werden können. Die Komplexität der von einem Assistenzsystem beherrschten Situationen wird voraussichtlich kontinuierlich steigen. Ein völlig autonomes System - also ein Autopilot - müßte jedoch alle Situationen um ein mehrfaches zuverlässiger bewältigen, als ein Fahrzeugführer. Wann dies möglich sein wird, ist derzeit noch nicht absehbar.

Stand der Arbeiten

Ein neues Versuchsfahrzeug wurde komplett ausgerüstet. Installiert sind Rechner, Kameras, Sensoren und Aktoren zur Kontrolle von Lenkung, Gas, Bremse, Gangwahl, Licht und Blinker. Die ins Auge gefaßten Programme für das Assistenzsystem werden zur Zeit entwickelt. Das System kann in bestimmten Situationen seine Position relativ zur Umgebung durch modellgestützte Bildfolgenauswertung feststellen. Das Fahrzeug kann rechnergesteuert vorgegebene Strecken abfahren, derzeit aber noch ohne Kopplung an die Bildauswertung.

Zukünftige Verfügbarkeit

Das Projekt befindet sich noch in einer Phase, die der Grundlagenforschung zugerechnet werden muß. Die Kosten und die nötige Zeit für eine Markteinführung lassen sich derzeit noch nicht abschätzen, angestrebt werden muß, daß die Kosten eines solchen Teilsystems in der Größenordung von Navigationssystemen liegen. Unsere Erkenntnisse werden veröffentlicht.

Unterschied zu anderen autonomen Systemen

In diesem Projekt werden speziell innerstädtische Verkehrssituationen untersucht, weil diese im Vergleich zu Landstraßen und Autobahnen ganz neue Anforderungen an das System stellen, z.B. große Vielfalt in der Art, Geschwindigkeit und Bewegungsrichtung anderer Verkehrsteilnehmer, dichte Bebauung und damit insbesondere komplexe, teilweise schwer überschaubare Kreuzungen.

Durch diese Komplexität wird ein Ansatz benötigt, der für viele Situationen zuverlässig funktioniert und keine Einzellösung für eine begrenzte Aufgabenstellung ist. Wir untersuchen aus diesen Gründen einen Ansatz auf der Basis der modellgestützten Bildfolgenauswertung.

Nutzen für behinderte Fahrer

Behinderte Fahrer benötigen einen Führerschein wie andere Fahrer auch. Es wird angestrebt, daß ein solches Assistenzsystem behinderten Fahrern mehr Selbstsicherheit bietet. Es darf daher in der Anfangsphase auch spezialisierter und kostenintensiver sein als bei einer Serienfertigung für die ungleich größere Zahl nicht behinderter Fahrerinnen und Fahrer.

Ergebnisse

Die Ergebnisse zur bildgestützten Fahrerassistenz auf der Grundlage automatisch erstellter Kreuzungsmodelle wurden auf dem Intelligent Vehicles Symposium am 4. Oktober 2000 in Dearborn/MI  vorgestellt.

Es wurden mehrere Experimente unter Echtzeitbedingungen durchgeführt. Die Ego-Bewegung des Fahrzeugs wurde durch Anpassung eines Szenenmodells an binokulare Kamerabilder geschätzt. Weitere Einzelheiten finden Sie in den Konferenzunterlagen.

Die folgenden Manöver wurden vom Versuchsfahrzeug selbstständig durchgeführt:

Sie können die Präsentation herunterladen und ansehen. Starten oder entpacken Sie folien.exe (46 MB selbstextrahierend) und folgen Sie den Anweisungen in der Datei README.TXT

• F. Heimes, K. Fleischer, H.-H. Nagel: "Automatic Generation of Intersection Models from Digital Maps for Vision-Based Driving on Innercity Intersections." In: "Proc. IEEE Intelligent Vehicles Symposium, 3. - 5. Oktober 2000, Dearborn/MI", pp. 498 - 503.
• F. Heimes: "Sichtsystemgestützte Fahrerassistenz im innerstädtischen Straßenverkehr." Dissertation, computer science department, university of Karlsruhe, July 2000; published in "Dissertationen zur Künstlichen Intelligenz (DISKI)" 243, Infix-Verlag, St. Augustin, 2000, ISBN 3-89838-243-5.
• H.-H. Nagel, F. Heimes, K. Fleischer, M. Haag, H. Leuck, S. Noltemeier: "Quantitative Comparison between Trajectory Estimates Obtained from a Binocular Camera Setup within a Moving Road Vehicle and from the Outside by a Stationary Monocular Camera." Special Issue: Applications of Computer Vision to Intelligent Vehicles; Image and Vision Computing 18:5 (2000) 435 - 444.
• H.-H. Nagel, F. Heimes, S. Noltemeier, M. Haag: "Quantitative Comparison between Trajectory Estimates Obtained from a Binocular Camera Setup within a Moving Road Vehicle and from the Outside by a Stationary Monocular Camera." In: "Proc. Intelligent Vehicles Symposium, 28. - 30. Oktober 1998, Stuttgart", pp. 423 - 429.
• F. Heimes, H.-H. Nagel: "Real-Time Tracking of Intersections in Image Sequences of a Moving Camera." In: A. Broggi (Ed.): "Special Issue on Machine Vision for Intelligent Vehicles and Autonomous Robots"; Int. Journal of Engineering Applications of Artificial Intelligence (EAAI), 11 (1998) 215 - 227.
• F. Heimes, H.-H. Nagel, T. Frank: "Model-Based Tracking of Complex Innercity Road Intersections." In: Amin et al. (Eds.): "Special Issue on Intelligent Transportation Systems - Traffic Sensing and Management"; Mathematical and Computer Modelling 27:9 - 11 (1998) 189 - 203.
• M. Tonko, K. Schäfer, F. Heimes, H.-H. Nagel: "Towards Visually Servoed Manipulation of Car Engine Parts." In: R. W. Harrigan (Ed.): "Proc. IEEE Int. Conf. on Robotics and Automation, Albuquerque/NM, 20. - 25. April 1997", IEEE Computer Society Press, Los Alamitos/CA, 1997, pp. 3166 - 3171.
• F. Heimes: "Sichtsystemgestützte Erkennung von Straßenverkehrsszenen." Diploma thesis, Institut für Algorithmen und Kognitive Systeme, computer science department, university of Karlsruhe, August 1995; carried out at the Fraunhofer-Institut für Informations- und Datenverarbeitung (IITB), Karlsruhe.
• V. Gengenbach, H.-H. Nagel, F. Heimes, G. Struck, H. Kollnig: "Model-Based Recognition of Intersections and Lane Structures." In: "Proc. Intelligent Vehicles ´95 Symposium, 25. - 26. September 1995, Detroit/MI", pp. 512 - 517.

Auch für die Bildfolgen von Hans-Hellmut Nagel haben wir einen Internetauftritt eingerichtet.