Objektsegmentierung in Videodaten mittels Analyse von Punkttrajektorien
Zusammenfassung der Projektergebnisse
In diesem Projekt haben wir aufbauend auf dem Prinzip der Bewegungssegmentierung anhand von Punkttrajektorien erhebliche Fortschritte erzielt und Schwachpunkte der Vorarbeiten behoben. Insbesondere wurde im Projekt ein Verfahren entwickelt, welches raum-zeitlich dichte Segmentierungen der bewegten Objekte erzielt. Zudem haben wir das zugrundeliegende Bewegungsmodell mithilfe von Hypergraphen mit Triplet-Kanten erweitert. Wir konnten zeigen, dass sich damit auch Bildsequenzen mit dominanter Rotations- oder Skalierungsbewegung korrekt segmentieren lassen, was zuvor nicht möglich war. Durch Ersetzen der spektralen Clusteranalyse durch eine Minimum-Cost-Multi-Cut-Formulierung konnten wir zudem allgemeine Verbesserungen in der Robustheit der Bewegungssegmentierung erzielen, die es nun erlaubt auch kleinere bewegte Objekte korrekt zu erfassen. Im Rahmen des Projekts wurde ein Benchmark Datensatz erstellt – der Freiburg-Berkeley Motion Segmentation Datensatz – welcher zur freien Verfügung steht und die Evaluation und den Vergleich von Bewegungssegmentierungsverfahren in den vergangenen Jahren standardisiert und deutlich vereinfacht hat.
Projektbezogene Publikationen (Auswahl)
- Object segmentation in video: a hierarchical variational approach for turning point trajectories into dense regions, IEEE International Conference on Computer Vision (ICCV), 2011
Peter Ochs, Thomas Brox
- Higher Order Motion Models and Spectral Clustering, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2012
Peter Ochs, Thomas Brox
- iPiano: Inertial Proximal Algorithm for Non-convex Optimization, SIAM Journal on Imaging Sciences, 7(2): 1388-1419, 2014
Peter Ochs, Y. Chen, Thomas Brox, T. Pock
(Siehe online unter https://doi.org/10.1137/130942954) - Segmentation of moving objects by long term video analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(6): 1187-1200, 2014
Peter Ochs, Jitendra Malik, Thomas Brox
(Siehe online unter https://doi.org/10.1109/TPAMI.2013.242) - Motion trajectory segmentation via minimum cost multicuts, IEEE International Conference on Computer Vision (ICCV), 2015
Margret Keuper, B. Andres, Thomas Brox
(Siehe online unter https://doi.org/10.1109/ICCV.2015.374) - DeMoN: depth and motion network for learning monocular stereo, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2017
Benjamin Ummenhofer, Huizhong Zhou, Jonas Uhrig, Nikolaus Mayer, Eddy Ilg, Alexey Dosovitskiy, Thomas Brox
(Siehe online unter https://doi.org/10.1109/CVPR.2017.596)
