Reconstruction of Irregularly Sampled Image Signals Using Sparse Representations
Final Report Abstract
Im Rahmen des durch die Deutsche Forschungsgemeinschaft geförderten Projekts „Rekonstruktion unregelmäßig abgetasteter Bildsignale unter Verwendung dünn besetzter Repräsentationen“ wurden Verfahren zur Rekonstruktion unregelmäßig abgetasteter Bilddaten entwickelt. Weiterhin wurden verschiedene Sensordesigns entwickelt und Szenarien untersucht, die aufgrund der unregelmäßigen Abtastung eine erhöhte Ortsauflösung erlauben. Bei der frequenzselektiven Rekonstruktion handelt es sich um eine angepasste Form der Selektiven Extrapolation, welche für die Rekonstruktion von unregelmäßig abgetasteten Bilddaten geeignet ist. Ein Hauptaugenmerk liegt auf der Verwendung einer Frequenzgewichtungsfunktion, welche niederfrequente Basisfunktionen in der Auswahl bevorzugt. Darüber hinaus wurden Verfeinerungen für spezielle Fälle entwickelt. So ist beispielsweise eine Anpassung der Ortsgewichtungsfunktion für spezielle Geometrien von Vorteil. Im Zuge des Projekts wurden mehrere Konzepte für neuartige Bildsensoren entwickelt und die Verwendbarkeit von 1/4-Sampling-Sensoren für die Aufnahme von Videodaten untersucht. Um den Nachteil der geringeren Lichtempfindlichkeit zu relativieren, kann das neu vorgestellte 3/4-Sampling verwendet werden. Hierbei werden zufällig gedrehte, L-förmige Pixel verwendet. Neben der Lichtausbeute ist hierbei auch die Rekonstruktionsqualität erhöht. Um bei der Aufnahme von Videos auch eine Unregelmäßigkeit in zeitlicher Dimension zu ermöglichen, wurde ein geeignete Auslesestrategie entwickelt, bei der in jedem Zeitschritt ein anderer Quadrant eines niedrig auflösenden Sensorelements ausgelesen wird. Durch diese dynamische Abtastung konnte die Rekonstruktionsqualität für Videoaufnahmen stark erhöht werden. Des Weiteren wurde die Verwandtschaft zwischen unregelmäßige Abtastung und Compressed Sensing untersucht. Hierbei konnte eine Verallgemeinerung der JSDE für die im Compressed Sensing üblichen zufälligen Messungen gute Ergebnisse erzielen. Es konnte gezeigt werden, dass die Komplexität durch eine Verwendung von sich periodisch wiederholenden Messungen drastisch reduziert werden kann. Durch die erreichte Verallgemeinerung der JSDE sind zukünftig nicht nur punktförmige Messungen, sondern auch Messungen mit beliebig geformten Integrationsgebieten denkbar, was neuartige Bildsensoren denkbar macht. Dadurch hat die JSDE das Potential, Aufnahmesysteme über die klassische Bildgebung hinaus langfristig zu verbessern.
Publications
- “Reconstruction of Images Taken by a Pair of Non-Regular Sampling Sensors Using Correlation Based Matching,” in: Proc. IEEE Int. Conf. on Image Processing (ICIP), 2014
M. Jonscher, J. Seiler, T. Richter, M. Bätz und A. Kaup
(See online at https://doi.org/10.1109/ICIP.2014.7025582) - “Reconstruction of Videos Taken by a Non-Regular Sampling Sensor,” in: Proc. IEEE Visual Communications and Image Processing (VCIP), 2015
M. Jonscher, J. Seiler, M. Bätz, T. Richter, W. Schnurrer und A. Kaup
(See online at https://doi.org/10.1109/VCIP.2015.7457801) - “Resampling Images to a Regular Grid from a Non-Regular Subset of Pixel Positions Using Frequency Selective Reconstruction,” IEEE Trans. on Image Processing, 2015, Bd. 24, Nr. 11, S. 4540–4555
J. Seiler, M. Jonscher, M. Schöberl und A. Kaup
(See online at https://doi.org/10.1109/TIP.2015.2463084) - “Recursive Frequency Selective Reconstruction of Non-Regularly Sampled Video Data,” in: Proc. Picture Coding Symposium (PCS), 2016
M. Jonscher, K. Jaskolka, J. Seiler und A. Kaup
- “Texture-Dependent Frequency Selective Reconstruction of Non-Regularly Sampled Images,” in: Proc. Picture Coding Symposium (PCS), 2016
M. Jonscher, J. Seiler und A. Kaup
(See online at https://doi.org/10.1109/PCS.2016.7906355) - “Frequency Selective Mesh-to-Grid Resampling for Image Communication,” IEEE Trans. on Multimedia, 2017, Bd. 19, Nr. 8, S. 1689–1701
J. Koloda, J. Seiler und A. Kaup
(See online at https://doi.org/10.1109/TMM.2017.2683267) - “Design Techniques for Incremental Non- Regular Image Sampling Patterns,” in: IEEE Int. Conf. on Imaging Systems and Techniques (IST), 2018
S. Grosche, J. Seiler und A. Kaup
(See online at https://doi.org/10.1109/IST.2018.8577090) - “Iterative Optimization of Quarter Sampling Masks for Non-Regular Sampling Sensors,” in: Proc. IEEE Int. Conf. on Image Processing (ICIP), 2018
S. Grosche, J. Seiler und A. Kaup
(See online at https://doi.org/10.1109/ICIP.2018.8451658) - “Sparse Hartley Modeling for Fast Image Extrapolation,” in: Proc. IEEE Int. Workshop on Multimedia Signal Processing (MMSP), 2018
N. Genser, S. Grosche, J. Seiler und A. Kaup
(See online at https://doi.org/10.1109/MMSP.2018.8547100) - “Dynamic Non-Regular Sampling Sensor Using Frequency Selective Reconstruction,” IEEE Trans. on Circuits and Systems for Video Technology , 2019, Bd. 29, Nr. 10, S. 2859–2872
M. Jonscher, J. Seiler, D. Lanz, M. Schöberl, M. Bätz und A. Kaup
(See online at https://doi.org/10.1109/TCSVT.2018.2876653) - “Increasing Imaging Resolution by Non-Regular Sampling and Joint Sparse Deconvolution and Extrapolation,” IEEE Trans. on Circuits and Systems for Video Technology , 2019, Bd. 29, Nr. 2, S. 308–322
J. Seiler, M. Jonscher, T. Ussmueller und A. Kaup
(See online at https://doi.org/10.1109/TCSVT.2018.2796725) - “Motion-adapted Three-dimensional Frequency Selective Extrapolation,” in: Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), 2019
A. Spruck, M. Jonscher, J. Seiler und A. Kaup
(See online at https://doi.org/10.1109/ICASSP.2019.8683218)
