Kombination von bild- und graph-basierten neuronalen Netzwerken für die Handschrifterkennung

• Antragsteller: Professor Dr.-Ing. Gernot A. Fink
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 528122871

Ziel dieses Projektes ist die Entwicklung von Modellen, Datensynthese und Trainingsmethoden für Dokumentenanalyseaufgaben wie Klassifizierung oder Retrieval, welche die Anwendung von Deep Learning ohne die Notwendigkeit von manuell erstellten Annotationen ermöglichen. Insbesondere bei historischen Dokumenten oder ressourcenarmen Sprachen verhindert der hohe Bedarf an manuell gelabelten Daten die Anwendung von lernbasierten Methoden. Ein Schlüsselfaktor in dem vorgeschlagenen Projekt ist die Ausnutzung der strukturellen Eigenschaften von Handschrift. Zusätzlich zu der visuellen Erscheinung kann die zugrunde liegende Struktur als Graph dargestellt werden. Jüngste Entwicklungen im Geometric Deep Learning erlauben es, dieses strukturelle Element auf Ebene des Modelldesigns zu integrieren. Zusätzlich dient die explizite Modellierung der geometrischen Komponente als eine Form der Regularisierung, die die Anpassungsfähigkeit und die Generalisierungsfähigkeiten der entwickelten Modelle erhöht. Das Training der zu entwickelnden Modell, welche visuelle und strukturelle Informationen kombinieren, wird dann mit so wenig Überwachung wie möglich durchgeführt. Daher werden Ansätze zur Datensynthese entwickelt, welche die explizite Modellierung der Struktur in Form von Graphrepräsentationen ausnutzen. Dieses Projekt erweitert den Stand der Technik in der auf Deep Learning basierenden Dokumentenanalyse durch die Entwicklung von Methoden, die explizit die geometrischen Komponenten der Handschrift modellieren. Die daraus resultierende Reduktion des Trainingsdatenbedarfs eröffnet eine Vielzahl von Anwendungsgebieten.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Schweiz
• Partnerorganisation: Schweizerischer Nationalfonds (SNF)
• Kooperationspartner: Professor Dr. Andreas Fischer