Basic investigations about aspects of entropy in algorithms and algorithmic processes

• Applicant: Professor Dr. Uwe Schöning
• Subject Area: Theoretical Computer Science
• Term: from 2003 to 2008
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5415839

Die Entropie ist ein Maß für den Informationsgehalt, der in einem Objekt enthalten ist. Diejenigen Objekte, deren Entropie hier betrachtet werden soll, sind Algorithmen-Eingaben und -Ausgaben und zugehörige Datenstrukturen. Algorithmen wiederum dienen dazu, Information zu verarbeiten, aufzubereiten, aber auch, um Entropie abzubauen - und im selben Maße Struktur und Ordnung zu schaffen, wie zum Beispiel bei einem Sortieralgorithmus abgebaut. Diese Art der Sichtweise auf Algorithmen ist ungewöhnlich, hat sich bisher aber in mancher Hinsicht als nützlich erwiesen, vor allem bei der Analyse von Sortier- und Suchalgorithmen, Pseudozufallszahlengeneratoren und Algorithmen zur Datenkompression. In der Literatur werden verschiedene, alternative Definitionen von Entropie gegeben. Diese Entropiebegriffe basieren im Allgemeinen auf dem Modell einer (gedächtnislosen) stochastischen Quelle (oder ggf. einer Markov-Kette), setzen also voraus, dass die zu bemessenden Informations-Objekte mit bestimmten Wahrscheinlichkeiten auftreten. Darüber hinaus gibt es das Konzept der algorithmischen Entropie oder Kolmogorov-Komplexität, das ohne eine zugrunde liegende Wahrscheinlichkeitsverteilung auskommt, allerdings algorithmisch nicht-berechenbar ist und damit weit schwerer zu handhaben ist. Die Untersuchungen in diesem Projekt dienen dazu, den Entropiebegriff weiter im Bereich der Algorithmik zu erschließen und die bisherigen, zum Teil sehr unterschiedlichen Ansätze zu vereinheitlichen.

• DFG Programme: Research Grants