Camera based automation of the analysis of personalities and social structures of a herd of dairy cows using neural networks and dynamic network analysis
Final Report Abstract
Es wird mittlerweile als unstrittig angesehen, dass das Temperament und die Persönlichkeit von Nutztieren das Tierwohl, die Tiergesundheit und die Produktivität beeinflussen und in artgerechter Haltung Berücksichtigung finden sollten. Da die Erhebung belastbarer Masszahlen zur Erfassung des Temperaments zeitaufwendig und für die Versuchstiere mit Stress behaftet ist, verfolgte dieses Forschungsvorhaben den Ansatz, die Ergebnisse aus Verhaltensbeobachtungen an Milchkühen mittels eines videobasierten Verfahrens automatisch abzubilden. Hierzu wurde ein Laufstallareal mit 36 laktierenden Holstein Friesian Milchkühen mit acht Überwachungskameras so ausgestattet, dass der Bereich, in dem sich die Kühe aufhielten, vollständig erfasst wurde. Die Kühe konnten den überwachten Bereich außerhalb der Melkzeiten nicht verlassen, und wurden zwischen Morgen- und Nachmittagsmelkung für mindestens sechs Stunden täglich aufgezeichnet. In diesem Projekt wurde zunächst Software zur Steuerung der Aufzeichnung und des Datenflusses sowie zur Synchronisierung des aufgezeichneten Bildmaterials implementiert. Als Hauptarbeitsschritt dieses Vorhabens kann die Entwicklung einer stabilen Objekterkennung und des Objekttrackings gesehen werden. Vorbereitend wurde hierzu ein Motion Detection Klassifikator benutzt, welcher für erste Auswertungen des Videomaterials zur Anwendung kam. Die eigentliche Softwarelösung für das Ausschneiden und Verfolgen der einzelnen Kühe in den Videos basierte dann auf dem Deep Learning Modell Mask region-based Convolutional Neural Network (Mask R-CNN), welches nicht nur Bounding Boxen um die gefundenen Objekte, sondern auch pixelgenaue Segmentierungsmasken (Instanzensegmentierung) als Ergebnisse liefert. Die vorhandene und bereits auf Alltagsobjekte vortrainierte Implementierung musste recht aufwendig an die vorliegende Situation angepasst und erweitert werden, bevor sie mittels Transfer Learning für die gewünschte Anwendung spezialisiert werden konnte. Für das Transfer Learning wurde ein Trainingsdatensatz erstellt, indem an Teilen des Videomaterials die Kuhumrisse händisch festgelegt wurden. Die Kombination aus der vorgestellten technischen Umsetzung einer flächendeckenden Langzeitaufzeichnung einer Gruppe von großen Nutztieren und einem erfolgreich trainierten Deep Learning Modell kann Material für vielfältige Analysen liefern und bildet eine belastbare Basis für Forschungsvorhaben in den Bereichen Tiergesundheit oder -verhalten. Zunächst wurden in diesem Projekt die Nutzung der Ressourcen ‘Lauffläche‘, ‘Liegeboxen‘, ‘Futtertröge‘, ‘Wassertröge‘, ‘Kuhbürste‘ und ‘Leckstein‘ analysiert. Hierbei ergaben sich zum einen signifikante Unterschiede zwischen Zeiträumen zu unterschiedlichen Jahreszeiten. Zum anderen bevorzugten die Tiere manche Liegeboxen und Futtertröge gegenüber anderen. Es konnten also lokale Präferenzen innerhalb der Nutzung einer ‘Ressource‘ messbar gemacht werden. Es gelang weiterhin die aus dem Videomaterial gewonnene Nutzung der oben genannten Ressourcen als ARIMA Prozesse zu modellieren. Vorhersagen der Ressourcennutzung für 10 Tage aus den Anfangsverläufen dieser Zeitreihen erreichten Pearson Korrelationskoeffizienten größer als 0.93 (Ausnahme: ‘Kuhbürste‘ 0,81). Darüber hinaus wurden die Ergebnisse des Mask R-CNN Modells zur automatischen Generierung von Kontaktnetzwerken genutzt, um die Sozialstruktur der Gruppe mittels Netzwerkanalyse untersuchen zu können. Für eine erste Auswertung wurden Kontakte stundenweise aggregiert und für die entstehenden Netzwerke Zentralitäts- und Netzwerkparameter berechnet. Eine Auswertung von Degree und Closeness sowie der Netzwerkparameter Density und Diameter legte nahe, dass in der Stunde direkt nach der Morgenmelkung das Netzwerk am dichtesten war. Die Parameter zeigen, dass die Zahl der Kontakte dann abnimmt und die Herde zwischen 10 und 11 Uhr eine Hauptruhephase hat. Für generalisierte Aussagen sollten aber Videoaufzeichnung eines längeren Zeitraums, als für diese Einzelanalyse genutzt wurde, herangezogen werden. Um die Verbindung zum Begriff Temperament herzustellen, wurde mit den Tieren ein Social Motivation Test durchgeführt und die Interaktionen der Tiere am Futtertisch ausführliche beobachtet. Ein Abgleich dieser Verhaltensdaten mit den aus dem Videomaterial automatisch generierten Informationen steht noch aus.
Publications
- (2019): Dairy cows’ contact networks derived from videos of eight cameras. In: Biosystems Engingeering 188, S. 106-113
J. Salau, O. Lamp und J. Krieter
(See online at https://doi.org/10.1016/j.biosystemseng.2019.10.018) - (2020): Analysing the space-usage-pattern of a cow herd using video surveillance and automated motion detection. In: Biosystems Engingeering 197, S. 122-14
J. Salau und J. Krieter
(See online at https://doi.org/10.1016/j.biosystemseng.2020.06.015) - (2020): Instance segmentation with Mask R-CNN applied to loosehoused dairy cows in a multi-camera setting. In: Animals 2020, 10(12), 2402
J. Salau und J. Krieter
(See online at https://doi.org/10.3390/ani10122402) - (2021): Predicting use of resources by dairy cows using time series. In: Biosystems Engingeering 205, S. 146-151
J. Salau und J. Krieter
(See online at https://doi.org/10.1016/j.biosystemseng.2021.03.005)
