
Ein neuronales Netz zur Erkennung von Zughörnern entwickeln
Der Verdächtige
Ich wohne zufällig in der Nähe einer Bahnstrecke, und dieser Zug hupt tagsüber wie nachts ziemlich oft. Außerdem führen die Gleise durch das Viertel und kreuzen fünf oder sechs Straßen ohne automatische Schranken, die ein Überqueren verhindern würden. Bevor der Zug eine Straße überqueren darf, muss er deshalb eine Weile lang das Horn betätigen. Als therapeutische Übung wollte ich das Hupverhalten also erkennen und quantifizieren. Außerdem hoffte ich auf eine Möglichkeit, in Echtzeit zu prüfen, ob der Zug gerade die Straße blockiert. Es kann ziemlich nervig sein, wenn man es eilig hat und hinter dem Zug festhängt. Dieser Beitrag beschreibt mein Wochenendprojekt dazu.
TLDR
Nach einem Wochenende Hacken hatte ich einen genauen Zughorn-Detektor am Laufen, der live mit einem Mikrofon vor meinem Fenster arbeitet. Den Code zum Trainieren des Netzes finden Sie auf GitHub.
Die Erkennungen veröffentliche ich außerdem live im Netz: BywaterTrain.com
Neuronales Netz
Mit Audioklassifikation kenne ich mich nicht aus, also habe ich ein bisschen gegoogelt, in der Hoffnung, dass jemand anderes ein ähnliches Problem schon gelöst hat. Meine Randbedingung war, dass das Modell schnell genug läuft, um Live-Audio vom Mikrofon zu verarbeiten. Da ich nicht viele annotierte Daten hatte, suchte ich nach einem Netz vom Typ „ImageNet für Audio“, das ich auf einem sehr kleinen Datensatz feinabstimmen (Fine-Tuning) kann. Yamnet von Google schien einige dieser Punkte zu erfüllen, also habe ich mich dafür entschieden.
Yamnet
Von Google: „YAMNet ist ein vortrainiertes tiefes neuronales Netz, das 521 Audioereignisklassen auf Grundlage des AudioSet-YouTube-Korpus vorhersagt und die Mobilenet_v1-Architektur mit tiefenweise separierbaren Faltungen (Depthwise-Separable Convolutions) verwendet.“ Dass es Mobilenet_v1 verwendet, bedeutet also, dass es wahrscheinlich schnell genug ist, und dass es auf einem großen Datensatz vortrainiert wurde, ist sogar noch besser.
Der AudioSet-YouTube-Datensatz von Google ist auch für sich genommen interessant. Er wurde aus dem Audio von YouTube-Clips erstellt und lässt sich als .csv-Dateien herunterladen, die auf die Zeitstelle im YouTube-Video verweisen, oder als 128-Bit-Merkmalsvektor, wie ihn ihre Architektur im VGG-Stil ausgibt (siehe hier).
Der Datensatz enthielt bereits verschiedene zugbezogene Kategorien, aber die Genauigkeit auf meinen Daten war nicht gut genug, also entschied ich mich, auf der Ausgabe von Yamnet ein zusätzliches Netz feinabzustimmen.
Wenn Ihre Daten zu einer der 521 Klassen gehören, können Sie die Yamnet-Ausgabe möglicherweise direkt verwenden und müssen gar nichts trainieren.
YouTube-Audio-Datensatz
Trainingsdaten erstellen
Ich habe kurze Audioclips mit dem Mikrofon meines Computers aufgenommen und sie entweder als positiv (Zughorn) oder negativ (alles andere) gelabelt. Am Ende hatte ich insgesamt etwa 200 kurze Clips, was nicht viel ist, aber für das Fine-Tuning gut genug zu funktionieren schien.
Das Yamnet-Modell verarbeitet Audio in Fenstern von 0,96 Sekunden, also habe ich meine Aufnahmen in Abschnitte dieser Länge zerlegt. Jeden Abschnitt habe ich durch Yamnet geschickt, um den 1024-dimensionalen Embedding-Vektor zu erhalten, den ich dann als Eingabe zum Trainieren eines einfachen Klassifikators darauf verwendet habe.
Ergebnisse
Das fertige Modell funktioniert überraschend gut! Es erkennt Zughörner in Echtzeit mit hoher Genauigkeit. Falsch-Positive sind selten, und es erfasst die meisten Zughorn-Ereignisse im Tagesverlauf.
Ich lasse es dauerhaft auf einem Raspberry Pi mit einem billigen USB-Mikrofon laufen und protokolliere alle Erkennungen in einer Datenbank. Die Daten zeigen einige interessante Muster dazu, wann Züge durch das Viertel fahren.
Sehen Sie sich die Live-Erkennungen auf BywaterTrain.com an!
Code
Der Trainingscode und die Modellarchitektur sind auf GitHub verfügbar: github.com/laanlabs/train_detector
Passen Sie diesen Ansatz gern an, um andere Geräusche zu erkennen: Autoalarme, Baulärm oder welche Audioereignisse Sie sonst erfassen möchten!
Zusammenarbeit mit Laan Labs
Computer-Vision- & KI-Entwicklung
Individuelle Computer Vision und maschinelles Lernen, vom Proof of Concept bis zur Produktion, auf dem Gerät und in der Cloud.
Diesen Artikel herunterladen
Markdown-Quelltext zum Offline-Lesen herunterladen

