メインコンテンツへスキップ
列車の警笛を検出するニューラルネットワークを作る

列車の警笛を検出するニューラルネットワークを作る

Chris Laan
執筆者
Chris Laan
automotive
2020年2月11日
列車

問題の列車

私は線路の近くに住んでいて、この列車は昼も夜も頻繁に警笛を鳴らします。しかも線路は、自動遮断機のない5、6本の道路を横切りながら住宅街を貫いています。そのため、列車は各道路を渡る前にしばらく警笛を鳴らし続けなければなりません。そこで、気晴らしを兼ねて、この警笛の鳴り方を検出して数値化してみることにしました。また、列車が道路をふさいでいるかどうかをリアルタイムで確認できる方法も欲しいと考えていました。急いでいるときに列車に足止めされると、かなりいらいらしますから。この記事では、そのための週末プロジェクトを詳しく紹介します。

TLDR

週末にひたすら手を動かした結果、窓の外に置いたマイクから、列車の警笛を正確に検出する検出器をリアルタイムで動かすことができました。ネットワークを学習させるコードはGitHubで入手できます。

検出結果はこちらでライブ公開しています。BywaterTrain.com

ニューラルネットワーク

音声分類にはなじみがなかったため、すでに誰かが似た問題を解いているのではと期待して、まず軽く検索しました。制約として、マイクからのライブ音声を処理できる速度でモデルが動くことが必要でした。ラベル付きデータもあまりなかったので、ごく小さなデータセットでファインチューニングできる「音声版ImageNet」のようなネットワークを探しました。GoogleのYamnetがそれらの条件をいくつか満たしているように見えたので、これを採用しました。

Yamnet

Googleによる説明は次のとおりです。「YAMNetは、AudioSet-YouTubeコーパスをもとに521種類の音声イベントクラスを予測する学習済みディープネットワークで、Mobilenet_v1のdepthwise-separable convolutionアーキテクチャを採用しています。」Mobilenet_v1を使っているということは、おそらく十分に高速ですし、大規模なデータセットで事前学習されているのはさらに好都合です。

GoogleのAudioSet-YouTubeデータセットは、それ自体も興味深いものです。YouTube動画の音声から作られており、動画内の時刻を指す.csvファイルとして、あるいはVGGスタイルのアーキテクチャが出力する128ビットの特徴ベクトルとしてダウンロードできます(こちらを参照)。

このデータセットにはすでに列車に関連するカテゴリがいくつか含まれていましたが、私のデータでは精度が十分ではなかったため、yamnetの出力の上にさらにネットワークを追加してファインチューニングすることにしました。

扱うデータが521クラスのいずれかに当てはまるなら、yamnetの出力をそのまま使えて、学習がまったく不要な場合もあるかもしれません。

YouTubeの音声データセット

YouTube音声データセット

学習データの作成

パソコンのマイクで短い音声クリップを録音し、正例(列車の警笛)と負例(それ以外のすべて)のどちらかのラベルを付けました。クリップは全部で200本ほどになりました。多くはありませんが、ファインチューニングには十分なようでした。

yamnetモデルは音声を0.96秒のウィンドウ単位で処理するため、録音をその長さのチャンクに分割しました。各チャンクをyamnetに通して1024次元の埋め込みベクトルを取得し、それを入力として、その上に載せるシンプルな分類器を学習させました。

結果

最終的なモデルは、驚くほどうまく動きます。列車の警笛をリアルタイムで高精度に検出できます。誤検出はまれで、一日を通じて鳴る警笛のほとんどを捉えています。

安価なUSBマイクを付けたRaspberry Piで常時稼働させ、すべての検出結果をデータベースに記録しています。このデータから、列車が近隣を通過する時間帯について興味深い傾向が見えてきました。

ライブの検出結果はBywaterTrain.comでご覧ください。

コード

学習コードとモデルのアーキテクチャはGitHubで公開しています。github.com/laanlabs/train_detector

このアプローチは、車の盗難警報や工事の騒音など、記録したい他の音の検出にもぜひ応用してみてください。

Laan Labs と協業する

コンピュータビジョン・AI開発

概念実証から本番運用まで、オンデバイスでもクラウドでも対応するカスタムのコンピュータビジョンと機械学習を提供します。

この記事をダウンロード

オフラインで読めるMarkdownソースを入手できます