
기차 경적 감지 신경망 만들기
문제의 용의자
저는 기차가 지나다니는 곳 근처에 삽니다. 이 기차는 낮이고 밤이고 경적을 꽤 자주 울립니다. 게다가 철로가 동네를 가로지르며 대여섯 개의 거리를 지나는데, 건널목을 막아 주는 자동 차단기가 없습니다. 그래서 기차는 각 거리를 건너기 전에 한동안 경적을 울려야 합니다. 마음을 다스리는 의미에서 이 경적 패턴을 감지하고 수치로 정리해 보기로 했습니다. 기차가 길을 막고 있는지 실시간으로 확인할 방법이 생기길 바라는 마음도 있었습니다. 바쁠 때 기차 뒤에 꼼짝없이 갇히면 꽤 짜증스럽거든요. 이 글에서는 이를 위해 진행한 주말 프로젝트를 설명합니다.
요약
주말 동안 열심히 만든 끝에, 창밖에 설치한 마이크로 실시간 동작하는 정확한 기차 경적 감지기를 만들 수 있었습니다. 신경망을 학습시키는 코드는 GitHub에서 받으실 수 있습니다.
감지 결과는 온라인에서도 실시간으로 공개하고 있습니다: BywaterTrain.com
신경망
저는 오디오 분류에 익숙하지 않아서, 다른 누군가가 비슷한 문제를 이미 해결했기를 바라며 빠르게 검색해 보았습니다. 제약 조건은 마이크로 들어오는 실시간 오디오를 처리할 만큼 모델이 빨라야 한다는 것이었습니다. 레이블이 붙은 데이터도 많지 않았기 때문에, 아주 작은 데이터셋으로 파인튜닝할 수 있는 "오디오 분야의 ImageNet" 같은 네트워크를 찾고 있었습니다. Google의 Yamnet이 이 조건들을 어느 정도 충족하는 것 같아 선택했습니다.
Yamnet
Google의 설명은 다음과 같습니다. "YAMNet은 AudioSet-YouTube 코퍼스를 기반으로 521개의 오디오 이벤트 클래스를 예측하는 사전 학습된 심층 신경망이며, Mobilenet_v1 깊이별 분리 합성곱(depthwise-separable convolution) 아키텍처를 사용합니다." Mobilenet_v1을 사용하므로 충분히 빠를 가능성이 높고, 대규모 데이터셋으로 사전 학습되어 있다는 점은 더욱 좋습니다.
Google의 AudioSet-YouTube 데이터셋도 그 자체로 흥미롭습니다. YouTube 클립 속 오디오로 만들어졌으며, YouTube 영상 내 시간 위치를 가리키는 .csv 파일로 내려받거나, VGG 스타일 아키텍처가 출력하는 128비트 특징 벡터로 내려받을 수 있습니다(여기 참조).
이 데이터셋에는 이미 기차와 관련된 여러 카테고리가 있었지만, 제 데이터셋에서의 정확도는 충분하지 않았습니다. 그래서 yamnet의 출력 위에 추가 네트워크를 올려 파인튜닝하기로 했습니다.
여러분의 데이터가 521개 클래스에 해당한다면, yamnet의 출력을 그대로 사용해 아예 학습 없이 해결할 수도 있습니다.
YouTube 오디오 데이터셋
학습 데이터 만들기
컴퓨터 마이크로 짧은 오디오 클립을 녹음하고, 양성(기차 경적)과 음성(그 외 모든 소리)으로 레이블을 붙였습니다. 최종적으로 짧은 클립 약 200개가 모였습니다. 많지는 않지만 파인튜닝에는 충분해 보였습니다.
yamnet 모델은 0.96초 길이의 윈도우 단위로 오디오를 처리하므로, 녹음을 그 길이의 조각으로 잘랐습니다. 각 조각을 yamnet에 통과시켜 1024차원 임베딩 벡터를 얻었고, 이를 입력으로 삼아 그 위에 올린 간단한 분류기를 학습시켰습니다.
결과
최종 모델은 놀라울 만큼 잘 동작합니다. 높은 정확도로 기차 경적을 실시간 감지할 수 있습니다. 오탐은 드물고, 하루 동안 발생하는 기차 경적 이벤트 대부분을 잡아냅니다.
저렴한 USB 마이크를 연결한 Raspberry Pi에서 계속 실행하며 모든 감지 결과를 데이터베이스에 기록하고 있습니다. 이 데이터에서 기차가 동네를 지나는 시간대에 관한 흥미로운 패턴이 보입니다.
실시간 감지 결과는 BywaterTrain.com에서 확인해 보세요!
코드
학습 코드와 모델 아키텍처는 GitHub에 공개되어 있습니다: github.com/laanlabs/train_detector
자동차 경보음, 공사 소음 등 추적하고 싶은 어떤 소리든 이 접근 방식을 자유롭게 응용해 보세요!
Laan Labs와 함께하기
컴퓨터 비전 및 AI 개발
개념 증명부터 상용화까지, 기기 내와 클라우드에서 동작하는 맞춤형 컴퓨터 비전 및 머신러닝을 제공합니다.
이 글 다운로드
오프라인에서 읽을 수 있는 마크다운 원본을 받으십시오

