メインコンテンツへスキップ
足データセットの生成

足データセットの生成

合成データで、足の姿勢推定のためのニューラルネットワーク学習コストを削減

footwearsynthetic-datamachine-learningaugmented-reality
Will Perkins
Will Perkins
2019年10月12日

ビジネス上の課題

最近の拡張現実アプリケーションで、Laan Labs は人の足の位置と向きを推定し、ユーザーにリアルな靴を表示する必要がありました。足の姿勢をリアルタイムで推定するというコンピュータビジョンの課題を解くために、Laan Labs は最先端のニューラルネットワークを用いました。汎用性の高い機械学習モデルですが、大量の学習サンプルが必要になるという厄介な特性があります。

画像データの制作には非常に大きなコストがかかります。手の込んだ撮影セッション、モデルの手配、特殊な小道具のレンタルなどが必要です。画像データのアノテーションは手間がかかり、ミスも起こりがちです。

Laan Labs は、スマートフォンのユーザーが遭遇しうる現実の条件(さまざまなカメラアングル、照明条件、靴、背景の風景)を代表する、アノテーション付きの画像を10,000枚以上集める必要がありました。


合成データなら、画像とアノテーションを無数のバリエーションでプロシージャルにレンダリングできます


アプローチ

Laan Labs は合成データを活用するアプローチを取り、正確なグラウンドトゥルースのラベルが付いた、唯一無二のフォトリアルな画像を生成するソフトウェアを開発しました。

アーティストが制作した3D足モデルと、再構築した3D足モデルを組み合わせて、3D環境の元になるシードとしました。画像のアノテーションは3Dシーンから直接計算されます。カメラアングル、照明、背景画像、ポストプロセス効果、足の姿勢、靴など、シーンのさまざまな要素をパラメータ化しました。パラメータ化した3Dシーンにより、クラウドコンピューティングを使って、画像とアノテーションを無数のバリエーションでプロシージャルにレンダリングできます。

足のレンダリング 1足のレンダリング 2

ビジネス価値

合成データを活用することで、Laan Labs は何千足もの靴を調達する必要がなくなり、膨大な撮影時間も節約できました。人手によるアノテーションが不要になるため、数百時間の作業時間を削減できます。さらに、画像のラベルが正しいと保証されることで、プロジェクト全体から大きな誤りの原因が取り除かれます。

Laan Labs は合成データを使って画像データセットを構築し、時間とコストを節約しました。

使用技術

合成データ、コンピュータビジョン、フォトグラメトリ、Unity、Houdini、Python

Laan Labs と協業する

コンピュータビジョン・AI開発

概念実証から本番運用まで、オンデバイスでもクラウドでも対応するカスタムのコンピュータビジョンと機械学習を提供します。

この記事をダウンロード

オフラインで読めるMarkdownソースを入手できます