ニュース
PFNと鹿島開発の自律型清掃ロボット、建築現場へ。ディープラーニングで周辺環境を認識
2021年4月19日 09:50
鹿島建設株式会社(鹿島)と株式会社Preferred Networks(PFN)は、建築現場で使用するロボットが現場内を自律移動するためのシステム「iNoh」(アイノー)を共同開発したと3月に発表した。
「iNoh」を使うことで移動ロボットは、屋内などGNSS(全球測位衛星システム)の活用が難しかったり、人による事前設定をしなくてもリアルタイムに自己位置や周辺環境を認識し、日々刻々と状況が変化する現場内を安全かつ確実に移動できるようになるという。
両社は今後、「iNoh」を巡回や資材搬送などを担う各種ロボットに実装することで、建築現場へのロボット導入を促進していくとしている。
今回、「iNoh」を搭載したAI清掃ロボット「raccoon」(ラクーン)が首都圏の建設現場で使われている様子を取材することができた。レポートする。
AI清掃ロボット「raccoon」と自律移動システム「iNoh」
まず、AI清掃ロボット「raccoon」(ラクーン)について。「raccoon」は本体の操作画面から最短3タッチの指示で、自律移動しながら、コンクリート床面にあるゴミや粉塵を清掃するロボット。
本体の大きさは長さ1,205mm、幅776mm、高さ816mm。重さは約80kgで、見た目よりも軽い。ベースは既製の手押し掃除機で、それに車輪やモーター、制御部をつけた。底面にゴミを回収するためのバケツがあり、容量は37リットル。一般的な扉枠のサイズである900mmの枠内に収まるようになっており、清掃機としては標準的な大きさだという。
バッテリは定格容量9.3Ah(413Wh)のリチウムイオン電池を2台並列で使っている。連続稼働時間は400W想定で約120分。500Wのフル稼働で約100分。充電時間は約1時間(バッテリ残量10%を80%にする時間)。10mm以上の段差を検知し、12mmまでの段差ならば自走で乗り越えることができる。
おもなセンサー類は前方にLivoxの3D LiDAR(レーザーセンサー)、魚眼レンズカメラ、両脇に足元を見るためのIntel Realsense、正面に北陽の2D LiDAR。
これに加えて物理的接触を検知するバンパーセンサーが前後、障害物を検知するための超音波センサーが前方3、後方1。そして段差検知用の赤外線センサーが5つグルっとつけられている。
IMU(慣性センサー)は3D LiDARの内蔵IMUを用いている。操作盤は本体上面に配置されており、スタート設定のほか、ジョイスティックを使って手動でも動かすことができる。
自律移動やディープラーニングのための処理は、ロボット内部に搭載された粉塵対応の産業用PCで行なっている。SLAM(同時に地図作成と自己位置推定を同時に行なう処理)処理はCPUで、ディープラーニング処理はGPUで行なっている。
今後最適化していく予定だが、現状のスペックは、CPUがCore i9-9900(8コア/16スレッド、3.1GHz、キャッシュ16MB)、GPUはGeForce GTX 1660 SUPER。ログはLTE経由で収集されている。
掃除方式はスイーパー方式で、底面と側面のブラシでゴミを取り込む。清掃幅は620mm。2つの清掃モードを搭載している。現場内の地図や作業員の指示がなくても、自ら清掃可能エリアを探索しながら自律清掃する「おまかせ清掃モード」と、清掃可能エリアの地図を自動作成後、連携する施工図面上から清掃領域の指定ができる「領域清掃モード」の2つだ。
マップなしでも動作できるが、運用時はまず事前マップをロボットを使って作成させ、2次元図面と位置合わせを行なう。
ロボットを動かすときにはどのフロアなのかを最初に指示し、それに合わせてロボットは事前マップを読み込む。動作中は事前マップを更新しながら動作する。
事前マップがなければマップを作りながら清掃を行なう。基本的には「どのフロアにいるか」という指示だけ出して、スイッチオンすれば掃除ができるというものを目指しているという。
清掃面積は2時間で200〜400平米とされている。なお「raccoon」を首都圏の複数現場に試験導入した結果では、100分の連続稼働で約500平米のエリアを清掃できたという。これにより両社は自律移動システム「iNoh」の実用性を確認したとしている。
自律移動のための機能はすべてPFNの自社開発
清掃ロボット「racoon」の頭脳である、自律移動システム「iNoh」のおもな機能は以下の3つ。
- 非GNSS下でも使えるマルチセンサーによる自己位置推定および3次元空間マッピング(SLAM技術)
- ディープラーニングを使った障害物や高所作業車などの移動物、立入禁止エリア、作業員などの周辺環境認識
- マーカー設置や人による事前設定を不要とする自己位置・周辺環境認識、ルート生成によるリアルタイムナビゲーション
開発にはロボット開発で広く使われているミドルウェアであるROS(Robot Operating System)も用いられているが、既存のライブラリやパッケージを用いているのではなく「自律移動のために必要な機能はすべて自社で開発している」とのこと。
具体的には、自己位置推定機能(オドメトリ、ローカリゼーション、そのためのマップ生成)、環境認識機能(セグメンテーション、深度推定)、そしてそれらの処理結果やセンサー情報を使ったナビゲーション機能は、すべてPFNの自社開発だという。
「自己位置推定機能はC++, 環境認識機能はONNX(Open Neural Network eXchange。マシンラーニングモデルのフォーマット)、ナビゲーション機能はROSで開発されています。すべて自社で開発することで各機能を各プロセスで上手に配置し、リアルタイムのロボット制御を実現しています」(PFN エンジニアリングマネージャー 猿田貴之氏)。
なお「iNoh」(アイノー)の名前の由来は、「I know」という意味と、「伊能忠敬」をかけたもの。PFN広報の秋山知之氏が、ロボットが地図を作りながら動き回ることから江戸時代に日本地図を作成した伊能忠敬を連想して名づけたとのことだった。
鹿島とPFNが共同研究した経緯
鹿島は、2018年に建設就業者不足への対応や、働き方改革の実現に向けて、建築工事に関わるあらゆる生産プロセスの変革を推進し、生産性向上を目指す「鹿島スマート生産ビジョン」を策定している。生産性向上や働き方改革の実現に向けて、ICTを活用したロボット技術の開発と現場管理手法の革新、建築現場でのロボット活用を進めている。
一方PFNは、自動運転やロボットの自律移動に必要なディープラーニングによる高度な物体認識・制御等の技術を持っている。そこで鹿島とPFNは、これらの課題解決に取り組む共同研究を2018年に開始した。
もともとは両社のなかのメンバー間で「何か一緒に」、「一番難しいところをやりましょう」というかたちで話がはじまり、共同研究がはじまったのは2018年から。本格的なロボット開発がはじまったのは2019年5月からだという。
両社は現場の画像、3Dデータ、図面情報の収集およびディープラーニング、コストを含めた実用的なセンサー構成の検討、現場での試行実験を積み重ね、「iNoh」の開発にいたった。
建築現場ならではの難しさをPFNの技術で克服
今回のロボットの特徴は、移動ロボット技術のSLAMと経路生成、ディープラーニングによる物体認識などを組み合わせた、実際の建築現場で動かせる掃除ロボットという点にある。
床面のセグメンテーションとデプス推定にはディープラーニングが用いられている。鹿島建設とのすり合わせにより、大きさや資材の種類などに応じてアノテーション定義を決めて学習データを作成し学習することで、回避すべき障害物は障害物として認識する一方、それ以外のものはゴミと判断＝走行可能領域として走行、フロア全体を掃除する。
建築現場は、工事の進捗に応じて作業場所や周辺状況が刻々と変化する。また屋内での作業が多く、GNSSによる位置計測が難しい。このため、建築現場内におけるロボットの自律移動の実現には、そのような状況下でも開口部、資機材、高所作業車などの移動物や障害物、立入禁止エリア、さらには作業員を安全かつ確実に回避できるようにしなければならず、実用化には多くの技術的課題があったという。
SLAMも「建築現場でも高ロバスト・高頻度で推定することができるSLAM」となっているという。「魚眼カメラ・LiDAR・IMUの情報を高頻度で同時最適化をしてSLAMを実施しています。これにより建築現場で起きるような、SLAMにとって難易度が高い、照明条件の急な変化、周囲を壁に囲まれるような状況、回転動作などに対してもSLAMをロバストに実行することが可能になっています」(PFN 猿田氏)。
SLAMのハイパーパラメータの最適化には、PFNが開発しているハイパーパラメータ自動最適化フレームワーク「Optuna」と、建築現場のデータが用いられている。
なおデータ収集は現在も行なわれており、「racoon」自体だけでなく、ほかの移動台車、手押し台車などを使って、都内10くらいの実際の建築現場で行なわれている。同じ鹿島が手掛けている現場であっても、現場ごとのルール、資材・機材、そして環境の違いの幅がかなりあり、その多様性を吸収する必要があるという。
ロボットは障害物を見つけると、それを回避しつつ、床全体を塗りつぶすように移動して掃除を行なう。
「障害物回避のための距離値の推定を広い範囲で行なうために、魚眼カメラを用いた単眼距離推定を行なっています。具体的には、『フレームt』と『フレームt+1』の画像を使い、その再構成誤差から学習する自己教師学習と、LiDARを用いて建築現場で取得した教師データを用いた『教師つき学習』をハイブリッドにして学習しています。また魚眼カメラを用いているため、カメラモデルをEUCMモデルに拡張しています。これにより広い視野範囲の距離を精度よく推定することができるようになっています。自己教師学習には10万枚以上の建築現場の画像を用いています」(PFN 猿田氏)。
前述のようにデータの収集は10現場以上で行なわれており、数万枚におよぶ。それにアノテーションをつけて教師データとして、ディープラーニングによるセグメンテーション(意味的領域分割)学習を行なっている。対象となっているのは魚眼カメラ画像とRrealsenseのデータ。PFNの技術を用いたネットワーク構造・パラメータ最適化も検討中のこと。
まとめると、建築現場の広い範囲の障害物をリアルタイムに検出するためにマルチセンサーを組み合わせて用いている。Realsenseはおもに足元を見ている。
魚眼カメラは前方の広い視野。なお3DLiDARは魚眼カメラ内の中心部の領域を高精度に取得する。2DLiDARは周囲の障害物を検知する。魚眼カメラ画像を使ったセグメンテーションと深度情報、Realsenseのセグメンテーションは、ディープラーニングで学習されたモデルによって推定されている。これによって、認識した物体のカテゴリに応じた障害物回避ができるという。
今回見せてもらったデモでは、ケーブルの色によってはケーブル回避がうまくいかないことがあった。障害物自体は認識したものの、通過可能と判断してしまっていたようだった。
ほかの現場で歩行可能エリアを床面に貼った色つきのテープで指示しているところがあり、おそらくはその学習の結果が悪影響をおよぼしてしまったのではないかとのことだった。今後、さらにデータを蓄積し、環境認識精度を継続的に向上させる予定としている。
建築現場への移動ロボット全体、さらに他分野展開も視野に
「racoon」はいま2台をテスト運用中。すでに「ある程度使える」と判断された現場もあったという。これまでにも鹿島では既存のロボット掃除機などを使って試してみたことはあったが、床面から少しだけ立ち上がっている配管にぶつかったりして、うまく動けなかったという。AGVも各種試したものの、「現場で実用レベルで動かすのは難しかった」そうだ。
自律移動機能をまず「掃除ロボット」から導入した理由は、ロボットが止まっても工程に影響がなく、また、大きな事故にはつながらないこと。搬送車では1tクラスを動かすため万が一があったらたいへんだが、掃除ロボットならばそれほど大きな影響は出ないため、まずは自律移動制御を清掃というアプリケーションで試した。
今後は今年度中に清掃ロボット「raccoon」を鹿島の建築現場に順次展開しながら、完成度を上げていく。まずは鹿島自体で使用し、将来的には作業員が簡単に扱えるものにする。実験ではもっと雑然とした場所で、仮設照明だけの薄暗い環境であっても良好に動けているという。「むしろ薄暗い時間帯のほうが照明変動がないため問題なく動ける」とのこと。
さらに自律移動システム「iNoh」を建築現場内で使われる巡回ロボットや資材搬送ロボットなどに搭載し、建築現場へのロボットの普及・展開を促進する。さらには、自律移動が求められる他産業のロボットへの展開も視野に入れて、「iNoh」のさらなる機能向上に取り組んでいくとしている。