SO-101では、模倣学習やVLAを試すことができますが、 実際にやってみると、なかなか思うように動かないこともあります。

だとすると、 逆運動学や画像認識を使った従来の制御方法で動かした方が、 やりやすい場面も多々あるでしょう。

ここでは、ARマーカーに追従させるというテストを試してみました。 画角にはありませんが、ロボットの上側にリアルセンス(カメラ画像+深度情報)を設置して、 そこで、ターゲットのARマーカーを検出しています。

トップカメラからの画像はこのような感じです。

So101_AR追従_Topカメラ