SO-101 #7 ペット化と VLAについて。

ロボットを言葉で操作することをやってみたかったので、 作ってみました。

言葉の認識ができなかったり、言われた物が検出できなかったり、 物が見えてもリーチする姿勢の計算ができなかったりすると、 首を横に振る仕組みになっています。

ところで、SO-101のユーザーのみなさん、 VLAモデルは試されているでしょうか。 カメラ画像とプロンプトを入力として、ロボットの行動を出力するという、 フィジカルAIでは一番ホットで興味深々なところかと思います。

そしてなんと、 Phisical Intelligence社の PI0.5がHugging Faceから使えますね。しかし、個人で動かすにはちょっとサイズが大きめです。

ところが、小さいサイズでSo101のデータで学習させてある、 SmolVLAというモデルも準備されていて、 自分はこちらから試しています。

しかし、やってみるとなかなか難しいです。

まず思うようには動かないのですが、 そこから、学習データとプロンプトをどう改善するのか、 が手探りになってしまうところが一番つらいところです。

そこで今回はVLA使わずに、 VLAっぽいことを音声認識、言語処理、物体認識、逆運動学を使って、 実装してみました。 トレーニングデータの作成や学習などは一切使っていないです。

このくらいの制御だったら、 こういったこれまでどおりの方法の方が、確実に動いてくれるのでよい感じがします。