ロボットを言葉で操作することをやってみたかったので、 作ってみました。 言葉の認識ができなかったり、言われた物が検出できなかったり、 物が見えてもリーチする姿勢の計算ができなかったりすると、 首を横に振る仕組みになっています。 ところで、SO-101のユーザーのみなさん、 VLA […]
SO-101では、模倣学習やVLAを試すことができますが、 実際にやってみると、なかなか思うように動かないこともあります。 だとすると、 逆運動学や画像認識を使った従来の制御方法で動かした方が、 やりやすい場面も多々あるでしょう。 ここでは、ARマーカーに追従させるというテストを […]
ロボットの基本動作は、ピック＆プレースですが、 ピックする物の位置が決まっていないとカメラを使わないといけないので難しいです。 しかしいったん物をつかんでしまえば、プレースは決まった動作で行えます。 そこで、ピックは模倣学習（ACT）使って、 プレースは、古典制御（決まった動作を […]
通常のロボットのプログラムのように、キーとなる姿勢を登録し、その姿勢を連続で再生するという方式で、お片付け動作をやってみました。 https://youtube.com/shorts/pNyVH6XyHjY やったこと SO100 ロボットアームに、4つのキャラメルを順番にピック […]
前回収集したデータセット MakotoIto/so101_placeeraser8 を使って、ACT ポリシーの学習を Google Colab（ブラウザ）で試した記録。 ポリシーモデルの選択 LeRobot で試せる主なポリシーモデルを以下にまとめました。 パラメータ数と Co […]
LeRobot（HuggingFace 製のロボット学習ライブラリ）を使って、SO-101 ロボットアームでテレオペレーションデータを収集するまでの忘備録。 参考: 公式ドキュメント Imitation Learning on Real-World Robots — LeRobo […]
Hugging Faceが主導するオープンソースのAIロボットプロジェクト「LeRobot」のロボットアーム、SO-101を組み立て、テレオペレーション（遠隔操作）で動かしてみました。 購入したのは、Pro版というバージョンで、ロボットのトルクが強い方です。フレームは3Dプリント […]
「M5Atomで作る歩行ロボット」という本の犬型ロボットの製作記です。 前回で配線をしましたが、配線がボディに入りませんでした。特にバッテリーの大きさは想定外に大きかったので、確実に無理でした。そこでボディは独自設計で作りました。 設計は、Fusion360を使いました。 全体図 […]
「M5Atomで作る歩行ロボット」という本の犬型ロボットの製作記です。 サーボをバッテリーを使ってマイコンM5Atomで動かすテストをしました。 バッテリーにソケットを接続 6Vバッテリー（Gecoty Ni-MHバッテリー Amazonで購入) には、充電用のUSBケーブルもつ […]
「M5Atomで作る歩行ロボット」という本の犬型ロボットの製作記です。 本の内容からそれてしまっていますが、Ubuntuが必要なROSを使わずに、Windowsで完結するシステムにしたいと考え、ヌンチャクとPCの通信をUDPで行おうと思っています。 ここでは、Wiiのヌンチャクの […]
