“天才少年”稚晖君「钢铁侠机械臂」学会用AI视觉抓螺母，训练到部署仅需2小时
共 1146字，需浏览 3分钟
·
2021-11-26 20:43
大数据文摘授权转载自机器人大讲堂
还记得一个半月前火爆全网的钢铁侠机械臂Dummy吗？
就是出自华为天才少年“稚晖君”之手，能给葡萄缝针的那个！
在厕所远程遥控、实时完成！
这台如同《钢铁侠》里一样强悍的机械臂Dummy，让不少业内人士看完直呼好强，视频一出，弹幕再次被网友刷疯，纷纷表示：
之前的视频中，Dummy机械臂实现了7种交互方式，不过这还不够，时隔一个半月，稚晖君的「钢铁侠机械臂」系列又更新了！
加上AI视觉，2小时学会抓螺母
Dummy再次出现，又给我们带来了什么惊喜呢？
这次，稚晖君用Dummy做了个AI视觉抓取demo，让机械臂自己去抓取螺母。
将三个螺母放在白纸上，Dummy精准地识别到了螺母的位置，利用灵活的力反馈夹爪，抓取并放在目标位置上。
好不容易放上去的螺母又被稚晖君拿下来了，行吧，那就再抓一次。
机械臂：“怎么又拿下来了？玩我是吧？”
稚晖君介绍，目前用Dummy做了个简单的AI视觉抓取demo，从模型训练到部署只花了2个小时。
后面会把迁移学习功能加入上位机Dummy Studio中，最终想实现的效果就是，可以用少量数据标注就自动生成端到端的模型来检测自定义物品。
同时，可以用图形化的方式调用各种算法模块，配合后面的Dummy青春（低成本）版，大家应该可以用来做很多有趣的事情。
表面上看起来是电子和机械，背后全是算法和数学
这款机械臂从里到外全部由稚晖君一人完成，耗时4个半月，其复杂与困难程度可想而知，光是结构设计图就画了150个版本：
解决了机械臂的电机、驱动器、减速器三大硬件部分后，更重要的是它的“灵魂”——控制、算法和数学等。
控制器相当于机械臂的「小脑」，用来操控机械臂的动作、来实现各种功能。
AI视觉算法相当于让机械臂“长了双眼睛”，让机械臂能够看见、并操作需要完成的任务。
在交互上，稚晖君也有自己的想法，“我想要打造的机械臂，是具备多种交互方式的。”
机械臂实现了7种交互方式，从最简单的USB串口命令控制机械臂：
到图形化上位机傻瓜式拖拽交互：
再到AR，结合增强显示技术，实现这样的效果：
最炫酷的是坐在厕所里，就能利用手势远程操控机械臂给葡萄做一场手术！
正如视频中稚晖君自己总结的那样：“这个项目表面上看起来是电子和机械，其实背后全是算法和数学。”
网友开玩笑称：
也不是没有这个可能嘛。
【视频链接】
