从 GelSight 图像到法向力,一页讲完
无 marker gel,无 F/T 传感器,没有一帧来自我们平台的训练数据。 一条只有一个拟合参数的物理管线。
↖ 评测结果 总览(英文) 动作变换 English管线——六步
nnmini):三色照明使 颜色→法向 可逆后处理:只在 fresh 触觉帧上做 3 点中值(逐行滤波会把重复行里的坏值数三次)。 单帧尖峰从 4–8% 降到 ≈0。
验证
管线在三个带力标注的数据集(FEATS、FoTa cnc_Mini、GlowTact)上验证,并与两个神经网络估计器同帧对比——每个数据集的预测 vs 真值散点图都在评测结果页。一句话版:物理方法在所有域 0.43–0.74;每个网络在自己的 gel 域 0.90+,出域即塌。
用真值驱动的优化
cnc_Mini 的力标签把管线的弱点变成了可测量的缺陷,依次修复 (每一步都在留出集上验证):
| 步骤 | 驱动它的证据 | ρ(留出 val) |
|---|---|---|
| 基线(体积,逐集零图) | — | 0.34 混合 |
| + 散布按压的中位数零图 | 2686 帧里只有 4 帧真无接触;最低力参考帧带着 1.7 N 的既有接触 | ≈ 不变(零图不是瓶颈) |
| + 照明平场归一 | 力拟合残差与接触位置相关(|ρ| 达 0.6);按探头×象限条件化 ρ 0.45→0.55——渐晕在调制深度 MLP 的增益 | 0.44 混合 |
| + 边缘过滤(接触质心距边 > 3 mm) | 贴边按压处渐晕最陡,印痕还会出传感器边界 | 0.65(探头中位 0.64) |
体积还是最大深度?实证裁决:体积家族胜出(δ1.5 加权 0.65、 纯体积 0.63)优于最大深度(0.63),明显优于接触面积(0.35);3 特征小线性模型 ρ 持平 但 MAE 减半(0.61 N)。天花板也要认识:连 CNC 自己的指令压深在探头内也只有 ρ 0.78–0.88——同样深度下力确实随纹理和位置变化。
图库
20 个图像样本(原图 | 压入图 | 3D 重建 | 预测 vs 真值力) 与 10 个 React 片段(触觉 | 实时深度 | 力曲线):浏览完整图库。
GelSight Mini 上 NN 与 model-based 谁对比过?
没有找到公开发表的正面对比。 文献分成互相引用但不互相 benchmark 的两个阵营。 Model-based:marker 位移 × 弹性理论 (Yuan 2017)、 光度立体高度图 + 多项式拟合、逆有限元 (GelSlim, Ma 2019)。 学习类(专门在 Mini 上): CANFnet(F/T 标注,仅法向)、 FEATS(FEA 标注,3D 分布)、 FeelAnyForce(20 万 ATI 标注)。 它们都只定性地论证 NN 优于物理方法——FEA 太慢、线性弹性抓不住弹性体非线性—— 但论文里对比的 baseline 全是其他网络,没有物理管线。
因此我们的 FEATS 实验算是少数直接对比数据点之一:物理管线只用一个拟合标量、 零训练帧,达到 ρ 0.70–0.85;NN 在域内能到亚牛顿 MAE,但出了自己的 gel 就失效 (FEATS 在我们的无点 gel 上完全无响应)。这是可移植性与域内精度的取舍—— 选哪个取决于你能否在自己的传感器上采标注。