触觉对于机器人的灵巧操作十分重要，近年来凝胶观测（GelSight）传感器由于低成本和丰富的触觉信号吸引了基于学习的机器人领域研究人员的大量关注。GelSight被用于USB线缆插入、掷骰子、物体抓取等领域的研究。

GelSight传感器在基于学习的方法下工作良好主要是由于它可以输入高分辨率的触觉图像，从中可以获取包括目标几何外形、表面纹理、法向量、剪切力等丰富的特征，这些信息对于机器人的控制十分重要。

触觉图像可以利用标准的计算机视觉卷积网络进行处理，由此出现了一系列广泛的研究成果：Calandra等人基于GelSight数据利用自监督的方法训练了抓取成功分类器的模型；Tian等人则提出了基于视频预测的控制算法Visual Foresight，使得机器人可以基于纯粹触觉图像来掷骰子；Lambeta等人还提出了一种基于GelSight图像的强化学习算法应用于手工操作。

但将GelSight传感器应用于实际工作中还受限于尺寸和视场问题。目前的GelSight传感器都只有单个方向具有传感能力，同时尺寸较大不方便在实际操作中使用。在这篇文章中，研究人员提出了一种更为紧致的全向传感器，可以实现像人类手指一样的全方位感知，为感知运动学习提供了新的思路。

GelSight传感器

下图显示了先前的触觉传感器和目前的新型传感器对比图，左图是标准的GelSight传感器，基于webcam来捕捉硅胶外壳形变的高分辨率图像，内部由不同颜色的光照射，为触觉提供了丰富的彩色图像。可以看到其视野只有朝向外部的一个方向，并且传感器的尺寸较大表面较为平滑，感受野较小，分辨率较低（～400x400 pixels），不适宜较小物体的触觉感知。而商用的OptoForce力传感器则只能提供比较单一的力矢量，无法满足精细化的操作要求。

GelSight标准传感器和本文提出的OmniTact传感器的比较

OmniTact Sensor

而OmniTact的设计则克服了这些确定，它配备了多个方向摄像头和高分辨率的感知结果，同时弯曲硅胶曲面包裹的传感器更为紧凑适应性更好（上图中右侧灰色矩形代表了摄像头，橙色线则表示感知视野）。与GelSight相似，OmniTact也利用了嵌入在硅胶外壳内的摄像头来捕捉形变信息，可以提供包括剪切－法向力、目标位姿、几何形状、材料特性等丰富的信息。

OmniTact的特点在于使用了多个相机同时实现高分辨率和多方向感知能力，制作成像手指一样小巧外形的传感器可以被集成到夹爪或者机器手上。OmniTact利用了内窥镜中的微型相机来保证了传感器的小型化，并将硅胶直接灌注在了相机表面。下图显示了传感器获取的接触图案：

上图显示了不同目标的触觉图样，下图显示了不同角度在齿条上的触觉图样。

设计创新

OmniTact的目标在于尽可能的紧凑，研究人员使用了常用于内窥镜中大视场短焦距的微型相机，尺寸为1．35x1．35x5mm焦距为5mm，安放于3D打印的支架上。下图显示了垂直方向和水平方向上的横截面图，其中浅灰色代表了每个相机的视野，在减小盲区的基础上实现了较小的传感器直径（30mm）。

垂直和水平横截面视图，浅灰色代表（相机）传感器感受范围，垂直方向达到了270度，水平方向则达到了360度全向（仅仅有少许的盲点）。

插插座任务

为了展示这种传感器的能力，研究人员选择了具有挑战性的插插座任务，仅仅依靠触觉传感器信息将充电头插到墙上的插座里。这一任务既需要定位插头相对于夹爪的位置，又需要定位夹爪相对于墙上插座的位置。

图中显示了实验过程以及触觉传感器侧向和顶部触觉图像

为了学习插入任务，研究人员使用了简单的模仿学习算法，基于OmniTact触觉图像来估计将插头插入插座的末端位移。在仅仅使用键盘控制100次训练后，模型就能很好地完成任务了。

研究人员认为更为紧凑、全面、清晰的视觉传感器对于通用机器人任务和各领域的遥操作等应用具用重要意义，未来将继续探索小型化和低成本化的传感器，使其适应于更大的应用范围。