视频融合在遥操作机器人系统中的应用
加入技术交流群
1 系统总体结构
针对以上情况，本文提出采用建立标准坐标系使仿真机器人和反馈视频在同一界面融合的方法，仿真模型预演作业任务而反馈视频则跟踪其轨迹进行作业，通过两者对比及时发现机器人作业情况，一旦越界违规立刻停止。操作者也能根据两者的比较了解现场环境，如出现障碍物或机器人伤人事件时，立刻做出下一步命令以避免危险发生。系统总体结构如图1所示。具体工作流程：摄像头采集真实机器人的视频数据传送到服务器端图像采集卡的静态内存中对其进行H.263压缩，视频数据压缩后经网络传输送到客户机端。客户机对数据进行解压、还原、显示、在仿真模型界面显示视频使两者融合，同时客户机实现操作界面程序编写。操作界面包括视频融合模块、视频处理模块和控制模块。视频融合模块对视频进行相应的坐标变换后使其同仿真机器人在一个界面上重合显示。视频处理模块包括视频放大、视频缩小、视频保存、打开视频、视频截图、存位图、存JPEG图、打开位图、打开JPEG图等功能。仿真三维立体模型采用3DSMAX建立，在OPENGL编程环境下对其进行相应的绘制及控制。反馈视频数据经压缩、传输、解压、相应的坐标变换及比例缩放后在客户端显示。服务器完成视频采集、压缩、存储、传输。客户机完成仿真模型控制、解压、显示视频，以及对视频进行相应的放大、缩小、截图、保存。由于网络传输存在延时，而且这种延时除了传输指定距离所需的固定延时及指令执行延时外，还有一些随机扰动延时，如果这种延时不能够及时发现，操作者根据视频反馈会做出错误判断。根据这种情况在客户端绘制接收数据字节曲线，可形象直观地观察到网络状况对视频传输的影响，如图2所示。
控制模块如图3所示，包括每个关节的启动、停止按钮、速度输出及速度变量输出显示。
2 仿真模型建立及视频融合实现
2.1 通信建立与视频传输
网络通信分为同步方式和异步方式。同步方式是发送方不等接收方响应，便接着发下一个数据包的通信方式；异步方式是发送方发出数据后，等收到接收方发回的响应，才发下一个数据包的通信方式。本系统开发的是客户端/服务器(C/S)结构的软件，该软件是异步非阻塞模式。此模式的优点是既可以同步执行，也可以重叠执行。图像在网络中传输时，不可避免地要牵涉到传输协议的问题。TCP/IP是一组协议，其中底层的协议TCP和UDP对于图像的传输起着至关重要的作用。TCP是面向连接的，即在端与端的通信中，TCP协议建立一条端与端之间的虚电路。UDP是一种面向无连接的，它取消了重传校验机制，能够达到很高的通信效率，很适合于可靠性要求不高的数据传输。由于本机器人系统对视频的丢帧情况要求不高，故采用客户/服务器模式的UDP协议方式。视频传输采用UDP传输，建立Socket类直接传输图像数据，客户端调用自写show函数在OPENGL编程环境下绘制反馈视频，实现视频再现。系统中，使用MFC来开发通信程序及操作界面。这是因为MFC主要是基于窗口和文档的应用软件编程，它集成了大量的数据和方法，将许多烦琐的任务，如应用程序初始化、文档处理和磁盘I/O封装起来，为使用者的编程带来了巨大的方便。
评论