CHARACTER INPUT METHOD, DEVICE AND TERMINAL BASED ON IMAGE SENSING MODULE
WIPO Patent Application WO/
Disclosed are a character input method, device and terminal based on an image sensing module. The method includes: acquiring motion trace information about and querying a pre-trained character model library according to the motion trace information, and converting the motion trace information into a corresponding character. The character input method, device and terminal based on an image sensing module provided in the present invention can meet the personalized demand of a user for a handheld terminal, and at the same time can realize rapid and accurate input of characters.
Inventors:
XIN, Jing (ZTE Plaza, Keji Road South Hi-Tech Industrial Park, Nansha, Shenzhen Guangdong 7, 518057, CN)
Application Number:
Publication Date:
05/30/2013
Filing Date:
05/04/2012
Export Citation:
ZTE CORPORATION (ZTE Plaza, Keji Road South Hi-Tech Industrial Park, Nansha, Shenzhen Guangdong 7, 518057, CN)
中兴通讯股份有限公司 (中国广东省深圳市南山区高新技术产业园科技南路中兴通讯大厦, Guangdong 7, 518057, CN)
International Classes:
G06F3/01; G06K9/00; G06K9/62
View Patent Images:
&&&&&&PDF help
Foreign References:
CNACNACNACNA
Other References:
GUO, KANGDE ET AL.: '3D Fingertip Tracking Algorithm Based on Computer Vision' JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT 15 June 2010, page 1017
Attorney, Agent or Firm:
CHINA PAT INTELLECTUAL PROPERTY OFFICE (2nd Floor, Zhongguancun Intellectual Property Building Block BNo.21 Haidian South Roa, Haidian Beijing 0, 100080, CN)
权利要求书
1、一种基于图像传感模块的字符输入方法，其特征在于，该方法包括： 获取对象指尖的运行轨迹信息；
依据所述运行轨迹信息查询预先训练出的字符模型库， 将所述运行轨 迹信息转化为相应的字符。
2、 如权利要求 1所述的基于图像传感模块的字符输入方法， 其特征在 于， 所述获取对象指尖的运行轨迹信息之前， 该方法还包括：
通过图像传感模块采集对象手势轮廓图像信息；
依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库， 获取匹配的手势轮廓模型；
依据所述手势轮廓模型进行对象指尖的跟踪。
3、 如权利要求 2所述的基于图像传感模块的字符输入方法， 其特征在 于， 所述依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型 库之前， 该方法还包括：
对采集到的对象手势轮廓图像信息进行二值化处理； 和 /或，
对采集到的对象手势轮廓图像信息进行图象锐化处理； 和 /或， 对采集到的对象手势轮廓图像信息进行图象平滑处理。
4、 如权利要求 2所述的基于图像传感模块的字符输入方法， 其特征在 于， 所述依据所述手势轮廓模型进行对象指尖的跟踪为：
将参考的手势轮廓模型的指尖粗定位的矩形区域映射到提取的对象手 势轮廓图像上， 获得对象手势轮廓图像的指尖位置所在的矩形区域；
对所述矩形区域内的手指轮廓进行等间距划分， 并计算每段手指轮廓 片段的边缘弯曲率；
获取边缘弯曲率最大的手指轮廓片段为对象指尖。
5、 如权利要求 1所述的基于图像传感模块的字符输入方法， 其特征在 于， 所述获取对象指尖的运行轨迹信息为：
依据卡尔曼滤波器进行对象指尖的跟踪预测；
从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息， 之后 平均每隔至少一帧采集一次对象指尖的实时坐标信息；
计算所述实时坐标信息与上一次坐标信息的切线角度^并依据所述切 线角度的变化获取对象指尖的运行轨迹信息， 其中， 所述切线角度 0的计算 为： 其中， 所述 (CJ 1)是指对象指尖在上一次 t-i时刻的坐标
信息， 所述 ， 是指对象指尖在实时 t时刻的实时坐标信息。
6、 如权利要求 1所述的基于图像传感模块的字符输入方法， 其特征在 于， 所述依据所述运行轨迹信息查询预先训练出的字符模型库， 将所述运 行轨迹信息转化为相应的字符为：
依据所述运行轨迹信息查询预先训练出的字符模型库， 并将所述运行 轨迹信息与所有的字符模型进行匹配；
获取似然值最大的字符模型为目标字符模型， 其中， 采用 Verbit算法 计算每个字符模型的似然值；
依据所述目标字符模型将所述运行轨迹信息转化为相应的字符。
7、一种基于图像传感模块的字符输入装置，其特征在于，该装置包括： 图像传感模块， 用于采集包含对象指尖的视频帧；
对象指尖运行轨迹信息获取模块， 用于通过图像传感模块采集的视频 帧获取对象指尖的运行轨迹信息；
字符转化模块， 用于依据所述运行轨迹信息查询预先训练出的字符模 型库， 将所述运行轨迹信息转化为相应的字符。
8、 如权利要求 7所述的基于图像传感模块的字符输入装置， 其特征在 于， 该装置还包括：
对象手势轮廓图像信息采集模块， 用于通过图像传感模块采集对象手 势轮廓图像信息；
手势轮廓模型获取模块， 用于依据所述对象手势轮廓图像信息查询预 先训练出的手势轮廓模型库， 获取匹配的手势轮廓模型， 使得对象指尖运 行轨迹信息获取模块依据所述手势轮廓模型进行对象指尖的跟踪， 获取对 象指尖的运行轨迹信息。
9、 如权利要求 8所述的基于图像传感模块的字符输入装置， 其特征在 于， 该装置还包括：
图像处理模块， 用于对对象手势轮廓图像信息采集模块采集到的对象 手势轮廓图像信息进行如下处理：
对采集到的对象手势轮廓图像信息进行二值化处理； 和 /或，
对采集到的对象手势轮廓图像信息进行图象锐化处理； 和 /或， 对采集到的对象手势轮廓图像信息进行图象平滑处理。
10、 如权利要求 8所述的基于图像传感模块的字符输入装置， 其特征 在于， 所述对象指尖运行轨迹信息获取模块依据所述手势轮廓模型进行对 象指尖的跟踪为：
将参考的手势轮廓模型的指尖粗定位的矩形区域映射到提取的对象手 势轮廓图像上， 获得对象手势轮廓图像的指尖位置所在的矩形区域；
对所述矩形区域内的手指轮廓进行等间距划分， 并计算每段手指轮廓 片段的边缘弯曲率；
获取边缘弯曲率最大的手指轮廓片段为对象指尖。
11、 如权利要求 8 所述的基于图像传感模块的字符输入装置， 其特征 在于， 所述对象指尖运行轨迹信息获取模块通过图像传感模块采集的视频 帧获取对象指尖的运行轨迹信息为：
依据卡尔曼滤波器进行对象指尖的跟踪预测；
从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息， 之后 平均每隔至少一帧采集一次对象指尖的实时坐标信息；
计算所述实时坐标信息与上一次坐标信息的切线角度^并依据所述切 线角度的变化获取对象指尖的运行轨迹信息， 其中， 所述切线角度 0的计算 为： 其中， 所述 (CJ 1)是指对象指尖在上一次 t-i时刻的坐标
信息， 所述 ， 是指对象指尖在实时 t时刻的实时坐标信息。
12、 如权利要求 8所述的基于图像传感模块的字符输入装置， 其特征 在于， 所述字符转化模块依据所述运行轨迹信息查询预先训练出的字符模 型库， 以将所述运行轨迹信息转化为相应的字符为：
依据所述运行轨迹信息查询预先训练出的字符模型库， 并将所述运行 轨迹信息与所有的字符模型进行匹配；
获取似然值最大的字符模型为目标字符模型， 其中， 采用 Verbit算法 计算每个字符模型的似然值；
依据所述目标字符模型将所述运行轨迹信息转化为相应的字符。
13、 一种终端， 其特征在于， 该终端包括权利要求 7至 12任一项所述 的基于图像传感模块的字符输入装置。
Description:
一种基于图像传感模块的字符输入方法、 装置及终端 技术领域
本发明涉及移动终端领域， 尤其涉及一种基于图像传感模块的字符输 入方法、 装置及终端。 背景技术
目前， 移动通信在进行着突飞猛进的发展， 由此， 人们对移动终端（例 如手机） 的人机交互功能的功能要求也随之越来越高。 手机作为人们日常 生活以及工作中必不可少的通讯工具， 目前也越来越多的向着智能化、 人 性化升级和发展， 以不断满足人们日益挑剔的个性化需求。
文字编辑和输入技术， 自从其诞生之日起便极大地改变了人们的通信 方式， 通过该技术， 人们可以编辑短信， 输入字符等。 目前， 对于字符的 输入方式有多种， 但鉴于多种字符输入方法都或多或少的具有一定的局限 性或缺陷。
最初， 字符（或称文本） 的输入是靠按键编辑的， 在编辑字符的过程 中， 需要利用大拇指不停的按键， 采用该方法， 用户需要不断的重复按键 动作， 输入效率较低， 且由于长期的按键， 严重时甚至会引发类似于 "拇 指炎" 健康问题， 极大地影响到用户的健康。
另外， 由于目前大多数的手持终端配置了电阻屏或电容屏， 在输入字 符时， 借助手指或手写笔在终端的屏幕上进行书写， 通过手指或手写笔与 屏幕之间的压力或电容感应进行字符的识别以及字符的生成， 从而输入相 应的字符。 但该方法需要用户的终端配置电阻屏或电容屏， 而没有配置电 阻屏或电容屏的手机则无法采用该方法进行字符输入， 因此该方法具有一 定的局限性。 除此之外， 还有一些手持终端通过控制传感器感应用户做出的各种动 作来达到字符输入的目的， 例如在用户佩戴了特殊手套的情形下， 通过传 感器进行目标跟踪， 检测用户做出的动作而进行字符输入； 或在用户使用 特殊装置的荧光笔的情形下进行目标跟踪， 检测用户做出的动作而同样的 达到字符输入的目的。 但是采用这些方法实现字符输入时， 都需要使得这 些可持终端额外配置相应的硬件， 从而使得其成本较高， 并且在进行字符 输入时由于需要使用额外的设备， 因此使得用户的使用极不方便。
为此， 如何提供一种个性化、 输入快捷化的字符输入方法便逐渐受到 了人们的普遍关注。 发明内容
有鉴于此， 本发明的主要目的在于提供一种基于图像传感模块的字符 输入方法、 装置及终端， 能够满足用户对于手持终端所提出的个性化需求， 同时还能实现字符的快捷、 准确的输入。
为了达到本发明的目的， 本发明采用以下技术方案：
一种基于图像传感模块的字符输入方法， 包括：
获取对象指尖的运行轨迹信息；
依据所述运行轨迹信息查询预先训练出的字符模型库， 将所述运行轨 迹信息转化为相应的字符。
优选地， 所述获取对象指尖的运行轨迹信息之前， 所述基于图像传感 模块的字符输入方法还包括：
通过图像传感模块采集对象手势轮廓图像信息；
依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模型库， 获取匹配的手势轮廓模型；
依据所述手势轮廓模型进行对象指尖的跟踪。
优选地， 所述依据所述对象手势轮廓图像信息查询预先训练出的手势 轮廓模型库之前， 该方法还包括：
对采集到的对象手势轮廓图像信息进行二值化处理； 和 /或，
对采集到的对象手势轮廓图像信息进行图象锐化处理； 和 /或， 对采集到的对象手势轮廓图像信息进行图象平滑处理。
优选地， 所述依据所述手势轮廓模型进行对象指尖的跟踪为： 将参考 的手势轮廓模型的指尖粗定位的矩形区域映射到提取的对象手势轮廓图像 上， 获得对象手势轮廓图像的指尖位置所在的矩形区域；
对所述矩形区域内的手指轮廓进行等间距划分， 并计算每段手指轮廓 片段的边缘弯曲率；
获取边缘弯曲率最大的手指轮廓片段为对象指尖。
优选地， 所述获取对象指尖的运行轨迹信息为：
依据卡尔曼滤波器进行对象指尖的跟踪预测；
从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息， 之后 平均每隔至少一帧采集一次对象指尖的实时坐标信息；
计算所述实时坐标信息与上一次坐标信息的切线角度 ^ ,并依据所述切 线角度的变化获取对象指尖的运行轨迹信息， 其中， 所述切线角度 ^的计算 为： ; 其中， 所述 (CJ 1)是指对象指尖在上一次 t-i时刻的坐标
信息， 所述 ( )是指对象指尖在实时 t时刻的实时坐标信息。
优选地， 所述依据所述运行轨迹信息查询预先训练出的字符模型库， 将所述运行轨迹信息转化为相应的字符为：
依据所述运行轨迹信息查询预先训练出的字符模型库， 并将所述运行 轨迹信息与所有的字符模型进行匹配；
获取似然值最大的字符模型为目标字符模型， 其中， 采用 Verbit算法 计算每个字符模型的似然值；
依据所述目标字符模型将所述运行轨迹信息转化为相应的字符。 一种基于图像传感模块的字符输入装置， 该装置包括：
图像传感模块， 用于采集包含对象指尖的视频帧；
对象指尖运行轨迹信息获取模块， 用于通过图像传感模块采集的视频 帧获取对象指尖的运行轨迹信息；
字符转化模块， 用于依据所述运行轨迹信息查询预先训练出的字符模 型库， 将所述运行轨迹信息转化为相应的字符。
优选地， 所述基于图像传感模块的字符输入装置还包括：
对象手势轮廓图像信息采集模块， 用于通过图像传感模块采集对象手 势轮廓图像信息；
手势轮廓模型获取模块， 用于依据所述对象手势轮廓图像信息查询预 先训练出的手势轮廓模型库， 获取匹配的手势轮廓模型， 使得对象指尖运 行轨迹信息获取模块依据所述手势轮廓模型进行对象指尖的跟踪， 获取对 象指尖的运行轨迹信息。
优选地， 所述基于图像传感模块的字符输入装置还包括：
图像处理模块， 用于对对象手势轮廓图像信息采集模块采集到的对象 手势轮廓图像信息进行如下处理：
对采集到的对象手势轮廓图像信息进行二值化处理； 和 /或， 对采集到的对象手势轮廓图像信息进行图象锐化处理； 和 /或， 对采集到的对象手势轮廓图像信息进行图象平滑处理。
优选地， 所述对象指尖运行轨迹信息获取模块依据所述手势轮廓模型 进行对象指尖的跟踪为：
将参考的手势轮廓模型的指尖粗定位的矩形区域映射到提取的对象手 势轮廓图像上， 获得对象手势轮廓图像的指尖位置所在的矩形区域；
对所述矩形区域内的手指轮廓进行等间距划分， 并计算每段手指轮廓 片段的边缘弯曲率； 获取边缘弯曲率最大的手指轮廓片段为对象指尖。 优选地， 所述对象 指尖运行轨迹信息获取模块通过图像传感模块采集的视频帧获取对象指尖 的运行轨迹信息为：
依据卡尔曼滤波器进行对象指尖的跟踪预测；
从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息， 之后 平均每隔至少一帧采集一次对象指尖的实时坐标信息；
计算所述实时坐标信息与上一次坐标信息的切线角度 ^ ,并依据所述切 线角度的变化获取对象指尖的运行轨迹信息， 其中， 所述切线角度 ^的计算 为： 0 = 4^; 其中， 所述 1, }^1)是指对象指尖在上一次 t-i时刻的坐标 信息， 所述 ( )是指对象指尖在实时 t时刻的实时坐标信息。
优选地， 所述字符转化模块依据所述运行轨迹信息查询预先训练出的 字符模型库， 以将所述运行轨迹信息转化为相应的字符为：
依据所述运行轨迹信息查询预先训练出的字符模型库， 并将所述运行 轨迹信息与所有的字符模型进行匹配；
获取似然值最大的字符模型为目标字符模型， 其中， 采用 Verbit算法 计算每个字符模型的似然值；
依据所述目标字符模型将所述运行轨迹信息转化为相应的字符。
一种终端， 其包括所述的基于图像传感模块的字符输入装置， 所述装 置包括：
图像传感模块， 用于采集包含对象指尖的视频帧；
对象指尖运行轨迹信息获取模块， 用于通过图像传感模块采集的视频 帧获取对象指尖的运行轨迹信息；
字符转化模块， 用于依据所述运行轨迹信息查询预先训练出的字符模 型库， 将所述运行轨迹信息转化为相应的字符。
通过上述本发明的技术方案可以看出， 本发明提供的基于图像传感模 块的字符输入方法、 装置及终端依靠终端自带的图像传感模块（例如摄像 头装置）采集图像， 提取手势轮廓， 将手轮廓与已存的手势轮廓模型匹配， 识别出手势模型， 以对对象指尖进行粗定位， 然后根据手指轮廓的弯曲率 对对象指尖进行精确定位。 预测对象指尖下一时刻出现的大致位置， 捕获 指尖的运动轨迹， 计算不同时刻的切线角度， 将一段时间内的切线角度变 化累加， 便可得到该时间段内对象指尖运动轨迹。 将得到的对象指尖运动 轨迹与预存的字符模型库进行匹配， 从而生成相应的字符。 本发明提供的 基于图像传感模块的字符输入方法、 装置及终端， 能够满足用户对于手持 终端所提出的个性化需求， 同时还能实现字符的快捷、 准确的输入。 附图说明
此处所说明的附图用来提供对本发明的进一步理解， 构成本发明的一 部分， 本发明的示意性实施例及其说明用于解释本发明， 并不构成对本发 明的不当限定。 在附图中：
图 1是本发明一实施例提供的基于图像传感模块的字符输入方法流程 示意图；
图 2是本发明一较佳实施例提供的基于图像传感模块的字符输入方法 详细流程示意图；
图 3是本发明一实施例提供的基于图像传感模块的字符输入装置结构 示意图。 具体实施方式
本发明的基本思想是： 获取对象指尖的运行轨迹信息； 依据所述运行 轨迹信息查询预先训练出的字符模型库， 将所述运行轨迹信息转化为相应 的字符。
为了使本发明所要解决的技术问题、 技术方案及有益效果更加清楚、 明白， 以下结合附图和实施例， 对本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并不用于限定本发明。
如图 1 所示， 本发明一实施例提供的一种基于图像传感模块的字符输 入方法， 该方法包括如下步驟：
S101、 通过图像传感模块获取对象指尖的运行轨迹信息；
在该步驟中， 所述图像传感模块用于采集用户的手指的指尖画面信息， 并依据所述采集到的指尖画面信息提取用户的指尖运行轨迹信息， 例如所 述图像传感模块为普通手机或智能手机均配置了的摄像头装置。
具体实施时， 在该步驟中， 包括如下具体步驟：
a、 通过图像传感模块获取对象手势轮廓图像， 对对象手势轮廓图像进 行时域和空域联合分割、 二值化处理；
b、 通过平移、 缩放、 旋转等方法将手势轮廓与存储的手势轮廓参考模 型匹配， 选择相似度最大的手势轮廓参考模型， 将该参考模型的指尖区域 映射到对象模型指尖区域；
C、 在该指尖区域内等间隔计算手指轮廓弯曲率， 弯曲率最大的作为指 尖的精确位置；
d、 计算不同时刻的切线角度， 将一段时间内的切线角度变化累加， 获 得对象指尖的运行轨迹信息。
S102、 依据所述运行轨迹信息查询预先训练出的字符模型库， 以将所 述运行轨迹信息转化为相应的字符。
在该步驟中， 依据上述采集到的用户的指尖运行轨迹信息与预先建立 好的字符模型库进行匹配， 在找到对应的字符模型时， 以将所述运行轨迹 信息翻译成对应的字符信息， 从而为字符输入提供依据。
优选实施方式下， 在执行所有步驟之前， 该方法还包括以下步驟： S1001、 通过图像传感模块采集对象手势轮廓图像信息， 例如所述对象 手势轮廓图像信息包括但不限于以下几种： 只有食指伸直， 其他手指握拳； 只有中指伸直， 其他手指握拳； 拇指和食指同时伸直， 其他手指握拳等。
S1002、依据所述对象手势轮廓图像信息查询预先训练出的手势轮廓模 型库， 获取匹配的手势轮廓模型。
S1003、 依据所述手势轮廓模型进行对象指尖的跟踪。
优选实施方式下， 在依据所述对象手势轮廓图像信息查询预先训练出 的手势轮廓模型库， 以获取匹配的手势轮廓模型之前， 该方法还包括： ( 1 )对采集到的对象手势轮廓图像信息进行二值化处理； 和 /或， ( 2 )对采集到的对象手势轮廓图像信息进行图象锐化处理； 和 /或， ( 3 )对采集到的对象手势轮廓图像信息进行图象平滑处理。
以同时对采集到的对象手势轮廓图像信息进行二值化处理、 图象锐化 处理以及图象平滑处理为例， 由于灰度图像只有空间采样点的亮度信息， 因而可以用一个数值来表示。 而对于彩色图像， 包含的内容更丰富， 但表 示更为复杂。 但是在本发明中不关心且没有必要保留图像的色彩信息， 因 此可以将彩色图像的对象手势轮廓图像信息进行二值化处理， 转化为灰度 图像， 降低复杂度， 减少内存资源。 同时， 为了突出手势轮廓的边缘， 可 以对对象手势轮廓图像信息进行图象锐化处理，本发明采用 Roberts梯度锐 化方法增强图像边缘。 除此之外， 为了降低噪声， 还可以可对对象手势轮 廓图像信息进行图象平滑处理。
优选实施方式下， 在所述步驟 S1003 中， 依据所述手势轮廓模型进行 对象指尖的跟踪的步驟包括：
S10031、 将该参考的手势轮廓模型的指尖粗定位的矩形区域映射到提 取的对象手势轮廓图像上， 获得对象手势轮廓图像的指尖位置所在的矩形 区域。
S10032, 对所述矩形区域内的手指轮廓进行等间距划分， 并计算每段 手指轮廓片段的边缘弯曲率。
S 10033、 获取边缘弯曲率最大的手指轮廓片段为对象指尖。
在所述步驟 S101中， 通过图像传感模块获取对象指尖的运行轨迹信息 的方法具体包括如下步驟：
S 1011、 依据卡尔曼滤波器进行对象指尖的跟踪预测。
51012、 从图像传感模块采集的视频帧中获取对象指尖的起始坐标信 息， 之后平均每隔至少一帧采集一次对象指尖的实时坐标信息。
51013、 计算所述实时坐标信息与上一次坐标信息的切线角度^ 并依 据所述切线角度的变化获取对象指尖的运行轨迹信息， 其中， 所述切线角 度 ?的计算数学式如下： , 其中， 所述 (e -1)是指对象指尖在上一次 t-i时刻的坐标
信息， 所述 ( ?, 是指对象指尖在实时 t时刻的实时坐标信息。
在所述步驟 S102中， 依据所述运行轨迹信息查询预先训练出的字符模 型库， 以将所述运行轨迹信息转化为相应的字符的方法包括：
51021、 依据所述运行轨迹信息查询预先训练出的字符模型库， 并将所 述运行轨迹信息与所有的字符模型进行匹配。
51022、获取似然值最大的字符模型为目标字符模型，其中，采用 Verbit 算法计算每个字符模型的似然值。
51023、 依据所述目标字符模型将所述运行轨迹信息转化为相应的字 付。
如图 2所示， 图 2是本发明一较佳实施例提供的基于图像传感模块的 字符输入方法详细流程示意图， 所述流程具体包括如下步驟：
S301、 手势模型选取以及指尖粗定位；
手势模型的选取直接影响识别效果。 本发明选取常见的手势模型作为 参考模型， 例如包括但不限于以下几种： 只有食指伸直， 其他手指握拳； 只有中指伸直， 其他手指握拳； 拇指和食指同时伸直， 其他手指握拳等。 对于不同的手势模型， 分别预定义指尖的初始位置。 例如， 对于只有食指 伸直的情况， 将指尖的初始位置定义在食指最上方， 并用一定大小的矩形 框将指尖位置包含进去， 该矩形区域作为后续指尖精确定位的区域。
5302、 手势轮廓提取；
一般利用帧间或帧内的信息对视频图像进行分析。 但由于场景中存在 噪声， 单个的视频分割方法并不能准确地逼近物体的边缘。 因此要准确的 提取手势轮廓， 要联合物体的颜色、 亮度等空间信息进行视频分割。 例如 本发明实施例采用基于时 -空联合分割法， 综合利用时间域的帧间运动信息 和空间的肤色、 亮度信息， 同时进行时间和空间的分割方法， 提取准确的 手势边缘。 通过空域分割， 获取具有准确语义的初始分割区域， 通过时域 分割获取图像的运动区域， 连接不连续边缘， 得到手势轮廓。
5303、 图像预处理；
灰度图像只有空间采样点的亮度信息， 因而可以用一个数值来表示。 而对于彩色图像， 包含的内容更丰富， 但表示更为复杂。 但是在该发明实 施例中， 没有必要保留图像的色彩信息， 因此需要将彩色图像进行二值化 处理， 转化为灰度图像， 降低复杂度， 减少内存资源。 为突出手的边缘， 对图像进行锐化， 本发明采用 Roberts梯度锐化方法增强图像边缘。 为降低 噪声， 可对二值图像进行平滑处理。
S304、 手势轮廓与手势轮廓模型匹配；
将提取的手势轮廓与手势轮廓模型进行匹配， 匹配的过程为： 将提取 的手势轮廓图像与每个参考手势轮廓模型进行平移匹配， 计算匹配值， 选 取匹配值最大的手势轮廓模型作为要识别目标。 然后将该手势轮廓模型的 指尖粗定位的矩形区域映射到提取的手势轮廓上， 便得到手势轮廓的指尖 位置所在的矩形区域。 为了提高匹配度， 可以将提取的手势轮廓进行缩放 S305、 指尖精确定位；
对矩形区域内的手指轮廓进行等间隔的划分， 分别计算每一段曲线的 弯曲率， 弯曲率最大曲线的作为指尖的精确位置。
S306、 运动目标预测跟踪
在视频图像中， 相邻帧的时间间隔较小， 可以认为是匀速运动， 因此 可以将运动状态的变化描述成动态线性系统。 考虑到实时性要求， 本发明 实施例选择卡尔曼滤波器实现对指尖位置进行跟踪。 卡尔曼滤波器最主要 的两个阶段是预测和更新， 方程分别为：
S (n) = AS (n - \)
D{n) = AD{n - \)A
5307、 运动目标起点获取；
在本发明实施例的具体实施过程中， 用户一般在书写过程中其中间帧 是质量较好的帧， 而起点有很多无意义帧， 影响目标检测， 因此根据经验 值， 从第 4帧开始作为轨迹的起始点。
5308、 运动目标终点获取；
在本发明实施例中， 当运动目标（即指尖）在 2秒内没有任何运动时， 则认为字符输入操作结束。
5309、 运动轨迹特征获取；
获取相邻两帧的坐标后， 计算切线角度， 设 t-1 时刻指尖点的坐标为 — ^?—1 ) , t时刻指尖点的坐标是 ( ， 此时有切线角度^ f ^。 为了 简化计算， 本发明将切线角度进行量化， 例如， 每 15度量化为一个方向， 即采用 24个特征矢量的均匀量化方法。 不同时刻的切线角度变化组成了指 尖的运动轨迹。
S310、 动态轨迹识别。
将得到的轨迹与训练好的字符模型相匹配， 选择似然度最大的模型作 为目标字符模型。 其中涉及概率问题， 本发明采用 Verbit算法求出每个模 型的似然值， 将似然度最大的确定为最终目标。 最终依据所述目标字符模 型将所述运行轨迹信息转化为相应的字符。
如图 3 所示， 本发明实施例还提供了一种基于图像传感模块的字符输 入装置， 所述装置包括：
图像传感模块 10, 用于采集包含对象指尖的视频帧；
对象指尖运行轨迹信息获取模块 20, 用于通过图像传感模块采集的视 频帧获取对象指尖的运行轨迹信息， 在本发明实施例中， 所述对象指尖运 行轨迹信息获取模块 20获取对象指尖的运行轨迹信息包括如下具体步驟： 通过图像传感模块获取对象手势轮廓图像， 对对象手势轮廓图像进行 时域和空域联合分割、 二值化处理； 通过平移、 缩放、 旋转等方法将手势 轮廓与存储的手势轮廓参考模型匹配， 选择相似度最大的手势轮廓参考模 型， 将该参考模型的指尖区域映射到对象模型指尖区域； 在该指尖区域内 等间隔计算手指轮廓弯曲率， 弯曲率最大的作为指尖的精确位置； 计算不 同时刻的切线角度， 将一段时间内的切线角度变化累加， 获得对象指尖的 运行轨迹信息。
字符转化模块 30, 用于依据所述运行轨迹信息查询预先训练出的字符 模型库， 以将所述运行轨迹信息转化为相应的字符。
优选实施方式下， 所述基于图像传感模块的字符输入装置还包括： 对象手势轮廓图像信息采集模块 40, 用于通过图像传感模块采集对象 手势轮廓图像信息；
手势轮廓模型获取模块 50, 用于依据所述对象手势轮廓图像信息查询 预先训练出的手势轮廓模型库， 获取匹配的手势轮廓模型， 以使得对象指 尖运行轨迹信息获取模块能够依据所述手势轮廓模型进行对象指尖的跟 踪， 获取对象指尖的运行轨迹信息。
优选实施方式下， 所述基于图像传感模块的字符输入装置还包括： 图像处理模块 60,用于对对象手势轮廓图像信息采集模块 40采集到的 对象手势轮廓图像信息进行如下处理：
( 1 )对采集到的对象手势轮廓图像信息进行二值化处理； 和 /或， ( 2 )对采集到的对象手势轮廓图像信息进行图象锐化处理； 和 /或， ( 3 )对采集到的对象手势轮廓图像信息进行图象平滑处理。
其中， 所述对象指尖运行轨迹信息获取模块 20依据所述手势轮廓模型 进行对象指尖的跟踪的步驟包括：
( 1 )将该参考的手势轮廓模型的指尖粗定位的矩形区域映射到提取的 对象手势轮廓图像上， 获得对象手势轮廓图像的指尖位置所在的矩形区域； ( 2 )对所述矩形区域内的手指轮廓进行等间距划分， 并计算每段手指 轮廓片段的边缘弯曲率；
( 3 )获取边缘弯曲率最大的手指轮廓片段为对象指尖。
另外， 所述对象指尖运行轨迹信息获取模块 20通过图像传感模块采集 的视频帧获取对象指尖的运行轨迹信息的方法包括：
( 1 )依据卡尔曼滤波器进行对象指尖的跟踪预测；
( 2 )从图像传感模块采集的视频帧中获取对象指尖的起始坐标信息， 之后平均每隔至少一帧采集一次对象指尖的实时坐标信息；
( 3 )计算所述实时坐标信息与上一次坐标信息的切线角度^ 并依据 所述切线角度的变化获取对象指尖的运行轨迹信息， 其中， 所述切线角度 ^ 的计算数学式如下：
^= f ^ ' 其中， 所述 1,}^1)是指对象指尖在上一次 t- i时刻的坐标 信息， 所述 ( )是指对象指尖在实时 t时刻的实时坐标信息。
所述字符转化模块 30依据所述运行轨迹信息查询预先训练出的字符模 型库， 以将所述运行轨迹信息转化为相应的字符的方法包括：
( 1 )依据所述运行轨迹信息查询预先训练出的字符模型库， 并将所述 运行轨迹信息与所有的字符模型进行匹配；
( 2 )获取似然值最大的字符模型为目标字符模型， 其中， 采用 Verbit 算法计算每个字符模型的似然值；
( 3 )依据所述目标字符模型将所述运行轨迹信息转化为相应的字符。 相应地， 本发明实施例还提供了一种终端， 其包括如上所述的基于图 像传感模块的字符输入装置， 参考图 3, 所述装置包括：
图像传感模块 10, 用于采集包含对象指尖的视频帧；
对象指尖运行轨迹信息获取模块 20, 用于通过图像传感模块采集的视 频帧获取对象指尖的运行轨迹信息；
字符转化模块 30, 用于依据所述运行轨迹信息查询预先训练出的字符 模型库， 以将所述运行轨迹信息转化为相应的字符。
在该终端中， 所述图像传感模块可以为普通摄像头装置， 因此对于本 发明所提供的终端， 由于能够依靠终端自带的摄像头装置采集图像， 提取 用户的手势轮廓， 将手轮廓与已存的手势轮廓模型匹配， 识别出手势模型， 以对对象指尖进行粗定位， 然后根据手指轮廓的弯曲率对对象指尖进行精 确定位。 预测对象指尖下一时刻出现的大致位置， 捕获指尖的运动轨迹， 计算不同时刻的切线角度， 将一段时间内的切线角度变化累加， 便可得到 该时间段内对象指尖运动轨迹。 将得到的对象指尖运动轨迹与预存的字符 模型库进行匹配， 从而生成相应的字符。 本发明提供的基于图像传感模块 的字符输入方法、 装置及终端， 能够满足用户对于手持终端所提出的个性 化需求， 同时还能实现字符的快捷、 准确的输入。 上述说明示出并描述了本发明的一个优选实施例， 但如前所述， 应当 理解本发明并非局限于本文所披露的形式， 不应看作是对其他实施例的排 除， 而可用于各种其他组合、 修改和环境， 并能够在本文所述发明构想范 围内， 通过上述教导或相关领域的技术或知识进行改动。 而本领域人员所 进行的改动和变化不脱离本发明的精神和范围， 则都应在本发明所附权利 要求的保护范围内。
& 2004-. All rights reserved.