多元数据融合的非干扰身份识别方法

于佃存1,2 陈益强1,3 彭晓晖1 焦 帅1 李啸海1 钟 习1,3

1(中国科学院计算技术研究所 北京 100190)2(山东大学软件学院 济南 250101)3(中国科学院大学 北京 100049) (yudiancun@ict.ac.cn)

传统的步态识别技术在智能终端设备风险控制领域的应用还存在一些问题,已有的方案是通过加速度、陀螺仪等多传感器对步态进行身份识别与验证.由于现有的识别方法设置了许多限制条件,给该技术的使用与推广俱造成了困难.例如:需要把传感器设备固定在脚踝、膝盖、腰部等位置,设备有指定的朝向,用户做特定的动作.通过步态进行身份识别与验证的技术应用到风险控制领域需要一套完整可靠的系统架构,现有架构还存在较大问题.因此,提出一种与位置、行为无关的非干扰的身份识别与验证方法,该方法仅使用加速度传感器,并以此方法为核心建立了一套完整的系统实现架构,该架构方法的实现提高了系统的整体精度与可用性.首先对用户的行为及设备所在的位置进行预测;然后针对性地进行步态分析与识别.实验中仅使用智能手机中内置的加速度传感器采集数据,最后对步态进行位置无关的分析与识别最重确定用户身份,从而起到降低智能手机使用风险提高安全系数的作用.实验结果表明设计的系统架构有利于系统整体精度的提升,且该方法具有较高的识别率和极低的假阳率(false positive rate, FPR),且在非干扰用户的情况下提高了APP和智能手机等智能终端设备的安全性.

关键词 人机交互;安全;步态;风险控制;非干扰

近年来,随着智能终端设备特别是智能手机的普及,手机端的应用与系统的安全性较低,如何做好终端设备的风险控制成为具有挑战性的研究问题.根据Newzoo 2018年预测,到2021年全球手机网民规模将达38亿[1].“互联网+”如火如荼的发展,使得越来越多的配套服务也在不断的发展与完善[2-3],各行各业都在积极地扩展互联网业务,从而为广大的智能终端设备用户提供便捷、多样、个性化的APP服务,手机也渐渐成为个人的“私人助理”、“支付助手”[4-5].因此智能手机设备中用户隐私数据以及支付环境的安全性越来越引起我们的重视.然而在人机交互方面,系统往往为了提高用户体验而降低了对隐私数据的保护,例如记住密码、自动登录等.如何在确保这些数据安全的同时,又能给用户提供友好便捷的交互方式已经成为越来越突出的问题.如:蚂蚁金服推出风险控制系统取消手势密码[4],通过对用户账号、设备、位置、行为、关系、偏好等维度的分析,提高安全系数、降低使用的复杂度,从而使支付宝APP使用更便捷安全等.

步态作为一种非干扰的身份识别方法获得了广泛的认同.虽然通过图像进行步态分析的方法已经很成熟,但是由于受到图像步态信息数据采集条件的约束,该技术的推广使用受到了严格的限制[5-6].利用加速度传感器采集到的数据进行步态分析,是一种典型的非干扰步态分析方法[7].这种传感器设备作为基础设备内嵌在智能手机中,进行步态分析,能够很方便地进行推广普及.将基于步态的身份识别技术应用到智能手机的风险控制系统中能够在非干扰用户的情况下对用户的身份进行识别,避免用户重复进行身份认证如:输入密码、录入指纹以及人脸扫描等,提高了身份识别的隐蔽性,同时也提高了安全性[8-9].考虑到易用性以及易推广性可以将步态识别验证模块内嵌到智能手机的APP应用中或将识别验证模块作为智能手机操作系统的独立模块,为系统上的应用提供统一服务,本文提出了一套通用的步态分析系统架构方法可将其应用到智能手机APP风险控制中.与传统方法相比步态识别与手机的位置、用户行为无关,同时,采用OS-ELM(online sequential extreme learning machine)在线增量的方式不断更新模型从而提高准确度[10].

1 相关工作

风险控制一直是备受关注的话题,尤其是在互联网世界里信息数据都是以电子方式存储容易泄露、丢失或被恶意篡改等.近年来,基于大数据的风险控制系统在不断发展与完善,2015年7月“蚂蚁金服”推出风险控制系统[11],对用户的日常行为、情绪以及行为进行监控分析,发现问题及时介入处理.在智能手机中有很多APP为了提高用户体验而提供记住密码或自动登录功能等,使得用户信息暴露在风险之下.虽然有些APP通过GPS或IP等信息分析用户活动区域,如果用户不在经常活动的区域内需要重新进行身份认证才能继续使用APP以达到保护用户信息的作用,但这些方法都不能对用户身份做出准确的判断[12];所以,将可以识别用户身份的步态信息纳入风险控制体系中能极大地提高对用户信息的保护能力,同时也能提高用户非干扰风险控制的体验[13].

传统的身份验证主要采用如密码、声音、指纹、虹膜或人脸等[14-15],这些方法相互配合能很好地保护用户的隐私信息,但是这些方法都需要用户显式操作或者对设备与环境有特殊的要求[12].这样使得人机交互变得复杂,用户体验在降低.步态作为一种新的身份识别与验证方式越来越受国内外研究人员的关注,并取得了一些研究成果.早在1999年Tong等人[13]使用陀螺仪固定在志愿者的脚踝处进行步态分析.之后Mayagoitia等人[16]使用加速度传感器和陀螺仪进行步态分析,并与光学方式进行的步态分析进行了对比,但是这些传统步态研究都存在一个问题:通过加速度传感器或陀螺仪等设备进行步态分析的时候都需要将特有设备放在用户的固定位置如:脚踝、膝盖、腰部等,并保持特定的方向[17].同样已存在的基于智能终端的步态身份识别系统也受到诸多类似的问题限制,例如:需要将手机放在特定的位置如:腰部;手机的摆放方向也受到约束等[18].这样都极大限制了步态身份识别在手机风险控制上的应用与发展,因而,位置、行为无关性研究在步态身份分析识别方面具有重大意义.

2 步态算法分析与风险控制架构

2.1 步态融合模型分析

本文提出了一种基于智能手机的与终端设备位置和用户行为无关的步态融合身份识别方法,如图1所示,该方法在进行步态识别的过程中极大的消除了传统步态识别方法对传感器摆放的位置、朝向和用户行为的约束.本文使用智能手机设备内嵌的加速度传感器设备进行加速度数据的采集,从而获取原始步态数据.通过对用户日常行为习惯的统计分析,用户行走的过程中智能手机设备绝大多数放在裤口袋或摆动的手中,因此步态分析方法建立在手持智能手机设备自然摆动行走和智能手机放在裤口袋内行走2种行为位置组合之上.针对用户不可枚举的行为与位置组合,首先对用户的行为和手机的位置采用随机森林(random forest, RF)方法进行识别过滤,然后再使用OS-ELM方法对2种行为与位置组合所获取的原始数据进行特征提取并生成特征向量,最后采用增量的方式更新模型以提高识别的准确度.步态融合模型流程如图1所示:

Fig. 1 Gait fusion model flow chart
图1 步态融合模型流程图

我们用概率的方法,将本文研究的问题表示为

P(X|Y)=P(Y|AB)P(A|X)P(B|AX)=
P(Y|AB)P(A|X)P(B|AX)=
P(Y|AB)P(A|X)P(B|A)P(A|X),

其中,X为原始特征数据,Y为识别结果,A,B分别为识别的行为与位置,P(A|Y)对应行为识别模型,P(B|X)对应位置识别模型.

假设有n个任意加速度数据样本aii∈(0,n),采集到的加速度向量:

ai=(αi,βi,γi),

其中α,β,γ为加速度传感器的3轴分量.将3轴加速度值进行位置无关处理:

Ai=αi+βi+γi

将采集的加速度数据流进行时间窗划分用m表示,假设第j个时间窗表示为

Qi=[A(i,1),A(i,2),L,A(i,256)],i∈[1,m]

Qj中时间窗前后重叠50%.得到矩阵M

M=[Q1Q2,…,Qm]T,

获得m个模型训练样本(Vi,Ti),i∈[1,m],其中ViQi中提取的x维的行为与位置特征向量:

Vi=[v(i,1),v(i,2),…,v(i,x)]∈x
Ti=[t(i,1),t(i,2)]

为对应的行为标量,位置也如上处理,仅提取的特征向量略有不同.最后将行为与位置进行分别且串联预测.

Fig. 2 Gait technology risk control system structure diagram
图2 步态技术风险控制系统结构示意图

RF算法使用决策树(decision tree, DT)作为基本分类器,具有训练速度快精度高的特点.使用RF算法对智能手机设备持有者的行为以及设备所在的位置进行分别预测,通过信息增益(information entropy).尽可能地使得分支节点的包含节点属于同一类.假设离散属性bv个可取值{b2,b2,…,bv},


获得信息增益越大,则意味着使用属性a进行划分获得效果越好.从而构造出较好的分类器以此识别出用户行为与位置.

OS-ELM算法是基于极限学习机器[19-20](extr-eme learning machine, ELM)的在线增量模型算法,使用该算法可以不断积累用户步态行为数据,以此不断完善更新步态识别模型提高识别的准确性.假设有m个任意样本(Vi,Ti),i∈[1,m],Viz维的步态输入向量Vi=[v(i,1),v(i,2),…,v(i,z)]∈z,Vi是1维的身份目标向量.其中有L个节点的单隐含层前馈神经网络(single hidden layer feed-forward neural networks, SLFNs)表示为

其中,ai,bi中是隐含层节点的学习参数,βi是隐含层第i个节点与输出节点间的权重系数.G(ai,bi,xi) 为激活函数.计算SLFNs使得输出的误差最小,使得:

yi=ti,j∈[1,N],i∈[1,L].

矩阵表示为=T

H(a1,…,aL,b1,…,bL,x1,…,xL)=

ai,bi的值随机确定后,隐含层节点的输出矩阵H的值也唯一确定.所以求出=T的过程即为训练单隐含层前馈神经网络的过程.且输出的权重β可以被确定其中,H+是矩阵的Moore-Penrose广义逆.通过以上步骤,求解出β.那么对于特定的输入xj,和xj相对应的实际输出yj表示为

另外,OS-ELM采用的是在线增量的方式进行模型更新,能及时更新识别模型提高算法的精度.

2.2 风险控制模块架构

图2描述的是步态识别系统的结构示意图,加速度数据依次经过行为模型、位置模型和步态模型(步骤1,2,3)对用户的身份进行识别,如果没有通过则进入步骤4.1激活其他验证方式,直到步骤5.1验证通过后则执行步骤6将该用户的加速度数据上传云端.行为模型与位置模型区分度强,不需要在线增量更新,在严重影响准确度的时候执行步骤7.1,7.2更新整个模型,本文使用OS-ELM算法构建步态模型,通过步骤7.3在线增量更新模型从而提高模型识别的准确率.

本文设计与实现的步态识别系统可以作为应用程序的非干扰风险控制模块为智能设备的应用提供很好的风险安全参考;同时可以将该模块升级到操作系统层面,为其上的应用提供便捷身份识别接口,从而使用户验证变的简单、便捷与高效提高用户体验.

3 实验结果与分析

现有的步态识别方法对传感器设备的位置都有较高的要求,如固定在脚踝、膝盖、腰部或放在口袋里等.在识别的过程中采用多种传感器设备,分析过程过为复杂以及采用较高的采样频率等方法不利于其在智能手机设备中的普遍应用.这些方法都不能很好地应用到实际的系统中进行风险控制.本文采用的加速度传感器采样频率仅为64 Hz,通过过滤模型将日常较为普遍的用户行为和智能手机设备放的位置进行预判断,利用融合模型的方法对加速度数据进行具体的分析以识别出用户身份,从而对用户智能手机进行风险控制达到提高设备安全性的目的[21].

通过分析可知,智能手机设备放在手中和口袋中的概率最大,因此本文的身份认证模型系统针对的是用户行进过程中智能手机设备放在摆动的手中和裤口袋里这2种组合进行实验分析,对于不同的场合可以根据需要增加组合,更新对应模型从而覆盖更多的行为类别.本文使用随机森林算法对用户的行为进行分析预测,并将预测的结果以及提取的特征向量通过OS-ELM算法进行识别与验证.本文中,我们对3种行为(走路、跑步、其他)和3种位置(摆动的手中、固定在胸前、裤口袋)进行了实验.主要针对走路的步态进行研究分析以达到非干扰身份识别与验证,从而进行风险控制,提高设备安全性和用户体验.行为与位置的组合如表1所示:

Table 1 User Behavior And Smart Device Location

Relationship Portfolio

表1 用户行为与智能设备位置关系组合

UserBehaviorSmart Device LocationSwing HandFixed ChestPanst PacketWalking√√√Running√√

Note: √ is the combination of body parts when sampling the data.

3.1 实验结果

本文实验邀请了32名志愿者(21男11女)按照表1所述的用户行为与智能手机位置的不同组合情况,进行数据采集并完成步态身份识别与验证实验.32位志愿者分别完成“走路-摆动的手中”、“走路-固定在胸前”、“走路-裤口袋”、“跑步-摆动的手中”、“跑步-裤口袋” 5种行为-位置组合,对于每种组合,使用智能手机内置的采样频率为64 Hz的加速度传感器采样3 min,并以4 s为一个时间窗,每一个时间窗即为一个样本.每种情况共获得样本数为1 440个.经过多次实验验证,行为模型与位置模型使用RF算法识别的准确率较高,如图3所示.将过滤后的数据输入不同的模型进行数据分析,其结果如图3所示:

Fig. 3 Common model and fusion model identification accuracy
图3 常见模型与融合模型身份识别准确率

3.2 实验分析

如图4所示,可以明显看出RF对行为与位置的识别准确率较高,并且RF算法的复杂度较低,更有利于在智能手机上使用,所以在行为与位置识别过程中采用的是RF算法.图4是将常用的5种算法模型应用到步态身份识别中,并与先进行步态与位置预测的融合模型对比,发现融合模型识别精度高于其他模型,所以在进行步态识别时采用本文提出的融合步态识别模型能有效地提高预测准确率.因此,本文提出的方法为智能终端风险控制模块提供新的非干扰式的身份判断依据,能进一步提高了用户信息的安全性和用户体验.

Fig. 4 Common model behavior location recognition accuracy
图4 常见模型行为位置识别准确率

进一步比较本文步态识别算法和传统步态识别算法的准确率,使用相同的数据集进行对比实验,实验对比用户在走路的时候智能手机设备在“摆动的手中”、“固定在胸前”、“裤口袋”3个不同位置,实验结果如图5所示:

Fig. 5 The accuracy of traditional and fusion models in different positions
图 5 不同位置下传统与融合模型准确率

通过图5可以得出:对于在用户走路行为中,智能手机设备放在“摆动的手中”、“固定在胸前”、“裤口袋”这3个位置,本文提出的仅使用加速度传感器数据的算法精度均优于传统的步态识别算法.传感器、智能设备摆放的位置是用户步态识别准确率的重要因素,即使是同一个用户在不同位置采集到的数据对用户步态的识别也有着较大的影响.因此在进行用户步态识别之前,先对用户的行为以及智能手机设备的位置的预测对随后的用户步态识别与验证有很大的帮助.二元预测的结果如表2所示:

Table 2 OS-ELM Volunteers Bivariate Prediction

Average Results

表2 OS-ELM 志愿者二元预测平均结果 %

ReallyCategoryForecast CategoryYesNoYes8119No892

本文在进行步态识别的时候采用的OS-ELM在线更新模型,在用户的使用过程中其步态信息会随着首次身份确认,在用户授权的前提下同步将数据上传保存到云端的步态指纹库中.指纹库的目的是不断地更新步态识别模型,从而不断提高步态识别的准确度,为用户步态安全模块提供在线更新支持.步态识别模型在线增量更新准确率如图6所示:

Fig. 6 OS-ELM incremental learning accuracy map
图6 OS-ELM增量学习准确率图

3.3 人机交互体验问卷

在每位志愿者完成人机交互实验之后,邀请他们完成一份关于人机交互体验的简单问卷,每个问题满分为10分,分数越高表现越好.如表3所示,本文提出的步态识别方法达到了非常优秀的效果,人机交互体验也得到了志愿者的认同.

Table 3 Human Computer Interaction Experience

Questionnaire Survey Result

表3 人机交互体验调研评分表

ProblemsFusion methodCommon MethodUser IdentityAccuracy Rate8.88.3Interactive Experience9Error User Recognition Rate96.8

4 结束语

本文提出了一种基于步态分析的非干扰身份验证方法,并将其应用在智能终端风险控制中,同时我们构建了一套风险控制识别系统.本文提出融合步态识别方法与智能终端设备的位置、朝向无关,同时只过滤出走路-摆动的手中、走路-固定在胸前和走路-裤口兜中3种情况的数据作为步态识别的输入.鞋子的材质类型以及人的情绪都会对用户的步态产生影响,这也是以后工作要着重解决的问题,这方面问题增加了对步态影响的因素,因此,要想将步态识别与验证模块更好地纳入到操作系统内置服务中,还需对更多的行为位置组合进行步态分析,进一步提高识别精度,确保用户信息安全.

参考文献

[1]Wang Chendi. Alibaba Internet financial risk control measures [D]. Urumchi: Xinjiang University of Finance and Economics, 2016 (in Chinese)(王晨迪. 阿里巴巴互联网金融风险控制措施研究[D]. 乌鲁木齐: 新疆财经大学, 2016)

[2]Zhang Ping. Tencent mobile payment how to do risk control [J]. Gold Card Project, 2015(8): 8-9 (in Chinese)(张平. 腾讯移动支付如何做风控[J]. 金卡工程, 2015(8): 8-9)

[3]Mayagoitia R E, Nene A V, Veltink P H. Accelerometer and rate gyroscope measurement of kinematics: An inexpensive alternative to optical motion analysis systems [J]. Journal of Biomechanics, 2002, 35(4): 537-542

[4]Nishiguchi S, Yamada M, Nagai K, et al. Reliability and validity of gait analysis by android-based smartphone [J]. Telemedicine and e -Health, 2012, 18(4): 292-296

[5]Shan Yanhu, Zhang Zhang, Huang Kaiqi. Visual human action recognition: History, status and prospects [J]. Journal of Computer Research and Development, 2016, 53(1): 93-112 (in Chinese)(单言虎, 张彰, 黄凯奇. 人的视觉行为识别研究回顾、 现状及展望[J]. 计算机研究与发展, 2016, 53(1): 93-112)

[6]Isho T, Tashiro H, Usuda S. Accelerometry-based gait characteristics evaluated using a smartphone and their association with fall risk in people with chronic stroke [J]. Journal of Stroke and Cerebrovascular Diseases, 2015, 24(6): 1305-1311

[7]Liu Rong, Zhou Jianzhong, Liu Ming, et al. A wearable acceleration sensor system for gait recognition [C]//Proc of the 2nd IEEE Conf on Industrial Electronics and Applications. Piscataway, NJ: IEEE, 2007: 2654-2659

[8]Chen Shi, Ma Tianjun, Gao Youxing. Gait recognition using distributions of silhouette feature [J]. Journal of Computer Research and Development, 2009, 46(2): 295-301 (in Chinese)(陈实, 马天骏, 高有行. 用行人轮廓的分布直方图分类和识别步态 [J]. 计算机研究与发展, 2009, 46(2): 295-301)

[9]Mantyjarvi J, Lindholm M, Vildjiounaite E, et al. Identifying users of portable devices from gait pattern with accelerometers [C]//Proc of the 5th IEEE Int Conf on Acoustics, Speech, and Signal Processing. Piscataway, NJ: IEEE, 2005: 973-976

[10]Chen Changyou, Zhang Junping. An iterative gait prototype learning algorithm based on tangent distance [J]. Journal of Computer Research and Development, 2008, 45(7): 1177-1182 (in Chinese)(陈昌由, 张军平. 基于迭代切距离原型学习算法的步态识别 [J]. 计算机研究与发展, 2008, 45(7): 1177-1182

[11]Yang Yingchang. Metod and continuously wearable noninvasive apparatus for automatically detecting a stroke and other abnormal health conditions: US, US20140276123[P]. 2014-09-18

[12]Huang Guangbin, Zhu Qinyu, Siew C K. Extreme learning machine: A new learning scheme of feedforward neural networks [C]//Proc of the IEEE Int Joint Conf on Neural Networks. Piscataway, NJ: IEEE, 2004: 985-990

[13]Tong Kaiyu, Granat M H. A practical gait analysis system using gyroscopes [J]. Medical Engineering & Physics, 1999, 21(2): 87-94

[14]Lisetti C L, Nasoz F. Using noninvasive wearable computers to recognize human emotions from physiological signals [J]. EURASIP Journal on Advances in Signal Processing, 2004(11): 1672-1687

[15]Hayfron-Acquah J, Nixon M, Carter J. Automatic gait recognition by symmetry analysis[C]//Proc of the 3rd Int Conf on Audio and Video-Based Biometric Person Authenti-cation. Berlin: Springer, 2001: 272-277

[16]Mayagoitia R E, Nene A V, Veltink P H. Accelerometer and rate gyroscope measurement of kinematics: An inexpensive alternative to optical motion analysis systems [J]. Journal of Biomechanics, 2002, 35(4): 537-542

[17]Huang Guangbin, Zhou Hongming, Ding Xiaojian, et al. Extreme learning machine for regression and multiclass classification [J]. IEEE Transactions on Systems Man & Cybernetics: Part B, 2012, 42(2): 513-529

[18]Han Ju, Bhanu B. Individual recognition using gait energy image [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(2): 316-322

[19]Arora P, Srivastava S. Gait recognition using gait Gaussian image[C]//Proc of the 2nd Int Conf on Signal Processing and Integrated Networks. Piscataway, NJ: IEEE, 2015: 791-794

[20]Liu Rong, Duan Zhiguo, Zhou Jianzhong, et al. Identification of individual walking patterns using gait acceleration [C]//Proc of the 1st Int Conf on Bioinformatics and Biomedical Engineering. Piscataway, NJ: IEEE, 2007: 543-546

[21]Raziff A R A, Sulaiman M N, Mustapha N, et al. Single classifier, OvO, OvA and RCC multiclass classification method in handheld based smartphone gait identification[C]//Proc of the 5th Int Conf on Applied Science and Technology. New York: AIP Publishing: 2017

Multi-Model Data Fusion Based Unobtrusive Identification Method

Yu Diancun1,2, Chen Yiqiang1,3, Peng Xiaohui1, Jiao Shuai1, Li Xiaohai1, and Zhong Xi1,3

1(Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190)2(School of Software, Shandong University, Jinan 250101)3(University of Chinese Academy of Sciences, Beijing 100049)

Abstract The traditional gait recognition technology in the field of intelligent terminal equipment risk control still has some problems. The existing program is using accelerometer, gyroscope and other multi-sensor gait for identification and verification. Due to the existing identification methods set a number of restrictions, hinder the use and promotion of this technology. For example: the sensor device needs to be fixed at the same position as the ankle, knee, waist and so on; the device has a designated orientation; the user does a specific action. In addition, the application of the technology of identity verification and verification through gait to the field of risk control requires a complete and reliable system architecture. There is still a big problem with the existing architecture. Therefore, this paper presents a non-interference and location-independent identification and verification method that uses only accelerometers and builds a complete set of system implementation architecture with this method as the core. The implementation of this architecture method has improved the overall system accuracy and availability. Firstly, the user’s behavior and the location of the device are predicted; then the gait analysis and identification are carried out. In this experiment, we only use the built-in accelerometer in the smart phone to collect data, finally position-independent gait analysis and identification to identify the user to determine which is the most important, so as to reduce the risk of using smart phones and improve the safety factor. The experimental results show that the system architecture designed in this paper is conducive to the improvement of overall system accuracy. The method has the characteristics of high recognition rate and very low FPR (false positive rate), and improves the APP and the smartphone in the case of non-interfering users such as intelligent terminal equipment security.

Key words human-computer interaction; safety; gait; risk control; noninterference

收稿日期2017-10-25;

修回日期:2018-04-08

基金项目国家重点研发计划基金项目(2017YFB1002801);国家自然科学基金项目(61572471);广东省科技计划项目(2015B010105001);中国科学院率先行动“百人计划”项目(Y704061000)

This work was supported by the National Key Research and Development Program of China (2017YFB1002801), the National Natural Science Foundation of China (61572471), the Science and Technology Planning Project of Guangdong Province of China (2015B010105001), and the CAS Pioneer Hundred Talents Program (Y704061000).

通信作者陈益强(yqchen@ict.ac.cn)

中图法分类号 TP391.4; TP18

Yu Diancun, born in 1991. MSc candidate. Student member of CCF. His main research interests include the pervasive computing and human-computer interaction.

Chen Yiqiang, born in 1973. PhD, professor. Member of CCF. His main research interests include the pervasive computing and human-computer interaction.

Peng Xiaohui, born in 1984. PhD, associate professor. Member of CCF. His main research interests include the architccturc and computing models of things computing system.

Jiao Shuai, born in 1984. PhD, assistant professor. His main research interests include the pervasive computing and computer architecture.

Li Xiaohai, born in 1989. PhD candidate. Student member of CCF. His main research interests include the pervasive computing and human-computer interaction.

Zhong Xi, born in 1991. MSc, student member of CCF. Her main research interests include the pervasive computing and human-computer interaction.