扒一扒Force Touch的前世今生，談一談智能硬件時代的人機(jī)交互

蘋果iPhone6S的發(fā)布，通過siri、Force Touch、Haptics技術(shù)打開了全新的人機(jī)交互時代。

 

從2011年開始，智能手機(jī)與平板電腦歷經(jīng)爆發(fā)性成長，手勢觸控技術(shù)開始取代鍵盤鼠標(biāo)，帶來了一場人機(jī)交互革命。2014年底，智能硬件迎來大爆發(fā)，預(yù)計(jì)2015年全球互聯(lián)設(shè)備將達(dá)到49億臺，到2020年更上看250億臺。隨著智能硬件的迅速放量，從最早的單一控制功能，到最后實(shí)現(xiàn)復(fù)雜的應(yīng)用場景，原有的人機(jī)交互技術(shù)，如觸控、語音、體感、生物辨識正逐漸融合，而類似于觸覺反饋、虛擬現(xiàn)實(shí)(VR)等新興人機(jī)交互技術(shù)正逐漸顯現(xiàn)。

 

 

 

 

智能纖維：透過布料實(shí)現(xiàn)觸控交互

 

在智能手機(jī)上，觸控已經(jīng)是必不可少的操控方式。但是到了可穿戴設(shè)備以及智能硬件上，由于產(chǎn)品尺寸以及待機(jī)時長的限制，觸控交互不如智能手機(jī)上那么方便了，可實(shí)現(xiàn)的功能也非常有限。因此，在最初一代產(chǎn)品中，類似于智能手表這樣的產(chǎn)品只能成為手機(jī)配件，大部份的交互方式還需要透過手機(jī)來實(shí)現(xiàn)。

如何在方寸之間實(shí)現(xiàn)更多的功能，而且還得確保產(chǎn)品的美觀？

 

Apple Watch的解決方式是重新定義用戶的操作手勢及用戶體驗(yàn)——“橫向滑動”切換頁面、“點(diǎn)按”選擇內(nèi)容，“長按”則是打開菜單。此外，Apple Watch還增加了表冠(crown)與實(shí)體按鍵。在操控方式上，表冠既可輕按又可以旋轉(zhuǎn)縮放屏幕大小。此外，Apple Watch還透過不同的震動方式來提示如何轉(zhuǎn)向。Apple Watch出現(xiàn)的意義并不是為了顛覆手表產(chǎn)業(yè)，而是真正讓可穿戴設(shè)備可以脫離手機(jī)的的地心引力而存在，使其能夠獨(dú)立展開形成完整的應(yīng)用生態(tài)。

 

除了蘋果(Apple)，Google也在積極探索智能可穿戴設(shè)備的人機(jī)交互方式。早在幾個月前最新的Google I/O大會上，專攻尖端技術(shù)的ATAP團(tuán)隊(duì)展示了透過衣物進(jìn)行交互的技術(shù)Project Jacquard。

 

 

Project Jacquard透過衣物進(jìn)行交互

 

這個技術(shù)的思路是在紡織品中加入電路，與康寧(Corning)發(fā)布的概念宣傳片《Glass 2塑造的一天》相較，未來人機(jī)交互的主角不再僅僅是各種玻璃，而是可以將衣服、褲子、汽車坐墊或窗簾都變成可交互的媒介。人們可以透過各種織物來控制手機(jī)、計(jì)算機(jī)、可穿戴設(shè)備甚至家電。

 

目前，ATAP團(tuán)隊(duì)已經(jīng)與日本一家布料廠合作，將導(dǎo)電的線路與棉線編織在一起，并保留柔軟的觸感，以及支持不同色彩、棉質(zhì)/化纖/絲質(zhì)的質(zhì)料。另外，他們還與Levi's合作設(shè)計(jì)了一款搭載Project Jacquard的棉質(zhì)外套，外套的觸摸感應(yīng)區(qū)可以辨識多點(diǎn)觸摸，并支持一定距離內(nèi)的隔空操作。

 

這種新開發(fā)的紗線能以3D技術(shù)來紡織，并與微控制器聯(lián)機(jī)以制作低功耗觸摸板；Schwesig表示，這種線路本身就具備低功耗特性，預(yù)期嵌入在衣物時能連續(xù)運(yùn)作一星期。雖然能量采集是搭配這種紡織品會很不錯，但ATAP團(tuán)隊(duì)還沒著手開發(fā)相關(guān)技術(shù)。

 

 

將導(dǎo)電的線路與棉線編織在一起，可實(shí)現(xiàn)交互功能

 

Google還展示了新開發(fā)智能纖維的數(shù)種應(yīng)用情境，包括用戶能用多種手勢來開燈或是在手機(jī)上操作音樂播放。Schwesig表示這種紗線也能運(yùn)用于汽車內(nèi)裝，但Jacquard項(xiàng)目是以一種通用技術(shù)來進(jìn)行研發(fā)，未特別針對某個使用情境。

 

這種技術(shù)的應(yīng)用想象空間非常大，例如早上穿外套準(zhǔn)備上班的時候，手機(jī)就自動預(yù)定Uber；穿上慢跑鞋后自動追蹤運(yùn)動數(shù)據(jù)；在衣服袖子上滑動一下，就可以解鎖手機(jī)并對它下達(dá)語音指令等。與其用手環(huán)監(jiān)測運(yùn)動參數(shù)，不如直接用鞋子來得更精確。

 

Force Touch的前世今生，核心算法來自……

 

以觸控技術(shù)而言，手勢控制雖然無法實(shí)現(xiàn)更精準(zhǔn)的控制，但是透過算法使得人機(jī)交互顯得更加“智能”，可以透過不同的手勢和姿態(tài)判斷用戶的使用場景，這似乎更適于應(yīng)用在可穿戴設(shè)備上。Google眼鏡盡管是一款過于前衛(wèi)的產(chǎn)品，但是它的人機(jī)交互方式主要還是采用手勢或自然動作實(shí)現(xiàn)。例如用戶只要眨眨眼睛就能拍照。

 

Apple的手勢應(yīng)用主要采用壓力觸控(Force Touch)技術(shù)，這項(xiàng)技術(shù)的軟件算法來自于生物識別安全公司Privaris。目前，該公司已經(jīng)把大部分專利轉(zhuǎn)移給蘋果。這種技術(shù)是一種可以區(qū)分輕觸和用力按壓的功能，可以支持大量的新手勢。它的原理是將壓力敏感融入多點(diǎn)觸控輸入機(jī)制中，用戶只要用力長按，就可以啟動二級動作。Apple Watch的壓力觸控常被視為類似Mac計(jì)算機(jī)右擊的功能，用以打開下一層的設(shè)備和菜單選項(xiàng)，如果沒有這種機(jī)制，很難將這些操作融合到一個非常小的接口。

 

 

Apple Watch的壓力觸控技術(shù)

 

這種技術(shù)已經(jīng)從Apple Watch擴(kuò)展到Apple的其它產(chǎn)品線，如新一代iPhone以及Macbook系列，未來可能將繼續(xù)使用到蘋果的其他產(chǎn)品線如ipad。此外，壓力觸控還將與實(shí)時的觸覺反饋配合使用，除了現(xiàn)有的多點(diǎn)觸控功能，還能讓開發(fā)者為高端用戶開發(fā)專有的功能。事實(shí)上，壓力觸控帶來的應(yīng)用還不止是實(shí)現(xiàn)某些操控手勢，由于支持不同的壓力變化，使得用戶在觸控屏幕上實(shí)現(xiàn)精確的作畫及書寫成為可能。在蘋果最新發(fā)布會上，展示了利用ipad Pro配合Applepencil制作出的精美畫作。

 

華為(Hwawei)在新一代iPhone上市之前搶先在手機(jī)上采用類似的技術(shù)。華為消費(fèi)者終端董事長余承東在參展德國柏林IFA大會上發(fā)布了旗艦手機(jī)Mate S，現(xiàn)場展示的‘The Power of touch’壓力觸控技術(shù)，能夠稱量橘子的重量。

 

實(shí)際上，美國Z-origin的 Z-Tohch則是較早的觸控探索者；TI公司早前推出過基于高電壓的新一代振動馬達(dá)的驅(qū)動芯片；美國“IMMERSION”公司擁有基于“觸覺交互”的大量技術(shù)儲備與專利；中國的衡業(yè)新材也在研發(fā)“新一代觸摸反饋”的核心硬件。早在2009年黑莓(Blackberry)就在Storm系列手機(jī)上采用過類似的屏幕按壓技術(shù)SurePress了，不過用戶在使用時必須按壓很大的力量，因此用戶體驗(yàn)非常糟糕。

谷歌逆天發(fā)明，精準(zhǔn)的毫米波手勢控制

 

相較于Apple Watch的Force Touch 壓力觸控方式，Google的手勢控制方案Project Soli更具有顛覆性，用戶可以透過搓動手指實(shí)現(xiàn)控制音量大小、切換歌曲、隔空調(diào)節(jié)耳機(jī)音量等功能。

 

這項(xiàng)技術(shù)是一種60GHz的毫米波技術(shù)。也就是說，無論是控制手表、平板，還是手機(jī)等設(shè)備接口，將不再受制于屏幕。不必再透過接觸觸控屏幕來實(shí)現(xiàn)觸控，通過脈沖雷達(dá)波在任意空間擷取用戶的手勢，即可實(shí)現(xiàn)對設(shè)備的控制。這也就是我們平常所說的體感交互，而現(xiàn)在Google在這當(dāng)中應(yīng)用了更精準(zhǔn)的新技術(shù)。

 

 

毫米波技術(shù)，手勢控制方案

 

 

透過搓動手指控制手表

 

這是一種基于無線電波反射建立的交互系統(tǒng)，5mm波長的無線電波能夠探測到5m空間范圍內(nèi)的精細(xì)動作，目前Soli可以感測/辨識手指的捏轉(zhuǎn)、搓動與傳動等動作，感應(yīng)誤差精密到毫米級。這種技術(shù)的困難在于要在盡量最小的尺寸范圍整合無線電波發(fā)射天線與接收天線。此外，這種操控方式在實(shí)際應(yīng)用中是否有實(shí)際意義，例如打個響指切歌是否真的比單擊按鍵切歌方便？這些都缺少更加真實(shí)應(yīng)用案例和用戶體驗(yàn)。

 

 

手機(jī)震動就是觸覺反饋Haptics的最初應(yīng)用

 

蘋果在iphone6S上內(nèi)置了一個振動器，將Force Touch技術(shù)與觸覺反饋(Haptics)技術(shù)相結(jié)合。Haptics是一種透過馬達(dá)和觸摸板搭配實(shí)現(xiàn)不同觸覺體驗(yàn)的技術(shù)。手機(jī)震動就是Haptics最初的應(yīng)用，目前幾乎大部份的智能手表和手環(huán)都具有振動反饋功能。

 

這一技術(shù)最早從Sony開始嘗試，并推出了第一代Haptics技術(shù)的手機(jī)，三星(Samsung)甚至生產(chǎn)了一款型號帶觸覺字樣的手機(jī)——三星Haptic 2。Apple在2007年提交了相關(guān)專利，在題為《光滑觸控表面實(shí)現(xiàn)按鍵觸感的若干方法》中描述了如何讓用戶感覺屏幕的凸起和凹陷。

 

比如，日本DOCOMO生產(chǎn)的一款“RAKURAKU”老人手機(jī)，其振動回饋可以讓在老人觸摸屏幕有觸感，如按壓鍵盤一樣的實(shí)物感，還曾風(fēng)靡一時；日本松下也推出獨(dú)特振動回饋的平板；韓國PANTECH（潘泰）也推出過精敏振動的平板等等。

 

 

Haptics觸覺反饋技術(shù)

 

 

Haptics技術(shù)的3種振動器應(yīng)用形式

 

Haptics技術(shù)的建置目前有三種主要方式：偏轉(zhuǎn)質(zhì)量(ERM)、線性共振(LRA)、壓電傳動。其中目前比較成熟的技術(shù)是ERM和LRA技術(shù)，主要透過轉(zhuǎn)自馬達(dá)和線性馬達(dá)實(shí)現(xiàn)振動反饋，其中線性馬達(dá)更能實(shí)現(xiàn)不同方向的振動。

 

在手機(jī)領(lǐng)域，線性馬達(dá)目前已經(jīng)逐漸普及，而在汽車電子領(lǐng)域，主要仍采用轉(zhuǎn)子馬達(dá)。至于采用壓電傳動的稀土馬達(dá)，其原理主要是采用具有壓電效應(yīng)的多晶體逆壓電效應(yīng)，在該晶體產(chǎn)生形變時產(chǎn)生電流，而在為晶體施加電壓時，晶體產(chǎn)生形變。目前包括三星、AAC、村田(Murata)、TDK與TI都正積極開發(fā)Haptics相關(guān)產(chǎn)品。

 

 

Haptics的壓電傳動實(shí)現(xiàn)方式

 

在游戲與虛擬現(xiàn)實(shí)等應(yīng)用中，Haptics技術(shù)可為用戶帶來身歷其境的觸覺體驗(yàn)。微軟亞洲研究院正嘗試將Haptics技術(shù)應(yīng)用在消費(fèi)產(chǎn)品和可穿戴設(shè)備上。此外，透過對采用Haptics技術(shù)的鍵盤進(jìn)行測試，結(jié)果顯示擁有觸摸反饋的鍵盤，其輸入速度和正確率比單純利用視覺或聲音反饋單鍵盤更高許多。

 

未來在網(wǎng)購體驗(yàn)中，Haptics將可能在手機(jī)或平板電腦的觸控屏幕上仿真商品的真實(shí)紋理與質(zhì)地。此外，在智能手表中采用Haptics技術(shù)，將可透過壓電效應(yīng)實(shí)現(xiàn)各種控制。例如將壓電組件置于觸控表面下，透過電流實(shí)現(xiàn)類似于實(shí)體按鍵的觸控效果，或者透過壓力實(shí)現(xiàn)待機(jī)一鍵啟動等。

 

 

聰明如siri，語音交互只會更智能

 

蘋果最近正在大舉招募人工智能專家，旨在挑戰(zhàn)谷歌在人工智能領(lǐng)域的領(lǐng)先地位。在蘋果最新發(fā)布的iOS 9系統(tǒng)中，智能機(jī)器人Siri可通過學(xué)習(xí)辨識聲音ID。

 

在智能硬件時代，人機(jī)交互的核心需求正朝向處理復(fù)雜任務(wù)的趨勢變遷。直接透過語言對話是處理復(fù)雜任務(wù)的理想人機(jī)交互方式。用戶希望能有一個真正智能的“隨身管家/秘書/數(shù)字助手”，而不僅僅是一個語音轉(zhuǎn)文字的工具。從iPhone推出Siri開始，包括Nuance等語音技術(shù)供貨商正持續(xù)優(yōu)化語音交互技術(shù)，以求實(shí)現(xiàn)最佳體驗(yàn)，其主要發(fā)展方向集中于語音識別與語音合成。

 

智能手表廠商映趣科技(inWatch) CEO王小彬認(rèn)為，智能手表的交互方式應(yīng)該做到盡量減少設(shè)備接觸，透過語音技術(shù)解放雙手。這一點(diǎn)在車載設(shè)備上有更嚴(yán)格的要求，目前有不少智能硬件廠商正針對車載環(huán)境開發(fā)智能后視鏡及導(dǎo)航產(chǎn)品。智能后視鏡廠商威仕特CEO聞?wù)硎荆^去語音技術(shù)只能由機(jī)械辨識“去哪兒”，而不能理解“我想去哪兒”，而現(xiàn)在要做到“我不知道去哪兒，你推薦我一個地方去”。

 

首家采用認(rèn)知交互模型設(shè)計(jì)語音交互系統(tǒng)的思必馳(AI Speech)在傳統(tǒng)語音識別和合成技術(shù)上導(dǎo)入交互人工智能，透過情境理解和多輪交互，針對最終任務(wù)完成度和用戶體驗(yàn)進(jìn)行系統(tǒng)設(shè)計(jì)和優(yōu)化。什么是“交互人工智能”？所謂的“人工智能”包括運(yùn)算智能、感知/表達(dá)智能、認(rèn)知智能與抽象思維等四大智能模塊。思必馳認(rèn)為認(rèn)知型的對話是語音交互的未來，不僅僅是簡單的辨識語音，而是真正能夠讓機(jī)器像人一樣進(jìn)行分析、推理與處理指令。

 

在具體使用中語音交互面臨環(huán)境噪聲、辨識率的問題。思必馳的解決方式是透過麥克風(fēng)數(shù)組模塊+云端服務(wù)來實(shí)現(xiàn)自動回音消除以及遠(yuǎn)程語音識別。

 

 

 

 

類似蘋果的語音助手Siri，國內(nèi)華為榮耀7的智靈鍵采用獨(dú)立物理按鍵語音連接互聯(lián)網(wǎng)。能夠喚醒語音助手，并且深化語音助手功能，將語音功能和很多日常軟件打通。例如嘀嘀打車、微博、備忘錄、菜譜、地圖等軟件都能夠?qū)崿F(xiàn)語音操控。

 

 

人工智能+大數(shù)據(jù)，人機(jī)交互的究極形態(tài)

 

日前，百度結(jié)合語音識別和圖像識別功能，推出全新的機(jī)器人助理度秘（duer）——個人數(shù)字助理。

 

整體而言，單一的人機(jī)交互方式無法滿足智能硬件多元應(yīng)用場景的需要，從自然人機(jī)交互的未來趨勢來看，高度便利的多模態(tài)自然人機(jī)口語交互方式是最自然且想的人機(jī)交互方式。所謂多模態(tài)人機(jī)交互是指融合視覺、聽覺、觸覺、嗅覺甚至味覺的交互方式，其表達(dá)效率和信息都優(yōu)于單一的視覺或聽覺模式。

 

簡單來說，未來的人機(jī)交互模式中，輸入信息的方式將變得越來越簡單、隨意與任性，例如隨口說句話、比個手勢、打個響指或甚至使個眼色就能告訴機(jī)器一項(xiàng)信息。但是機(jī)器能否理解你發(fā)出的信息就是人工智能的范疇了，如果你不想出現(xiàn)機(jī)器聽不懂你說“我想靜靜”到底是什么意思，就有必要讓機(jī)器反問你一句“你到底是想一個人靜靜？還是想念靜靜？”

 

甚至到了最后，用戶再也不用主動發(fā)出信息，透過眼球追蹤、觸覺反饋、各種傳感器，機(jī)器將自動監(jiān)測分析用戶所在的環(huán)境、狀態(tài)甚至情感信息，協(xié)助用戶進(jìn)行選擇或提供服務(wù)。例如當(dāng)你睡著了，機(jī)器系統(tǒng)將主動關(guān)燈、關(guān)電視甚至幫你蓋被子。這可以說是人機(jī)交互的最高境界了，到了這個階段硬件才可以真正稱得上是“智能”。不過要實(shí)現(xiàn)如此高度智能化的前提是，設(shè)備必須透過許多的“大數(shù)據(jù)”來進(jìn)行演算分析，讓智能設(shè)備記住你的行為習(xí)慣和偏好并越來越懂你，甚至有一天比你自己還要了解你。