在飛速發展的信息時代，手機已經成為盲人與世界溝通的重要工具。盲人用手指觸摸屏幕時，讀屏軟件能夠把觸摸到的內容轉化為語音讀出來。在中國，預估有600萬盲人正在以這種方式使用智能手機。然而，如果說要與明眼人相比，盲人使用手機還有很多不方便的地方。其中一個問題就是單手交互。正如上圖中所示，盲人使用手機時主要采用的姿勢為一只手握持手機，將揚聲器貼近耳朵，用另一只手的手指摸索屏幕，聽取語音反饋。當被問及平時會不會單手交互時，除了極個別的專家級用戶，大多數盲人表示根本沒想過：要么盡量避免手里拿東西，要么就耐心點，等到雙手都空出來時再使用手機。但是這樣并不能從根本上解決問題。出行在外時，一手拿著盲杖或牽著導盲犬，或者在公交車上扶著扶欄，想使用手機就不是那么方便了。另外在公共場合時輸入密碼、聽取私人信息時，揚聲器放得聲音再小，周圍離得近的人也能聽到內容，具有隱私性的問題。
單手交互是備受關注的一個用戶體驗設計問題。針對明眼人，手機的設計在界面設計、交互方式上做出了很多優化。盲人應該同等地參與和體驗到設計和科技發展帶來的便利。為此，清華大學計算機系人機交互課題組設計了一套用耳朵與屏幕接觸的新穎交互方式，并開發了一種基于電容屏圖像分析的智能算法，使得盲人也能輕松單手使用手機。以打電話的姿勢使用手機，語音反饋可以從聽筒播放，也解決了隱私性的問題。這項技術，雖然是為盲人開發，但也具有通用性，明眼人在需要單手交互時，同樣可以使用。
那么，到底如何用耳朵來與手機交互呢？
對應于“手勢”的概念，耳朵交互中對于不同“耳勢”的設計。
用戶通過耳朵與屏幕接觸進行輸入，聽取語音反饋做為輸出，完成完整的交互過程。對應于“手勢”的概念，從耳朵本身的特性出發，耳朵交互也具有一套豐富的“耳勢”設計，用戶可以用耳朵在屏幕上執行單擊、滑動、旋轉、按壓、觸摸瀏覽等多種操作。用手指和手機屏幕交互，是保持手機不動而移動手指，與此完全不同的是，耳朵交互是保持頭部不動，挪動手機使得耳朵與屏幕的接觸方式發生變化。
單擊：用手機屏幕輕觸耳朵后馬上抬起。
滑動：用手機屏幕接觸耳朵后，可以向不同方向快速移動后抬起。
按壓：手機屏幕輕觸耳朵后，施加壓力，使得耳朵的全部結構與屏幕完全接觸。
旋轉：手機屏幕輕觸耳朵，以接觸點為軸，向前或向后旋轉。
觸摸瀏覽：與盲人用手指時所采用的方式類似，將耳朵貼在屏幕上一會兒，震動后，即進入觸摸瀏覽模式。這時手機屏幕類似一塊觸控板，用耳朵在屏幕上移動，即可聽到不同坐標點的內容，如果聽到了想要交互的目標，就可以通過按壓來選中。
基于這些操作，用戶基本上可以完成日常生活中所涉及到的交互任務，如撥打電話、發送信息、瀏覽應用等等。
一位盲人用戶正在用耳朵交互完成日常交互任務，很快學會并成功后，他露出了一絲笑容
那么，支撐這些交互方式的算法是如何實現的呢？
首先，需要對電容屏的原理有簡單的了解，以手指為例，人體作為導體與屏幕接觸時會產生微弱的耦合電流，如果我們將感知到電容信號的強度由低到高轉換為黑色到白色的像素數值，可以看到接觸得越好的地方顏色越亮。同理，當耳朵靠近、接觸屏幕時，也會在屏幕上產生信號圖像。我們就將這些圖像提取出來，進行分析和處理。
耳朵貼在觸摸屏上產生的電容圖像以及經過算法處理過后的圖像
耳朵與手指完全不同：手指具有一定硬度，與屏幕的接觸面積小而規整，而從生理結構上講，耳朵非常軟、由多個部分構成、表面不規則、高低不平。這對圖像算法的設計提出了一系列全新的挑戰：當用戶用耳朵碰觸屏幕時，到底哪一點才是他的意圖點？用戶用耳朵接觸屏幕并移動時，耳朵可能會卷起，導致圖像發生形變，怎么樣才能比較穩定地跟蹤耳朵的移動？等等。清華大學喻純課題組一方面開展多人次的用戶實驗，分析用戶的心理模型，收集用戶的意見；另一方面不斷優化高速目標跟蹤算法的設計，使得耳朵的移動軌跡能被穩定獲得，各種操作都能被穩定識別。
用戶使用耳朵交互中的觸摸瀏覽方式訪問手機屏幕上的應用
目前，耳朵交互已申請專利。在設計和開發的過程中，清華大學課題組的師生們接觸到了大量的盲人朋友，他們積極樂觀的精神令人感動。信息無障礙領域還存在很多根本性的問題亟待解決，如各類應用程序的無障礙開發意識不足，導致信息讀取不出來、交互無法完成等問題。這些問題都應該得到重視�？萍紤匀藶楸�，盲人應該和明眼人一樣擁抱同等自然的交互體驗。通過設計和開發這樣一種新穎的耳朵交互，我們不僅希望能夠改善盲人朋友在手機單手交互上的無障礙體驗，更希望能夠引起更多人對于信息無障礙的關注，一起推進更加平等的社會環境建設。
注：文章內的所有配圖皆為網絡轉載圖片，侵權即刪！