《跨 X 創》產業小聚#6 VR技術引爆超世代教學革新 : 從醫療與教育出發

000

講者:台大眼科兼任主治醫師 黃宇軒/法亞科技創辦人 彭子威、紀錄整理:Jacky、責任校訂:Jacky、攝影:Wayne

由經濟部數位內容產業推動辦公室與創夢市集DIT Startup舉辦的【跨x創 產業小聚】第6場〔VR技術引爆超世代教學革新:從醫療與教育出發〕於5月26日空總極客窩特別邀請台大眼科兼任主治醫師同時具備資工coding背景的黃宇軒醫師以及創業10年法亞科技執行長彭子威與大家分享醫療與教育在AR/VR應用面的神秘面紗。

黃醫師開頭說明自己跟其他醫師不同,自小學開始就開始coding,醫學院大五時候參加經濟部工業局第一屆的無線通訊比賽得到冠軍。傳統的思維,醫生就是需要診斷病情、檢查病人、治療病人,在醫學院上解剖學時,也必須小心翼翼處理大體,且有醫療學習資源不充足的現象,開始看診的時候,一旦檢查有病人需要動手術時,傳統的實習醫師必須要跟隨具備經驗的外科醫師,進而了解如何處置病人。

秉著對資訊的熱情與興趣,黃醫師也充分相信資訊技術應用可解決一些醫療產業與學習的問題,對於這一波AR/VR的應用,黃醫師認為有三個角度 -民眾、醫學院學生及醫師,可看到醫療VR應用可解決的問題。以前傳統PC版本時代就有人開發從遊戲角度,切入虛擬實境的胸腔開刀遊戲,但在實際遊戲操作上非常難玩,靈敏度低,然而現在VR遊戲的開發,畫面不僅比以往互動更流暢、頁面畫質大幅升級。AR的部分,黃醫師以在kickstarter群眾募資平台的一項AR擴增實境專案「Virtuali-tee」為例說明,此專案回饋商品是一款T-shirt,可透過Virtuali-tee自行開發的APP,只需透過手機看T-shirt,就可以看到許多人體內部運動狀況,這例子對醫師與病人在醫療溝通上有極大的幫助,因為往往病人是不知道自己身體運作,透過具象方式可表達更清楚。

若從醫學院學生角度看醫療的AR/VR應用,由於以往醫學院學生在大體解剖課程中,往往醫療資源不足,學習中免不了須用想像力才能理解人體內部的構造運作,然而目前光學穿透AR 3D技術,使用者可看到跟真實大小一樣且具備功能運作的器官,除此之外,不但可在畫面中將物品放大縮小且具有動態模擬,讓學生更輕鬆的學習。黃醫師指出相較過去在醫學院上課的學習效率差很多,尤其是醫學院的課程中有許多很常見的病例,傳統上僅靠超音波、斷層掃描等檢查方式,醫生無法光靠這些一張張圖片或是數據拼湊成實際病情,多虧現在的技術已可以幫助學生提高學習效率,病患也可以充分了解自己的病情。

另外一個案例是使用VR 360度實拍,以病人的第一人稱視野幫助醫學院學生看到病人本身行為及診間環境,過去都需要靠自己或是醫學院學生假裝成病患,主觀地去體會病人感受。這樣的應用不僅幫助學生提高病患同理心,因為過去無法真實地了解病人的心理因素及生理上的感覺。另外一個應用場景是急診室的模擬急救狀況,一樣是透過第一人稱的角度去模擬醫師的急救處置判斷。在國外,已有主治醫師頭戴2台GOPRO極限運動攝影機,以第一人稱角度去拍攝開刀的手術畫面。傳統手術間,其他的助手於精密手術過程中,因為角度問題,往往不能理解主治醫師所正在進行的畫面,透過現有可行技術,可幫助在學或是經驗不足的外科醫師,更有效的提高臨床經驗。

對醫師來說,醫療應用在疼痛舒緩跟恐懼治療方面等心理治療,VR的使用是可以降低患者換藥時的疼痛感。舉例來說前陣子發生的八仙塵爆案,這些病患每次在換藥的時候,都必須有高度忍痛。國外臨床實驗證明,發現傷燙傷病患換藥的當下,經由MRI(核磁共振)證實,若使用VR應用(如VR遊戲)可分散病患注意力,這些病患的腦部疼痛區是有明顯舒緩的效果,代表使用VR是可幫助病患減少換藥時的疼痛感;恐懼治療部分也能調整畫面內的恐怖因素,例如:一般人會害怕的蜘蛛,可調整蜘蛛大小及數量的VR真實感克服恐懼;對於懼高症的治療,也可於畫面內調整高度等等。透過目前的技術有效地幫助病患。

傳統的醫療檢查,一般分為侵入性以及非侵入性,非侵入性的檢查目前使用超音波方式,如心臟超音波。過去醫師只能從病人身上練習並培養病例經驗,現在可用VR模擬技術,不只可多加練習,而且可虛擬一些罕見的病例。侵入性的檢查,黃醫師以膀胱鏡為例,除了VR設備以外還需透過感測器、螢幕以及作業載具等,讓醫師能體驗真實的檢查過程,若是以傳統上來說,這種案例無法從人體上練習,因此可大大降低落差感,對於醫師來說是有很大的幫助。

接著,黃醫師以整形外科為例,不少國外診所已經在使用VR的技術進行3D模擬,不僅可讓醫師跟病患在手術前規劃預計的手術成果,甚至在傷口位置、型式、恢復狀況等的模擬,都可以在手術前先跟病患達成共識。黃醫師表示,醫師和病患溝通上面其實有落差,這樣的方式可以讓病人有心理準備,醫師也可以增加病患的信任感。另外一個例子,就是AR技術,醫生會讓病人預計動刀的部分,放置具有特徵點的圖卡,利用平板電腦掃描以裝置好位置之圖卡,呈現開刀完成的畫面。

黃醫師自身是外科醫師,說明像眼科、腦神經外科、心臟外科等,這些都是屬於要使用顯微鏡開刀部分的外科手術,目前已有模擬類似這樣小維度的開刀技術,譬如:Phantom Desktop 3D技術以及機械手臂,但黃醫師認為最重要其實是在設備上的力回饋感測器,因為開刀的部分都屬於為維度極小的單位,利用現在科技,不僅可以在尺度方面有放大縮小的效果,這樣子可以幫助醫師更了解開刀的狀況,也藉由該技術,提高對病例的了解。

目前台灣共有26台達文西手術機器人,目前該系統仍缺少擬真的力回饋系統,對於操作的醫師,需要透過事前反覆訓練才能安全正確地操作。目前達文西手術機器人所看到的都是即時的真實影像,還沒有辦法加入 AR 的手術導引資訊。

黃醫師說明針對未來醫療的AR/VR應用,目前有3個議題方向:

  1. 眼球追蹤的技術
  2. AR空間定位與特徵點追蹤的技術
  3. 可形變物體如人體器官等軟組織的模擬技術。

除了掌握上述關鍵技術外,若團隊想開發與醫療相關的應用,建議應找醫師加入研發團隊,以避免想像與實際應用的落差。

目前的VR設備大廠,如 Oculus,HTC Vive, Sony 等,官方對於使用年齡的建議是 12 或 13 歲以上使用,因此建議依循此官方數字,不建議 12 歲以下孩童使用;12歲以上的孩童每次使用時間應以 30 分鐘內為佳。

1

台大眼科兼任主治醫師/Scope+的發起者/台大資工博士候選人 黃宇軒 分享AR/VR在醫療應用的現況與趨勢

法亞科技執行長彭子威過去十年不斷投入在分析產業與創新創業,這次跟大家分享VR應用如何翻轉教育。

其實大學專科以上的專業領域(如工程界、醫療領域)已經都大量在使用VR,其獲利程度也已是可預期。不過彭執行長也在思考,那要如何落實這項新技術到中、小學教育領域。過去研究發現,台灣具備一定的教育優勢,相較全世界來說,台灣基礎教育的基底是足夠的,但因為全世界教育體制太大,個別區域、文化都不同,因此要將VR教育傳承下去並讓大家接受,一開始必定是一場辛苦的仗。

彭執行長舉例,被比爾蓋茲投資的可汗學院創辦人在2007年提出三個教育論點:學習主體還給學生、讓天賦自由、因材施教。當初可汗學院創辦人只是想解決學生缺課問題,因而老師自行拍攝課程,影片上傳到網路,讓學生不用到學校,也能在校院外學習。例外也以台灣為例,中山女高化學張輝誠老師,曾自創『學思達教學法』,學習、思考、達成目標三步驟的教學模式,並提出老師應該由傳遞者變成引導者,幫助學生找到更好的問題。另外一個是台大電機教授葉丙成教授,利用Coursera軟體開設機率課程,全球首創以線上遊戲模式的學習系統。

中、小學也有適合的AR/VR教育應用,彭執行長也舉例像是自然生態界、機械工程、野外求生的訓練等,如果可以結合VR,可讓學生進入太空艙,學習如何駕駛太空船且模擬艙上的各種狀況,可達到跨越空間、時間的限制,進一步也可增加各式各樣公共空間場景,譬如:博物館。彭執行長說明:AR擴增實境可以拓展人類的生活體驗,VR虛擬實境是可減少實際環境操作風險,對學生來說,這才是真正解放他們的天賦。未來希望學生學習透過VR模擬駕駛NASA太空船,還可以將學生送到火星去,產生一些火星的虛擬角色及人物,模擬真實、高畫質的畫面,讓學習環境更具多元性及主動性,且可減少過去應花費在教育的成本。上周Google I/O大會也宣布了一款新的應用DayDream,這款高畫質的模擬教學,就是透過遊戲化方式,將原本複雜的知識簡化掉,目前這塊領域還需開發者的投入。

彭執行長說明自主學習需要幾個步驟,一開始得讓學生產生興趣,接著產生學習熱情、提升學習效率,最後建立這些學生的熱誠,並且打破空間/時間的限制。彭執行長也提出一個情境,何謂「輕舟已過萬重山」,這句話到底是甚麼意思,未來是不是能夠開發出「文學中的地理」,讓這些課本內既有科目重新互跨科系,以新的面貌呈現在家長、學生和老師面前,文學中的地理資訊環境可經由軟體撰寫,透過虛擬畫面呈現給學生。目前執行長已經跟台北市幾間高中談好一個VR合作,未來會建立大型VR/AR教育場域,公司除了要開發教育內容,還需大量PM整合台灣的老師以及家長,了解市場需求以及整合、溝通、協調各領域部門。

未來希望能夠讓老師自由編輯教學教材,僅透過開發工具即可完成,在各類別學科,譬如生物、機械、電路以及儀器操作等,甚至連校外教學,都可以透過這樣的教學內容,大大減少時間、空間的限制,而且可大幅降低校內每年教育成本。

VR教育的推廣,除了需要政府協助,另外在出版通路的業務能力,也是相當大的挑戰,彭執行長表示當初2008就看見體驗教學是一塊目前教育很欠缺的一塊核心,如今AR/VR設備的出現,絕對是邁入新一代教育的最後的一哩路,法亞科技八月將會正式發布VR教育產品,未來朝向美、中市場開拓,會以學生為主體出發,但因為地域、文化以及教育文化不同,主要還是要說服各地的施教者,若以台灣為例,要說服的其實是家長們而非學生。

2

法亞科技創辦人-彭子威蒞臨跨X創產業小聚分享VR如何翻轉教育