微軟與與長崎大學(xué)、后藤中央醫(yī)院、長崎縣和后藤市簽署合作協(xié)議，利用混合現(xiàn)實和人工智能，在醫(yī)療專家短缺的地區(qū)提供高水平、同質(zhì)化的醫(yī)療保健，旨在為類風(fēng)濕關(guān)節(jié)炎患者提供遠程醫(yī)療的實際應(yīng)用。

長崎大學(xué)類風(fēng)濕性關(guān)節(jié)炎遠程醫(yī)療系統(tǒng)（NURAS）已被開發(fā)為日本第一個利用混合現(xiàn)實（Mixed Reality）為類風(fēng)濕性關(guān)節(jié)炎患者提供的下一代在線遠程醫(yī)療系統(tǒng)。

長崎大學(xué)風(fēng)濕性關(guān)節(jié)炎的NURAS遠程醫(yī)療系統(tǒng)概述：

NURAS是一個系統(tǒng)，通過使用混合現(xiàn)實和其他技術(shù)，使偏遠地區(qū)（如偏遠島嶼和專家人數(shù)不足的偏遠地區(qū)）的患者能夠接受風(fēng)濕病專家的遠程醫(yī)療，其準(zhǔn)確度比以往更高。 雖然傳統(tǒng)的視頻電話或網(wǎng)絡(luò)會議系統(tǒng)可用于遠程醫(yī)療，但由于只能用平面圖像（二維）觀察和推斷病變部位，主要是在關(guān)節(jié)處，因此很難進行準(zhǔn)確的關(guān)節(jié)評估，這對類風(fēng)濕性關(guān)節(jié)炎的治療至關(guān)重要。 在這個系統(tǒng)中，微軟的Azure Kinect DK被放置在病人面前作為深度傳感器，專家戴著微軟HoloLens 2，這是一個實現(xiàn)混合現(xiàn)實的設(shè)備，并使用微軟團隊，一個協(xié)作工具。 該系統(tǒng)能對僅用平面圖像難以評估的病變部位進行三維（3D）和實時觀察和評估。

Azure Kinect DK是一個可以捕捉被攝對象立體視頻的攝像頭，可用于生成3D全息圖，并實時投射到醫(yī)生的HoloLens 2上，還可以錄制清晰的音頻，包括聲源的方向，Azure Kinect DK內(nèi)置的7 Azure Kinect DK的內(nèi)置7個麥克風(fēng)陣列可以記錄清晰的音頻，包括聲源的方向。 此外，通過符合厚生勞動省、經(jīng)濟產(chǎn)業(yè)省和總務(wù)省管轄的 “三部三指南 “的微軟Azure云平臺，可以安全地處理捕獲的患處圖像和病人與醫(yī)生之間的對話錄音。 數(shù)據(jù)的處理是安全的。 這使得即使在專家數(shù)量較少的地區(qū)，如偏遠島嶼和偏遠地區(qū)，也能提供高標(biāo)準(zhǔn)的統(tǒng)一風(fēng)濕病學(xué)遠程醫(yī)療。 下面可以看到長崎大學(xué)類風(fēng)濕性關(guān)節(jié)炎遠程醫(yī)療系統(tǒng) “NURAS “使用時的圖像視頻。

未來的發(fā)展：

該系統(tǒng)不僅可以應(yīng)用于類風(fēng)濕性關(guān)節(jié)炎患者，在日本估計有600,000-1,000,000人，還可以應(yīng)用于其他神經(jīng)系統(tǒng)和肌肉骨骼疾病，在這些疾病中，需要在與病人互動的同時觀察病變部位和運動評估。 這次將通過網(wǎng)絡(luò)連接長崎大學(xué)醫(yī)院和后藤中央醫(yī)院進行示范實驗，但由于該系統(tǒng)可以連接任何有網(wǎng)絡(luò)連接的地區(qū)的專家，因此預(yù)計在新的冠狀病毒感染流行期間，它將有助于減少日本和海外醫(yī)院長途訪問和訪問期間人員流動的感染風(fēng)險，同時也有助于 我們相信，這也將有助于醫(yī)療工作者工作方式的改革。

在未來，有計劃將其與使用5G的高速通信技術(shù)聯(lián)系起來，并將其發(fā)展到其他領(lǐng)域，包括以學(xué)生實踐培訓(xùn)為中心的教育和研究，目前由于冠狀病毒災(zāi)難，這是很困難的。

此外，人工智能（AI）將被應(yīng)用于該系統(tǒng)，以實現(xiàn)快速檢測咨詢期間病人面部表情的變化并自動評估病人的情緒狀態(tài)（如焦慮和滿意）的功能，以及以文本形式按時間順序記錄病人對話的功能。從人工智能中獲得的數(shù)據(jù)將被用來幫助改善病人自身的生活質(zhì)量，減少病人和醫(yī)生之間的心理距離，他們在物理上是分開的。 該系統(tǒng)也有望幫助改善病人本身的生活質(zhì)量。