Microsoft AzureとMicrosoft HoloLensを利用した3D分子構造情報を共有する新しい授業

株式会社ナレッジコミュニケーションは、立教大学、株式会社スタジオミダスと共にMicrosoft AzureとMicrosoft HoloLensを用いた新しい形の授業の実現に向け模擬授業を2018年5月14日に立教大学望月研究室にて実施したことを発表致します。
本プロジェクトにおいて、3Dプリンタでは実現が難しかった視線の共有や教授と学生間のリアルタイムのコメント共有などの課題をMicrosoft AzureとMicrosoft HoloLensを活用し解決、実際に模擬授業を行いました。

△模擬授業当日の様子

今回のプロジェクトでは、株式会社ナレッジコミュニケーションが提供するベテランのノウハウをデータ化する「ナレコムVR」を活用しました。
Microsoft HoloLens上に取り込んだ分子構造の3Dモデルに、説明者の視線の共有や注目した位置にコメントを貼り付けることができます。
またそのコメントをMicrosoft Azure上に保存することで異なるロケーションでもコメントの共有を可能にしました。
Bing Speech APIを利用した日本語の音声入力、Microsoft Translator テキストAPIによる翻訳にも対応しています。

【ナレコムVRが提供する基本機能】

・ Azure Storageにアップロードした3DデータをMicrosoft HoloLens上に表示する

・ 音声入力により、注目した位置にコメントを貼り付ける

【ナレコムVRについて】
Microsoft Azureを活用したMR活用プラットフォーム「ナレコムVR」は、クラウド上でMicrosoft HoloLens を利用する上で必要になるモデル表示、空間へのテキスト表示及び記録、言語翻訳などの機能を提供しています。これらのサービスをサーバレスアーキテクチャにより実装することでお客様のニーズに合わせた機能追加にも1ヶ月以内で対応することが可能です。

【Microsoft AzureとHoloLensを連携するメリット】

• ・　Azure Functions やAzure Storageを用いたサーバーレス構成によりメンテナンスフリー、低コスト化の実現
• ・　Microsoft Cognitive Servicesを利用した音声-テキスト変換、翻訳などを素早く実現
• ・　研究データなどの重要なデータを扱うことのできるセキュアなインフラ環境の提供

【ナレコムVR アーキテクチャ図】

【本取り組みで得られたもの、教員の声】
・  Microsoft HoloLensを活用することにより、イメージ図などの二次元媒体から理解していた情報が三次元で目の前に広がることにより、学生の理解が促進され直感的でわかりやすい授業を実施することができた
・  MR（Mixed Reality / 複合現実）技術は特に分子構造などの研究と親和性が高く、研究の発展が見込まれる
・  新しい授業だけではなく、学会発表時の言語の壁など従来の課題を解決できる可能性の発見
・  Microsoft Azureを利用したMR活用プラットフォーム「ナレコムVR」を活用することで授業を行う上で必要な機能を2週間で提供

【関係各社の声】
立教大学 理学部 望月祐志 教授
今回の取り組みでは、ナレッジコミュニケーション社と共に小研究室の学生に対してカーボンやDNA構造などの代表的な分子構造モデルをMicrosoft HoloLensで共有する模擬授業を実施しました。
学生の反応や、コメントを聞くと従来の教材の表現に比べて、立体的かつ動的に内容の伝達が出来る可能性を感じました。
本件で強調しておきたい点は、今回のMicrosoft HoloLensによる模擬授業で用いた分子構造の3Dデータは、2015-2016年にスタジオミダス様と共に行った立教大学教育推進助成(GP)のプロジェクトの中で蓄積したものを利活用している点です。
同一のデータから3Dプリント物への出力、Microsoft HoloLensでの投影の2パターンの共有方法を選択できるため、これからの授業展開の上で利便性があると思います。
また、遠隔授業なども視野に入ってきます。
今後、教育での利用に加え、小研究室で推進している分子シミュレーション研究における計算結果の可視化に対しても、ナレコムVR及びMicrosoft HoloLensを活用していきたいと考えています。

株式会社スタジオミダス 中村 昇太 社長
弊社は2015年から2年の間、立教大学理学部において3Dプリンタを理学教育に活用するお手伝いをさせていただきました。
タンパク質の分子構造モデルをはじめ、シミュレーションモデルや物理構造モデル等々、非常に多くの模型を学内に導入した3Dプリンタで出力をし、実際の教育現場で活用していただきました。
この期間に蓄積した全ての3Dデータ（STL）は学内にアーカイブされており、いつでも利用することが可能になっています。
Microsoft HoloLensとこれらアーカイブデータを組み合わせた授業を拝見いたしましたところ、作成したデータの持つ価値を更に引き上げる事ができると大きな可能性を抱きました。
一つの3Dデータからリアル(模型)とバーチャル（VR）の感覚を同時に得ることができる取り組みは、教育現場のみならず、プロダクトデザイン、建築、エンターテイメントの分野においても革新的な物になると期待しています。

日本マイクロソフト社からのエンドースメント
日本マイクロソフトは、株式会社ナレッジコミュニケーション様が立教大学様においてMicrosoft Azure と Microsoft HoloLensを活用した模擬授業を行われたことを大変うれしく思います。
今後新しい授業モデルが導入されていくことで、学生の皆さまのさらなる理解促進が図られると共に、教育分野におけるデジタルトランスフォーメーションの推進につながるものと期待しています。
日本マイクロソフトは引き続き株式会社ナレッジコミュニケーション様と連携し、お客様のデジタルトランスフォーメーションの推進に貢献してまいります。

日本マイクロソフト株式会社
業務執行役員 パートナー事業本部 ソリューション＆ビジネス開発本部 本部長　佐藤 久

【Microsoft HoloLensについて】
マイクロソフトのホログラフィックコンピューター「Microsoft HoloLens」は Windows 10を搭載し、携帯電話やパソコンなどの外部機器と接続する必要がなく、ワイヤレスで使用できる、世界初の自己完結型ホログラフィックコンピューターです。
目の前の現実世界の中に、3Dの仮想物体を重ねて表示させることで、現実世界と仮想世界を複合させた、Mixed Reality（複合現実/MR）を実現します。
VR（Virtual Reality）デバイスと異なり、現実世界が見えている状態のまま、その場の現実空間と関連付けたホログラフィックや映像などを効果的に表示し活用できます。

社 名：株式会社ナレッジコミュニケーション
本 社：千葉県市川市相之川3-13-23 丸伝小川ビル3階
代表取締役：　奥沢　明
設 立：2008年11月
資 本 金：900万円
事業内容：Microsoft HoloLensに対応したアプリ/ソリューションの開発、AI事業、クラウド事業

＜お問い合わせについて＞
株式会社ナレッジコミュニケーション
ビジネス・デベロップメント部 中西・横内
TEL：047-397-8897
E-Mail：cloud@knowledgecommunication.jp
URL：http://www.knowledgecommunication.jp/