おおきなき交流広場~言の葉(ことのは)~

「どんなに重い障がいがあっても伝えたい気持ちがある」ー障がいのある人の想いを形にする試みを続けています。就学前のお子さんから特別支援学校卒業後の生涯学習にいたるまで、障がいのある人の生き生きとした姿をお伝えしていきます。

2020年12月


好きな曲を聞きながら、楽器を視線で選び、演奏する

 -EyeMoTボックス・EyeMoTボックスアプリの活用を通して-

ブログ1
 私達の生活の中で、「音楽」は、とても大切なものの1つではないでしょうか。ベッドで過ごす時間の長い障がいの重い方にとって、私達以上に生活の中で「音楽」の持つ意味は大きいと感じています。

でも、自分で好きな曲を選んで聞くことはなかなか難しいことですし、ましてや自分で好きな楽器を選んで演奏するというのは、かなりハードルの高い活動だったと思います。

 

 私の授業の中でも、スイッチでいろいろな楽器を鳴らす活動はしてきましたが、視線入力の場合は、視線入力用のピアノやギターのアプリを使う活動に限定されていました。

 

 それが、今年、島根大学の伊藤史人さんの研究室で開発されたEyeMoTボックスとEyeMoTボックスアプリを活用することにより、視線入力でいろいろな楽器を演奏することが可能になりました。念願の支援機器とアプリの誕生です。

 

 スイッチでなくEyeMoTボックスアプリを使って視線入力で演奏するメリットは、複数の楽器の中から視線の移動だけで、楽器をすばやく選択しながら演奏することができることです。もちろん、1つの楽器にしぼって演奏するのもいいと思います。
 障がいの有無に関係なく、たくさんの人と一緒に合奏することも可能ですね。

 雅也さんと望さんの実際の演奏の一部をYouTubeで発表していますので、ご覧ください。二人とも演奏をとても楽しんでくれて、声もよく出ていました。

 
 EyeMoTボックスアプリの選択画面は、いくつか用意していますが、主に下の2つを使っています。右側の楽器と左側の楽器の選択に偏りがある場合は、片方が見にくいということがないか確認するために、入れ替えて試してみることもあります。


スクリーンショット (198)

スクリーンショット (199)
 
メインの楽器は、YAMAHAの電子キーボードSHS-500 にして、選択画面の真ん中に配置しています。いろいろな楽器の音が出せることやJAM機能があり、いろいろな曲のコード演奏ができるからです。
(この楽器は、訪問大学おおきなきの講師の熊谷修さんに紹介してもらいました。)

 

好きな曲は、iTunesで購入することよってiPadYAMAHAのアプリChord Trackerに取り込まれます。CDの曲の場合は、DropBoxで共有することによって取り込まれます。あとは、アプリがコードを自動解析してくれます。

 

楽器については、直接、電気で動く楽器を改造する場合と、シンプルテクノロジーで100均のハンドミキサーを改造して使ったり、ワリバッシャーを使ったりすることが考えられます。

 
 私は、下の写真のように、
ワリバッシャーは2つ用意して、ウインドウチャイムと電子キーボード(SHS500)を鳴らすのに利用しています。

ブログ2
 改造した楽器としては、パナソニックが1990年頃に発売した楽器でボンゴボンゴという電子ドラムを使っています。10年ぐらい前は、ヤフオクで3,0004,000円で購入できたのですが、今はレアになったのかメルカリやヤフオクで1万円位に値段が上がっています。今、使っているのはSY-DP318種類の音が楽しめるものです。

 

 鈴は、タワッチにくっつけて動かしています。タワッチはスイッチで相撲などをして楽しんでいました。駆動部は、私はダイソーの電動字消しを使っています。
(ちょっと脱線しますが、お時間のある方は、タワッチ相撲をお楽しみください。)



                       (相澤純一)


  <クリスマスイブの日の授業から>
――EyeMoTボックス・EyeMoTボックスアプリの活用を通して――
nozomiハッピークリスマス
 
 
今年の11月の日本特殊教育学会の自主シンポジウム「知的障害と肢体不自由のある子どもに視線入力は有効か」に参加し、私は、あらためて視線入力のことを原点に立ち返り考えようと思いました。全国各地のシンポジウムに参加された方の中にも同じような思いを持たれた方がいるのではないかと思います。

 私は、障がいの重いお子さん、大人の方にかかわっていて、知的障害の有無にかかわらず、その方のことをもっと知りたいと思ったときに、視線入力装置や視線入力関係のアプリが有効に活用できることが多くあると考えています。

 今年は、私が視線入力でできるようにならないかと夢に思い描いていた、玩具や機器を動かすアプリ(EyeMoTボックスアプリ)と支援機器(EyeMoTボックス)が島根大学の伊藤史人さんの研究チームで開発されました。この場をお借りして、感謝申し上げます。

画像2

 上の写真
は、12月24日のEyeMoTボックスアプリの望さんの視線の履歴です。
 見事に授業日がクリスマスイブの日に当たったので、この日の内容は、クリスマス特集にしてみました。

スクリーンショット (198)

 授業では、上の写真の3枚のボタンの楽器をクリスマスソングに合わせて視線で鳴らしてもらおうと用意しました。

 上の視線の履歴を取った時に望さんの見ていたのは、iPadからHDMIケーブルでモニターにつないで映したYouTubeのクリスマスにちなんだ動画3つです。

 感染防止対策もあり、今年度の授業では、絵本の読み聞かせ等の代わりに動画を21.5インチのモニターで見てもらっています。今回は、山下達郎の「クリスマスイブ」back numberの「クリスマスソング」そして、ジョン・レノンの「ハッピー・クリスマス」の動画を用意しました。
 動画は、EyeMoTボックスアプリを起動した状態で見てもらいました。
(アイトラッカーをノートPCに接続し、モニターに設置しています)

 その時の上の写真の視線の履歴を見て、こんなに集中して見ているんだと驚きました。ど真ん中をよく見ています。(正確にはやや左側でしょうか)真ん中のボタンを見ていた時間も距離も、左右のボタンの4~5倍以上あります。
(視線の履歴は2番目のback numberの動画の中の114秒分になります。そのうち画面の3つのボタンの上に視線が載っていたのは、81.9秒で約72%の時間になります。このボタンは任意の設定で本人には見えていません。)

 左右の積算ピクセル数(視線の移動距離)を見ると大きな違いは見られないのですが、左側が12.7秒、右側が5.5秒で見ていた時間の差は大きいです。ヒートマップを見ても分かるように、左側は注視しやすく、右側は視線が流れやすいことが読み取れます。視線が速く流れてしまうので、積算ピクセル数が多くなり、移動距離に対して見ている時間が短くなっています。
 望さんは、頭が左に倒れがちなので、左側は見やすく、右側を集中して見るのにハンディがあることが分かります。
         *姿勢や首の角度の修正である程度は解決できます。

 
 望さんの動画を見ている時の様子について、視線の履歴をとったのは今回が初めてです。それもEyeMoTボックスアプリのおかげで、今までなんとなく気が付いていたことを定量化することもできました。

 動画を見ている時の様子を下記よりご覧ください。

 今回、分かったことを今後に生かして行ければと思います。姿勢の面や見る対象の提示の仕方にも工夫が必要ということが分かりました。たとえば、2枚のカードや物を左右に並べたら、左の方が選びやすくなる可能性があるので、視線で選択するより1つずつ見てもらい確認した方がいいかもしれません。

*EyeMoTボックスアプリのボタンの設定は、カスタマイズすることができます。動画を見ている時の視線の動きを見る時には写真も絵もない空白のボタンでかまいません。ボタンの枚数、位置、大きさもカスタマイズすることができます。

*今回は、動画視聴の後に楽器演奏をするための準備をした状態でスタートしています。そのため、真ん中のキーボードは鳴らないようにしていますが、右側のウインドウチャイムや左側の鈴は、視線がボタンにマウスオーバーで載った時にアプリと連動して鳴っています。

 次回は、実際にEyeMoTボックスアプリを使った視線による演奏の様子について書いてみたいと思います。(相澤純一)


↑このページのトップヘ