2020年02月

自分の力でできるよろこび、自分で表現するよろこび(その1)
SOUNOS VALKAを視線入力と
       スイッチの併用で演奏するー

就学前から自分で楽器を演奏できたらー

 肢体不自由のお子さん、大人の方が楽しみたいことの一つに音楽があります。
 多くの方に好きな曲があり、好きなアーティストがいます。
 私の接している方では、「嵐」が好きな方が多いですね。
   でも、音楽を聴くだけではなく、障がいのないお子さんと同じように、楽器を演奏できたら友達と合奏もできるし、自分の趣味としても楽しめるでしょう。
 できたら就学前から、自由に楽器遊びや音遊びがしたいですね。

 マジカルトイボックス考案の太鼓たたき器や電子キーボードの改造、100均グッズの改造の工夫によって楽器をたたく方法、iPadやアンドロイドアプリ等による音楽の楽しみ方等いろいろSNSや書籍で紹介されてきました。
 あらためて、おおきなきでやっていることもまとめてみたい気持ちもありますが、今回は、訪問大学おおきなきで多くの方が取り組んでいる視線入力を使った楽しみ方をご紹介します。

SOUNOS VALKAの飽きさせない魅力
 といっても使っているアプリは、昔からあるものですし、すでにブログでも紹介しています。ずばりSOUNOS VALKAです。

 長く愛されてきた音楽ソフトのSOUNOS VALKAは、どうして子ども達や大人の方の心をつかむのでしょうか。質の高い音楽を自由に即興で演奏できる魅力的なソフトだからだと私は、考えています。
 教員時代にマジカルトイボックスで教えてもらったこのソフトは、学校でなかなか覚醒できないお子さんをとりこにし、初めて試してみた日から目を輝かせてスイッチで演奏するようになったのが強く印象に残っています。

 このソフトが出す音は、1音1音、本物の楽器に近いリアリティがあります。
 もちろんPCのスピーカーの小さな音ではなく、エンサウンドの抱っこスピーカーで体感しながら楽しんでもらっています。

アルペジオ演奏をするためには
 SOUNOS VALKAは、音階の幅が広く、楽器の種類の選択も可能で、さらにドラッグすることできれいなアルペジオ演奏ができるのが最大の特色だと思います。
 映像的にも単音は花火のような映像が飛び出し、スイッチを併用して視線を移動することで映像も美しくなりアルペジオ演奏が可能になる魅力があります。スイッチはお子さんに合ったものなら何でもOKです。

*ただし、音楽好きな方でも激しく演奏すると、光刺激が強すぎるので、けいれん発作を起こしやすい方には控えるようにしています。
 
 視線マウスアプリ(miyasukuEyeConLT2Gaze Point)の基本的な操作では、左クリックの単音しか出せないのですが、スイッチを併用し、スイッチをONにしたときに視線を動かすことでアルペジオ演奏が可能になります。スイッチはジャックをつけた改造マウスの左クリックと連動させています。
 改造マウスがすぐ用意できない場合でも、たとえばメルカリでhatahataさんが改造ダイソーワイヤレスマウスを出品されていますし、i+Padタッチャーのアシステック・オンラインショップでクリックジャックも販売されています。


3人の学生の演奏を披露しています

 訪問大学おおきなきの望さんは、PPSスイッチ(ピエゾニューマティックセンサースイッチ)エアバッグセンサーを頭の後ろに入れ、首を小刻みに振りながら視線を動かすことで、きれいなアルペジオ演奏ができるようになり、詩の朗読とのコラボをYouTubeで発表しています。
 最近、「走る」いう詩の朗読とコラボしたときには、何回も画面に「走っている様子」
と感じられる図形が表現されていました。詩が音楽にもなり画像にもなる面白さを感じ
ています。

*以下は、以前YouTubeにアップした作品です。

・谷川俊太郎「朝のリレー」

・金子光晴「眞空にあくがれる歌」
 
 画像1
*谷川俊太郎『子ども達への遺言』の中から「走る」の朗読に合わせての演奏の1シーン

無題


 
倫治さんは、支援学校に在籍していた時はトーンチャイムの音が好きだったそうです。その音に近い音としてセンサリーアイFXの「感覚的な円」を毎回視線入力で楽しんできたのですが、前回の授業で、SOUNOS VALKAデビューしました。
    時々動き出す右手の親指の動きは、それまで不随意か随意的な動きかはっきりしなかったのですが、このSOUNOS VALKAに挑戦したときに一番意欲的に動かしていたので、PPSスイッチ(ピエゾニューマティックセンサースイッチ)のピエゾスイッチを挟んでみることにしました。その時の表情も見ていただきたくてYouTubeにアップしています。
画像2


 

 雅也さんは、いろいろなスイッチを試してきましたが、山ねこ工作室の空気圧センサースイッチが、今、一番、手にフィットしていて、握った後に力を抜いて戻すのも上手になってきています。
 市販されているPPSスイッチの入力は1ショットで瞬間的なのですが、この空気圧センサースイッチは触れたり押したりしている間はONの状態をキープできることが、SOUNOS VALKAの視線入力との併用の演奏にぴったりなのです。
 素敵な音が生まれています。


画像3



                           (相澤純一)

「でんでんむしのかなしみ」をどう描いたか?

 ブログ「おおきなき交流広場」で連載中の「27歳からの視線入力への挑戦」の前回(その7)の記事で、雅也さんが日本肢体不自由児協会の美術展のコンピューターアートの部で「でんでんむしのかなしみ」という絵で賞を頂いたことを報告しました。

 この絵を描いたのは、2019年6月25日のことですが、とても鮮烈な印象が私には残っています。今回は、その日の前のことと後のことをまとめてみたいと思います。

画像4
「でんでんむしのかなしみ」を視線で描いている時(2019年6月)

初めてテーマを決めて、視線で絵を描く
ー「プールの思い出」―


 雅也さんに初めて、テーマを意識して絵を描いてもらったのは、2018年8月30日のことでした。「でんでんむしのかなしみ」を描く10か月くらい前のことです。

 それまでは、センサリーアイFXの「色を塗る」では、自由に描いてもらっていました。テーマを決めて描くのは難しいと思い込んでいたからです。

 雅也さんは、聴覚優位で聴覚的なイメージを持つのは得意でも、視覚的なイメージを持つのは難しく、色とか形のイメージは持てないのではないかと思い込んでいたのです。

 でも、この日は、ちょうど前日にプールに入っていたという話をお聞きしたので、もしかしたらという思いで、「プールのこと」を描いてほしいと伝えてから、センサリーアイFXの「色を塗る」を始めました。その時完成した絵がこれです。
 お母さんに後で聞くと、プールの底は、水色に塗られていたそうです。
 偶然かもしれないのですが、絵はプールのイメージを描いたのかもしれない、とも思えたのです。

 もしかしたら具体物を見ての写生画や絵本を読んで印象に残った場面の絵等、イメージを持つことが必要な絵も描けるのではないかという気がしてきたのです。
 でも、その後、絵を描くことはあまり取り組まずにいました。


画像5
「プールの思い出」(2018年8月30日)

「でんでんむしのかなしみ」をどう描いたか?

 10か月後になります。この間、視線入力の取り組みは続けていましたし、「色を塗る」のソフトも使ってはいましたが、テーマを決めて絵を描くことはあまりやっていませんでした。
 私の頭には、まず色や形の基礎的な認識を身につけてほしいという思いがあって、マッチング課題(色合わせや形合わせ)を視線入力でやっていました。

 でも、雅也さんは、「~はどっち?」のような認知的な課題になると目をつむってしまうことが多かったのです。今思うに、それは、雅也さんの「これはやりたくない」というはっきりした意思表示だったのかもしれません。

 雅也さんの訪問に初めて絵本を持参しました。
 それが、「でんでんむしのかなしみ」(新見南吉1935年作)です。
 2019年6月25日のことです。
 雅也さんは、絵本を出すまで渋い表情でいました。
 まず初めに、私が隣に座って、絵本を見てもらいながら読みました。その時、目は上を見上げるようになり左右に眼球がきょろきょろする感じで動くと同時に、固い表情がゆるみ、時々ニヤッとするのです。
 「実は…」お母さんが、話し出します。
 ご自宅に中学生の時から時々聞いていた岸田今日子さん朗読のCDがあることが分かりました。

 雅也さんは、皮質盲*ではないかとお医者さんに言われていて、視覚的なイメージを持つのはなかなか厳しいと考えていました。その一方、聴覚からの情報についてはかなり受け止めがよく、たとえば音楽については、曲の聞き分けもでき、好きな曲もはっきりしているということを伺っていました。

*雅也さんは、脳症で大脳皮質の視覚野が損傷し、見えているものを認識できない状態と言われていました。

 
 センサリーアイFXの「色を塗る」というソフトを起動し、CDデッキで岸田今日子さんの朗読を流しました。音声が耳に届いた瞬間、うつむいていた雅也さんの顔が上がり、雅也さんは目を大きく見開き、眼球が活発に動き出すのです。リズミカルに生き生きと。
 テンションが一気に上がり、表情も喜びに満ちていて、タイトルは「かなしみ」なのだけれど、絵を描く雅也さんは「よろこび」を感じているようでした。(上の写真)
 この時が、雅也さんの視線入力の取り組みでは、最も印象に残るひとときになりました。

画像6

画像7
「でんでんむしのかなしみ」(2019年6月25日)

聴覚情報の入力が眼球運動を活発にするのでは…と予想してみたが実は? ―iOAKでの検証―

 「でんでんむしのかなしみ」を描いたときの強烈な印象から、その後ずっと雅也さんの場合は、聴覚情報があることによって、眼球運動がより活発になるのではないかと思い込んでいました。
 「でんでんむしのかなしみ」を描いた日から7か月後の2020年1月29日、私のその予想がただの思い込みなのかどうかを知りたくて、雅也さんの絵を描く1分間の中で、音を出す時間と消す時間を、意識的に作ってみました。

 やり方は、とてもシンプルです。まず、「でんでんむしのかなしみ」を読み聞かせします。この日はYouTubeにある動画を画面も見ながら聞いてもらいました。
 好きな話をとてもいい表情で、目を輝かせながら聞いていました。
 その後に、「色を塗る」で絵を描いてもらうのですが、20秒は聴覚情報はなしで、その後の20秒は大好きな岸田今日子さんの朗読CDを聞いてもらいます。
 そして、最後の20秒は、また聴覚情報なしで続けて絵を描いてもらうという方法です。
 iOAKによる記録画像の結果です。


画像3
A. 聴覚情報なしで視線で描く(20秒)
 →頭の動きは止まっていて、外斜視の左目よりも右目の方が活発に動いているように記録されています。絵を描き始めています。

 画像2
B.岸田今日子さんの朗読CDを聴きながら、描く(20秒)
→まず音声が聞こえてきたところで驚き、目を大きく見開き眼球が上転しました。両手も少し動いています。そのまま音声に聞き入っているように見え、眼球の動きは、ほとんど止まって見えました。


画像1
 
A. 再び、聴覚情報なしで描く(20秒)
→頭が少し動き、再び眼球も動き始め、絵の続きを描き始めます。

 このように私の予想ははずれてしまい、Bの20秒については音声(朗読)に聞き入り、ぴたっと止まっている様子が記録されました。この後、SOUNOS VALKAの演奏でも、間に詩の朗読を入れてみるという試みもしていますが、それは改めてご報告したいと思います。

   もう1回、7か月前の動画を見直すと、分かりました!
 絵を描いているときに2回、朗読CDを流したのですが、2回再生して、1回目は約2分間、2回目は約1分40秒、画面上に視線の履歴はほとんど残っていないのです。朗読の音声がなくなってからの方が、画面に集中し視線を動かしていることが分かりました。

 やはり、聴覚情報があるときは、眼球が上転し、上の方を見て、聴覚情報以外の情報を遮断しているのではないかと考えることができます。

   また、7か月前の映像では、眼球が上転した時に、左右の揺れ(不随意な動き)がやや目立っていました。
 今は、体調にもよりますが、不随意な動きが少なくなってきているので、iOAKで記録された20秒間にはあまり動きが見られないのだと考えることができます。

 iOAKの設定時間が短かったので分かりにくかったのですが、矛盾する結果ではなかったわけです。

動いたものは眼球だが、その前に心が動いていたのではないか?
 
 私が思うには、2019年6月に「でんでんむしのかなしみ」を描いた時は、朗読CDを聞いた後に活発に眼球が動き出すのですが、朗読を聞いている間に心が大きく動いていたのではないでしょうか。
 聞き慣れていて大好きな聴覚情報が聞こえてきたのがうれしくて心が動き、その感動がその後、視線の動き=眼球の運動につながり生き生きとした絵が描けたのではないかと思っています。

                                   (相澤純一)

↑このページのトップヘ