27歳からの視線入力への挑戦ーその８－

「でんでんむしのかなしみ」をどう描いたか？

　ブログ「おおきなき交流広場」で連載中の「27歳からの視線入力への挑戦」の前回（その７）の記事で、雅也さんが日本肢体不自由児協会の美術展のコンピューターアートの部で「でんでんむしのかなしみ」という絵で賞を頂いたことを報告しました。

　この絵を描いたのは、2019年6月25日のことですが、とても鮮烈な印象が私には残っています。今回は、その日の前のことと後のことをまとめてみたいと思います。


「でんでんむしのかなしみ」を視線で描いている時（2019年6月）

初めてテーマを決めて、視線で絵を描く
ー「プールの思い出」―

　雅也さんに初めて、テーマを意識して絵を描いてもらったのは、2018年８月30日のことでした。「でんでんむしのかなしみ」を描く10か月くらい前のことです。

　それまでは、センサリーアイFXの「色を塗る」では、自由に描いてもらっていました。テーマを決めて描くのは難しいと思い込んでいたからです。

　雅也さんは、聴覚優位で聴覚的なイメージを持つのは得意でも、視覚的なイメージを持つのは難しく、色とか形のイメージは持てないのではないかと思い込んでいたのです。

　でも、この日は、ちょうど前日にプールに入っていたという話をお聞きしたので、もしかしたらという思いで、「プールのこと」を描いてほしいと伝えてから、センサリーアイFXの「色を塗る」を始めました。その時完成した絵がこれです。
　お母さんに後で聞くと、プールの底は、水色に塗られていたそうです。
　偶然かもしれないのですが、絵はプールのイメージを描いたのかもしれない、とも思えたのです。

　もしかしたら具体物を見ての写生画や絵本を読んで印象に残った場面の絵等、イメージを持つことが必要な絵も描けるのではないかという気がしてきたのです。
　でも、その後、絵を描くことはあまり取り組まずにいました。


「プールの思い出」（2018年8月30日）

「でんでんむしのかなしみ」をどう描いたか？

　10か月後になります。この間、視線入力の取り組みは続けていましたし、「色を塗る」のソフトも使ってはいましたが、テーマを決めて絵を描くことはあまりやっていませんでした。
　私の頭には、まず色や形の基礎的な認識を身につけてほしいという思いがあって、マッチング課題（色合わせや形合わせ）を視線入力でやっていました。

　でも、雅也さんは、「～はどっち？」のような認知的な課題になると目をつむってしまうことが多かったのです。今思うに、それは、雅也さんの「これはやりたくない」というはっきりした意思表示だったのかもしれません。

　雅也さんの訪問に初めて絵本を持参しました。
　それが、「でんでんむしのかなしみ」（新見南吉1935年作）です。
　2019年6月25日のことです。
　雅也さんは、絵本を出すまで渋い表情でいました。
　まず初めに、私が隣に座って、絵本を見てもらいながら読みました。その時、目は上を見上げるようになり左右に眼球がきょろきょろする感じで動くと同時に、固い表情がゆるみ、時々ニヤッとするのです。
　「実は…」お母さんが、話し出します。
　ご自宅に中学生の時から時々聞いていた岸田今日子さん朗読のCDがあることが分かりました。

　雅也さんは、皮質盲＊ではないかとお医者さんに言われていて、視覚的なイメージを持つのはなかなか厳しいと考えていました。その一方、聴覚からの情報についてはかなり受け止めがよく、たとえば音楽については、曲の聞き分けもでき、好きな曲もはっきりしているということを伺っていました。

＊雅也さんは、脳症で大脳皮質の視覚野が損傷し、見えているものを認識できない状態と言われていました。

　

　センサリーアイFXの「色を塗る」というソフトを起動し、CDデッキで岸田今日子さんの朗読を流しました。音声が耳に届いた瞬間、うつむいていた雅也さんの顔が上がり、雅也さんは目を大きく見開き、眼球が活発に動き出すのです。リズミカルに生き生きと。
　テンションが一気に上がり、表情も喜びに満ちていて、タイトルは「かなしみ」なのだけれど、絵を描く雅也さんは「よろこび」を感じているようでした。（上の写真）
　この時が、雅也さんの視線入力の取り組みでは、最も印象に残るひとときになりました。




「でんでんむしのかなしみ」（2019年6月25日）

聴覚情報の入力が眼球運動を活発にするのでは…と予想してみたが実は？　―iOAKでの検証―

　「でんでんむしのかなしみ」を描いたときの強烈な印象から、その後ずっと雅也さんの場合は、聴覚情報があることによって、眼球運動がより活発になるのではないかと思い込んでいました。
　「でんでんむしのかなしみ」を描いた日から7か月後の2020年1月29日、私のその予想がただの思い込みなのかどうかを知りたくて、雅也さんの絵を描く1分間の中で、音を出す時間と消す時間を、意識的に作ってみました。

　やり方は、とてもシンプルです。まず、「でんでんむしのかなしみ」を読み聞かせします。この日はYouTubeにある動画を画面も見ながら聞いてもらいました。
　好きな話をとてもいい表情で、目を輝かせながら聞いていました。

　その後に、「色を塗る」で絵を描いてもらうのですが、20秒は聴覚情報はなしで、その後の20秒は大好きな岸田今日子さんの朗読CDを聞いてもらいます。
　そして、最後の20秒は、また聴覚情報なしで続けて絵を描いてもらうという方法です。
　iOAKによる記録画像の結果です。


A. 聴覚情報なしで視線で描く（20秒）

　→頭の動きは止まっていて、外斜視の左目よりも右目の方が活発に動いているように記録されています。絵を描き始めています。

 
B.岸田今日子さんの朗読CDを聴きながら、描く（20秒）
→まず音声が聞こえてきたところで驚き、目を大きく見開き眼球が上転しました。両手も少し動いています。そのまま音声に聞き入っているように見え、眼球の動きは、ほとんど止まって見えました。



 A. 再び、聴覚情報なしで描く（20秒）
→頭が少し動き、再び眼球も動き始め、絵の続きを描き始めます。

　このように私の予想ははずれてしまい、Bの20秒については音声（朗読）に聞き入り、ぴたっと止まっている様子が記録されました。この後、SOUNOS VALKAの演奏でも、間に詩の朗読を入れてみるという試みもしていますが、それは改めてご報告したいと思います。

   もう1回、7か月前の動画を見直すと、分かりました！
　絵を描いているときに2回、朗読CDを流したのですが、2回再生して、1回目は約2分間、2回目は約1分40秒、画面上に視線の履歴はほとんど残っていないのです。朗読の音声がなくなってからの方が、画面に集中し視線を動かしていることが分かりました。

　やはり、聴覚情報があるときは、眼球が上転し、上の方を見て、聴覚情報以外の情報を遮断しているのではないかと考えることができます。

   また、7か月前の映像では、眼球が上転した時に、左右の揺れ（不随意な動き）がやや目立っていました。
　今は、体調にもよりますが、不随意な動きが少なくなってきているので、iOAKで記録された20秒間にはあまり動きが見られないのだと考えることができます。

　iOAKの設定時間が短かったので分かりにくかったのですが、矛盾する結果ではなかったわけです。

動いたものは眼球だが、その前に心が動いていたのではないか？
　
　私が思うには、2019年6月に「でんでんむしのかなしみ」を描いた時は、朗読CDを聞いた後に活発に眼球が動き出すのですが、朗読を聞いている間に心が大きく動いていたのではないでしょうか。
　聞き慣れていて大好きな聴覚情報が聞こえてきたのがうれしくて心が動き、その感動がその後、視線の動き＝眼球の運動につながり生き生きとした絵が描けたのではないかと思っています。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（相澤純一）