このページの本文は2001年10月以来更新されていません
最新の研究成果を知りたい方はこちらの論文(PDF形式)をご覧下さい:
◆キーボードとペンを併用するノートエディタ(辰川 肇,Nigel WARD)
(2002年3月に早稲田大学で開催されるインタラクション2002で発表予定)

ノート作成用アプリケーションの研究


Last Updated on Oct 10th 2001

1.はじめに


 PCが普及した現在,論文・記事・レポートなど多様な文書がPC上で作成されている.一般的に,デジタル化された文書には手書きの文書と比較して編集・検索がしやすいこと,読みやすいことなどの利点がある.しかし,講義ノートや研究ノート,会議ノートといったいわゆる“ノート”と呼ばれる文書は未だ手書きで書かれることが多い.学生は手書きでとった講義ノートで勉強しながらパソコンでレポートを書き,研究者は手書きで書いた研究ノートを読みながらパソコンで論文を推敲しているのが現状である.これには,PCのコストや重さ,バッテリー等ハードウェアに帰属される問題だけではなく,書き手がノートに他の文書とは異なる特質を要求していること,またその特質を正しく認識して設計されたアプリケーションが存在しないこともその要因となっている.そこで,近い将来ハードウェアの問題が解決することを期待し[PenComputing],ノートをPC上で簡単に作成できるシステム−ノートエディタ−の開発をアプリケーションの観点から行った.


2.ノートの特質と従来の問題点

2−1.ノートと他の文書の違い

 ノートとして代表的なものは,講義ノート,研究ノート,会議ノートである.これらに共通して,ノートを書くことの最も重要な目的は,そのとき得られた情報を後で参照するために残すことである.これは論文や記事,レポートなどが文書を他人に公開することを最終目的としていることと異なっている.そして,他人に公開するための文書のほとんどが既にデジタル化されているのに対して,ノートはいずれも未だに手書きで書かれることが多い.このギャップは,ノートと呼ばれる文書の2つの特質に起因する:

講義ノートの一例

2−2.既存のアプリケーションの問題点

 既存のアプリケーションの問題点を洗い出すため,予備実験として下図の内容の書き写し作業をPC上で4人の被験者に行ってもらった.使用したアプリケーションは被験者の使い慣れた MSWord と PowerPoint を選択した.被験者のタイピング速度は手書きの1.4〜2.0倍,全員十分なパソコンスキルを有している者である.結果として,同じものを手書きで写した場合と比較して平均で約2倍の所要時間がかかった.作業の様子から,入力手段の切り替え(キーボード⇔マウス)に何度も時間を費やしたこと,及びテキストボックスの生成と線の描画に冗長な作業を要したことがPC上での書き写し速度低下の原因となっていることが観察された.さらに,複雑な図形の部分(図中上部)はマウスでは精度良く書けないことも明らかになった.

 現在文書を書くためのアプリケーションはテキストエディタ,あるいはドローイングツールと呼ばれる多くのものが存在する.しかしノートを書くときに用いられる機能としては予備実験で使用したものと同等(テキストボックス,ドラッグによる線の描画など)のものがほとんどある.Microsoft社のペイントを用いて実際に講義に出てノートを取る予備実験を行ったところ,講義の速度にノート作成が追いつかず板書の一部を書き損なうという場面もあった.


3.ノートエディタの設計と実装

3−1.ペンとキーボードの併用

 予備実験により従来のキーボードとマウスによるインタフェースでは複雑な図形の描画に問題があることが分かった.そこで,この問題を解決する手段として,ディスプレイに直接入力可能なペン・インタフェースの可能性を検討した.

 ペンとマウスの機能を比較する研究はいくつか報告されている[Ono][Kato].[PandD]はポインティングとドラッギングの精度に関してマウスやタッチスクリーン(直接入力)を含む7種類のインタフェースを比較している.自由曲線の描画に必要となるドラッギングの軌跡に関しては,マウスよりもペンの方が高い精度で軌跡を描くことが出来る.

 また,テキストの入力もキーボードではなくペンで行おうとする研究もある.この場合問題となるのは,手書きの文字をただ図形として認識していては編集・検索性や読み易さといったデジタル化のメリットが損なわれてしまうことである.これを解決しようとするのが手書き文字認識の技術である.しかし,一般的に文字認識はリアルタイム処理では高い認識精度が得られないなどの問題点が未だ残されている.また,テキストの入力速度においてもキーボードがペンに比べて依然優位である.[Matsui]は手書き文字認識と自動補完の技術を組み合わせることでペンによるテキスト入力速度の向上を試みている.

 PDA(携帯情報端末)の分野ではペンによるテキスト入力が実用化されているが,これには書き込む位置が初めから限定されているといった制約がある.

比較基準キーボード+マウスペンのみ手書き
テキスト入力速度××
複雑な図形の描画×
編集・検索性×
読み易さ

 従来のペン-インタフェースに関する研究はそのほとんどがキーボードやマウスを完全にペンに置き換えてしまおうと指向していた.この考え方を見直し,それぞれ異なる利点と欠点を持つペン・マウス・キーボードを適切に組み合わせることが出来れば,新たな可能性を持つアプリケーションを開発できる可能性があるのではないだろうか.

 上の表は,上述の議論及び予備実験の結果を踏まえて各インタフェースの優劣をノートエディタに関する4つの比較基準について相対的に比較した表である.この表から,テキストの入力にキーボード,複雑な図形の描画にペンを用いることにより,全ての比較基準を満足させるアプリケーションを実現できる可能性のあることが分かる.問題はキーボードからマウスよりもキーボードからペンの方が入力手段の切替により時間的コストがかかるためノート作成速度がさらに低下することである.この問題にを解決するためには,入力手段切替えの頻度を低減させるインタフェースの役割分担が必要となる.インタフェースの役割分担については次節で説明する.

 マウスに関しては,メニュー選択など既存のGUIの操作にはペンよりマウスの方が現状で使い易いことが知られており[Kato2],特にこれを排除しない.

3−2.インタフェースの役割分担

 PC上でのノート作成作業には純粋な文字や図形の描画の他に,メニューの選択やコマンド実行など手書きでは必要無い操作が含まれる.インタフェースとしてテキストの入力をキーボード,複雑な図形をペンで描画することが前提となった今,ノート作成作業中のそれぞれの操作を行うインタフェースを次のように役割分担することにより,入力手段切替えの頻度を低減することができる.

キーボードから行うべき操作: ペンで行うべき操作:

 我々はこのようなインタフェースの役割分担を実現する“ポップアップキーコマンド”,手書きでは必要の無いテキストボックス生成作業を効率化する“テキストボックス自動生成”,繰り返し描かれるストロークのパターンを一挙に描画する“パターン描画”という3つの機能を開発し,ノート作成速度の向上を図った.これらの機能について次節で説明する.

3−3.3つの機能の提案

3−3−1.ポップアップキーコマンド

 フォントサイズやテキストの下線プロパティの変更といったコマンドはテキスト入力作業中に行うものである.既存のアプリケーションではこれらのコマンドをアイコンやメニューをマウスで選択して行うことになっている.テキスト入力中にこれらの操作のためにマウスを使用することは作業速度の低下につながる.

 そこで,これらの操作をキーボードから行うポップアップキーコマンドという機能を提案する.これはポップアップメニューをキーボードから起動・選択・実行できるようにしたものと言ってよい.現状のポップアップキーコマンドの操作方法は次の通りである.

  1. Shift+Enter によりメニューを起動する
  2. 実行したいコマンドをキーボードから入力
  3. Enterキーで実行,Escキーでキャンセル

 下図の画面右側にある小ウィンドウがポップアップキーコマンドのウィンドウである.小ウィンドウの左にキーコマンドのリスト,選択されたコマンドが引数をとる場合には右にその引数のリストが表示されている.

ポップアップキーコマンド

 コマンドの入力時にはそれまで入力した文字列にマッチングするコマンドが自動補完されるので,長いコマンドを全て入力する必要は無い.例えば,下線のプロパティを変更をしたいときは,メニューを表示させた後“underline”の“u”をタイプするとunderlineコマンドが選択される("u"で始まるコマンドが underline しかないため).引数の選択もコマンドの選択と同様に行われる.

 キーボードからコマンドを実行する機能としては,キーボードショートカットが既に広く利用されている.ポップアップキーコマンドがショートカットと異なる点は主に2つである.一つはコマンド選択時に実行できるコマンドのリスト(メニュー)が表示されるのでコマンドを間違える可能性が低いこと.もう一つは,ショートカットでは実行するコマンドの種類が増えたときにコマンドの内容から連想できないショートカットキーを割り当てなければならないが,ポップアップキーコマンドではコマンドに単語を用いているのでその心配が無いことである.

3−3−2.テキストボックス自動生成

 テキストはノートの中に最も多く書かれるオブジェクトである.上記の図の例からも分かるように,テキストはノート中のあらゆる位置に書かれる可能性がある.既存のアプリケーションには,自由な位置にテキストを描画するための機能としてテキストボックスというものがある.通常のテキストボックスによるテキスト入力には次のような操作を要する.

  1. テキストボックスアイコンをマウスでクリック
  2. 書きたい位置にマウスを移動
  3. テキストボックスの領域をドラッグで指定
  4. キーボードからテキストをタイプする

 この一連の作業はノート中に現れるテキストボックスの数だけ繰り返されため,これを効率化することでノート作成速度を大きく向上することができる.そこで,テキストボックス自動生成という機能を提案する.この機能は,任意の時点でキーボードをタイピングするとポインタのある位置にテキストボックスが自動的に生成され,そこに文字が追加されて行くというものである.ポインタ位置にテキストボックスが既にある場合には,その末尾に文字が追加される(下図).テキストボックスの幅は改行までの文字数,高さは行数で決まる.これによりテキスト入力作業は次のように効率化される.

  1. 書きたい位置にマウスを移動
  2. キーボードからテキストをタイプする
テキストボックス自動生成機能

3−3−3.パターン描画

 ノート中に多様なオブジェクトが書かれることは既に述べたとおりだが,その中にも高い頻度で現れるオブジェクトのパターンが存在する.そうしたパターンを予めパッケージ化しておいて簡単に描画できるようにすることで,オブジェクトの描画時間そのものを短縮することが出来る.多くのテキストエディタで実装されている表の挿入などは,この考え方を実用化した代表例と言える.

 手書きで書かれた従来のノートを分析し,下に列挙したオブジェクトはノートの種類に関わらず高い頻度で書かれることが分かった.

 これらのオブジェクトをノートエディタにより一度のコマンド実行で描画する機能を実装した.

 また,講義内容や研究内容によって,あるノートの中でのみ繰り返し現れるパターンも存在する.そうしたパターンをユーザがノートエディタに登録できるようにすれば,描画時間はより短縮できる.この機能はまだ実装していない.

3−4.ノートエディタの実装

 ノートエディタをウィンドウプログラミング用API が豊富に用意されている Java言語によるアプリケーションとして実装した.ノートエディタには通常のテキストエディタやドローイングツールにある機能に加えて,マウスドラッグで自由曲線を描画できる機能,及び前章で提案した3つの機能を実装した.ソースコードはトータルで約4000行になっている.この章で後述する実験には,ペン−インタフェースを可能にする感圧式タッチパネルディスプレイ付きノートPC,Panasonic CF-02 (CPU celeron300MHz, メモリ 64MB,表示方式:SVGA800×600ドット,10.4型TFTカラー液晶)を使用した.


4.評価実験

 ノートエディタが実際のノート作成場面において有効であるかを検証する2つの実験を行った.ノート作成のタスクはいずれも講義ノートを想定し,ノートエディタを使用した後アンケート調査を行うという形式を取った.

4−1.短時間使用実験

 被験者はPC使用歴4年以上のタイピング上級者7名.以下,実験の手順を説明する.

また,全ての被験者がこの実験で初めてノートエディタを使用するため,実験の前にノートエディタの特殊な機能を説明しそれらに使い慣れてもらう時間を合わせて20分用意した.

4−2.長期使用実験

 被験者はPC使用歴4年,ペン入力可能ノートPC使用歴1年のタイピング上級者1名.この被験者に週1回行われる講義に出席して講義ノートをノートエディタを使って作成してもらった.被験者は1度目の講義でノートエディタを使用した後,その後の講義でも継続してノートエディタを使用する事を自発的に希望した.1学期間を通じて被験者はA4用紙16ページ分の講義ノートを作成した.下図はそのノートの一部分である.この被験者にも短時間使用実験と同じアンケートに回答してもらった.

ノートエディタの画面

4−3.アンケート結果

 アンケートの回答は全て5段階評価とした.

  1. テキストボックス自動生成機能について

    「テキストボックス自動生成機能は便利か」の問いに8人中3人の被験者が“かなり便利”,5人が“やや便利”と答えた.別に行った作業時間測定実験では従来のテキストボックスと比較してテキストボックス1つ当たり2.8[sec]の作業時間短縮が実現できたことが分かっている.アンケート結果は時間的コストだけでなくユーザビリティにおいてもテキストボックス自動生成機能が有効であることが示された.

  2. ポップアップキーコマンドについて

    「ショートカットとポップアップキーコマンドではどちらを使いたいですか?」という質問に対しては,キーコマンドを選択した被験者が3人,ショートカットを選択した被験者が5人(“どちらも同じ”は0人)と評価が分かれた.ショートカットを選んだ被験者は実行の速さを,キーコマンドを選んだ被験者はショートカットを数多く記憶する難しさを回答の理由に挙げている.

    ポップアップキーコマンドのアイディアに関しては8人中4人が“かなり便利”,3人が“やや便利”と答えており,ショートカットを選んだほとんどの被験者はキーコマンド自体には肯定的な感想を持っていることが分かる.結論として,キーボードから実行するコマンドのうち使用頻度の高いものはショートカットで,高くないものはキーコマンドで行うべきであると考えられる.

  3. 図形の描画について

    ペンで描いた図形の綺麗さ(紙に手書きで描いた場合との比較)に関しては6人の被験者が“やや不満”,2人が“かなり不満”と答え,全員が不満を感じたことが分かった.また,使い易さに関しても5人が“やや不満”,2人が“かなり不満”と答えた.多数の被験者がタッチパネルディスプレイの解像度の悪さと,強く押さなければ描けない反応の鈍さを回答の理由に挙げている.

  4. ペンとマウスの比較について

    ペンとマウスを使用した感想として主観的な比較をしてもらった.

    「位置の指示(ポインティング)にはどちらが便利だったか」という質問の回答は“どちらとも言えない”が1人,残りの7人は“ややマウス”か“断然マウス”であった.テキストを入力する位置などにはペンよりもマウスの方が使い易いことが分かる.

    「自由曲線(軌跡)の描画にはどちらが便利だったか」という質問の回答は“断然ペン”が3人,“ややペン”が3人,“どちらとも言えない”が1人だった.前述したようなペン・インタフェースのハードウェア的な問題はあるにしても,マウスよりはペンの方が図形の描画には向いていることが分かる.

    「キーボードとの手段の切り替えにはどちらが楽だったか」という質問の回答は“どちらとも言えない”が2人,“ややマウス”が6人だった.実験中に被験者を観察したところ,メニューの選択や位置の指示,さらには単純図形の描画にも全ての被験者がマウスを使用していた.普段からマウスには使い慣れている影響を考慮しなければならないものの,ペンがあまり使用されなかったのは持ち替えの大変さが原因となっていることが考えられる.

  5. 疲労について

    「ノートエディタでのノート作成作業は手書きと比較して肉体的に疲れましたか」という質問に対しては2人が“かなり楽”,3人が“やや楽”2人が“どちらでもない”,1人が“やや疲れた”と答えた.紙にペンで書く作業よりはPCを使う作業の方が肉体的負担は少ないことが分かる.ノートエディタにより使い慣れた長期使用実験の被験者の回答は“かなり楽”である.“やや疲れた”と答えた被験者は,手書きの場合姿勢を崩しても書けるのが楽であると述べている.

    「ノートエディタでのノート作成作業は手書きと比較して肉体的に疲れましたか」という質問に対しては2人が“やや楽”,1人が“どちらでもない”,5人が“やや疲れた”と答えた.これは,使い慣れていない機能を操作するストレスと,手書きには無いPC利用時の心理的負担があるものと思われる.長期使用実験の被験者の回答は“やや楽”であった.“やや楽”と答えた2人の被験者は,手書きの普段のノートよりも読み易いノートを書けることが心理的に楽であるとコメントしている.

    ノートエディタでのノート作成作業は手書きと比較して肉体的に楽だったのに対して,心理的には疲れたと答えた被験者が多かった.これは,使い慣れていない機能を操作するストレスと,目的のメニューを探すなどのPC操作時に要求される非直観的な作業が原因であると思われる.ノートエディタに既に使い慣れている長期使用実験の被験者は心理的にも“やや楽”だったとしている.

  6. 総合評価

    「ノートエディタを講義ノートとして継続して使いたいか」という問いには2人が“とても使いたい”,3人が“どちらかと言えば使いたい”,2人が“どちらでもない”,1人が“どちらかと言えば使いたくない”と答えた.長期使用実験の被験者の回答は“とても使いたい”であった.ノートをデジタル化した利点としての文字の綺麗さや整理できる便利さなどは被験者のコメントからも確認された.“どちらかと言えば使いたくない”と回答した被験者は,その理由として「手書きの方が意図したことを自由にやり易いから」という感想を残した.この被験者が普段手書きで書いているノートを提出してもらったところ,他の被験者のものと比較して豊富な内容を最も丁寧にまとめて書いている印象があり,ノートに対する要求の高さがノートエディタへの不満となって現れているのではないかと考えられる.

    どちらかと言えば研究ノートとして使いたいと答えた被験者が2名あった.彼らは研究ノート作成時には思考のスピードに合わせて考えた内容を出力できるノートエディタが便利だとしている.

    ノート作成速度に関しては,対象とする講義によって求められる速度が異なることや,被験者の自由なノート作成作業を阻害することを避けるためにノートに書く内容量を特に指定しなかったため,今回の実験では定量的な評価を行わなかった.ただ,サンプルビデオの6つのシーンに関しては,被験者が講義の速度に追い付けずにノートを書き損なうという場面は無かった.

    PC使用時の非直観的な作業(コマンドの実行など)は,授業を理解したり研究内容を思案するといったノート作成作業と並行して行われる心理的なプロセスを阻害する可能性があり,そうした作業の心理的コストをどのように評価するかは今後の課題の一つである.


5.まとめ

 我々はまずノートに要求される特質が何かを議論し,それが作成速度の問題と自由図形の描画であることを明らかにした.そして複雑な図形の描画にペン・インタフェースを採用し,これをキーボードと併用するノートエディタを開発した.ノートエディタにはポップアップキーコマンド,テキストボックス自動生成,パターン描画の3つの機能を実装し,ノート作成速度の向上を図った.

 システムを評価する短時間使用実験と長期使用実験では,開発したノートエディタが特に講義ノートの作成に関して有効であることが示された.

 今回の実験では講義ノートに焦点を当てたが,対象を研究ノートや会議ノートとしたとき実験結果にどのような違いが出るかが今後の課題となる.

 ペン−インタフェースが携帯情報端末以外では普及していない原因は,ペンの機能性の問題とペンの特長を生かすアプリケーションが考案されていないことだと思われる.そして後者に対する答えの一つとして,ノートエディタはペンとキーボードそれぞれの特長を両立させる工夫を行ったアプリケーションとなっている.実験のアンケートで多くの被験者に指摘されたペンの分解能と使い易さの欠点に関しては,ハードウェアの性能向上が待たれる.


6.参考文献

[1]PenComputing
Geoff Walker. The Tablet PC. Pen Computing Magazine, July 2001. http://pencomputing.com/frames/tablet_pc.html

[2]Ono
小野 眞.ペンの操作性に関する実験的研究.pp. 82-99. 情報処理学会第41回HI研究報告(1992)

[3]Kato
加藤直樹 中川正樹.ペンユーザインタフェース設計のためのペン操作性の検討.pp. 1536-1546. 情報処理学会論文誌 vol. 39 No.5(1998)

[4]PandD
O. Cohen, S. Meyer, and E. Nilsen. (1993) Studying the movement of high tech rodentia: Pointing and dragging. Adjunct Proceedings of INTERCHI '93. pp.135-136.

[5]Matsui
Toshiyuki Masui. Integrating Pen Operations for Composition by Example. Proceedings of the ACM Symposium on User Interface Software and Technology (UIST'98), pp.211-212.

[6]Kato2
加藤直樹. ペン入力技術. 電子情報通信学会誌 Vol.84 No.3 pp.200-201.

[7]Proteus
Thomas Erickson. The design and long-term use of a personal electronic notebook: a reflective analysis. Conference proceedings on Human factors in computing systems. pp.11-18

[8]Gwizdka
J. Gwizdka, M. Fox, M. Chignell. (1998). Electronic Engineering Notebooks: A Study in Structuring Design Notes. Proceedings of CHI'98, ACM Press. 355-356.

[9]Classroom2000
K. Truong, G. Abowd, J. Brotherton. Personalizing the Capture of Public Experiences. Proceedings of UIST 1999. pp.121-130.

[10]Audio
Lisa Stifelman, Barry Arons, Chris Schmandt: The audio notebook: paper and pen interaction with structured speech. Conference Proceedings CHI 2001. pp.182-189

[11]Flatland
Takeo Igarashi, W. Keith Edwards, Anthony LaMarca, Elizabeth D. Mynatt. An Architecture for Pen-based Interaction on Electronic Whiteboards. Advanced Visual Interface 2000, ACM Press. pp.68-75.

[12]MojiNinshiki
Hisashi Ikeda, Yukio Ogawa, Masashi Koga, Hiromitsu Nishimura, Hiroshi Sako and Hiromichi Fujisawa. A Recognition Method for Touching Japanese Handwritten Characters. Proceedings of Fifth International Conference on Document Analysis and Recognition. pp.641-644.


NoteTaker Top