本文へジャンプ 本文へジャンプ


 技術・技能教育研究所・森 和夫ホームページ 



ラダー項目の信頼性
トライアルによる検証と修正の仕方









評価項目の作成で難しいのは、信頼性の確保です。信頼性のある評価項目で評価する場合、誰が評価しても同一人物に対して同一評価結果が得られます。

その作成の仕方については他で述べますが、ここでは信頼性がどの程度確保されているかを検証する方法について考えていきましょう。

信頼性の検証(トライアル)作業は、以下のようにします。
@評価対象の集団の中からレベル5,レベル3,レベル1の該当者3人を選定する。
Aその3人を良く知る評価者A,Bを選定する。
B作成したラダー項目によって評価者が評価対象を評価する。
C評価結果を分析・検討する。

これを図1に示しました。




さらに、評価結果の検討の仕方について図で説明していきましょう。
図2に示すように、評価者Aは評価対象の3人を評価して、A5、A3、A1の得点を得ます。この時、A5>A3>A1である必要があります。次に図3に示すように、評価者Bは評価対象の3人を評価して、B1、B2、B3の得点を得ます。この時、B5>B3>B1である必要があります。これは、「得点の高い人がよくでき、良く知っている」になっていれば、評価尺度は判別力が高いからです。このようにして、図4の状態を作ります。
さて、評価者Aと評価者Bによる評価に差がなければ(評価者による評価にブレがないということになり)、信頼性が高いことを意味します。図5に示すようにA5=B5、,A3=B3、A1=B1であれば良いのです。






  





このようにして検証するのですが、実例でもこれを説明しましょう。
実際のデータを取ってみますと、先ほどのようなことは単純には出ないことが多くあります。
図6は実例です。


  



評価者Aは平均値を見て分かるように、A5A3A1に差がありません。
評価者BはB5B3は差がなく、B3B1は差があります。
評価者CはC5C3C1にきちんと差があります。
そこで、3人の評価者の得点を合計して平均値で見ますと、差があることがわかります。





このようにして、項目ごとの判別力を計算してみます。
(5)-(3)、(3)-(1)の値が+1以上出ていれば判別力があるとしてみました。
総合判定欄に×のある項目は再度、文章を検討すればよいものです。
評価時の事情、判断基準、対象者の得意・不得意などを話し合って決めます。






「看護人材育成」誌2016年4・5月号に、クリニカルラダーの記事を掲載。
「初めてでも安心!CUDBASを用いたラダーの作成・見直し方法」
 1. いまどきのラダーの動向と見直しの意義
 2. 見直さなくて済むラダーはどう作成するか
 3. 現行ラダーを見直して作成するにはどうする:か
 4. ラダーの備えるべき条件を実現する
 5. ラダー文章の改訂コンサルテーションの事例
 6. トライアルのコンサルテーションの事例
 7. 機能するクリニカルラダーを求めて

・お問い合わせ、ご連絡は→