■総合評定の需要は大きい
前記事で，「疑似科学とされるものの科学性評定サイト」について触れました。「総合評定」を止めて，「判定」に方針変更すべきという意見でした。疑似科学への注意喚起目的ならば，判定で十分であるという理由からです。まともな「総合評定」が可能ならよいのですが，評定サイトの評定もまともには見えないことを例を挙げて説明しました。私の経験ではまともな総合評定は殆ど見たことがありません。にもかかわらず，総合評定の需要が多いことも感じました。需要の理由は多分，見栄えの問題ではないかと思います。
■簡単な対象ではまともな総合評定もある
世の中には比較的まともな総合評定も存在します。チェスや将棋のレーティングなどです。評価するのは勝ち負けだけなので総合評定ではないようにも見えますが，様々なレベルの対局相手との成績を考慮するという意味で総合評定です。それにしても，考慮するのは対局成績だけですから，非常に簡単な事柄の総合評定であることは間違いありません。簡単ですので，レーティングも簡単な式で計算出来ます。どんな感じかはwikipediaで見ることができます。
http://ja.wikipedia.org/wiki/%E3%82%A4%E3%83%AD%E3%83%AC%E3%83%BC%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0
■複雑な対象の総合評定は簡単
私が係わった総合評定は，もっと複雑な事柄が対象でした。工事や業務の成績評定とか，提案の評定の類です。例えば，設計業務の評定ならば，設計そのものの評価にも様々な要素があります。デザイン性，機能性，耐久性，フレキシビリティ，施工性，コスト・・・・。さらに，業務遂行上の，対応の早さ・良さ，資料のまとめ方・・・。対応の良さと一言で書きましたが，その中身は無数にあります。この様に複雑な内容の総合評定がどのように行われているかというと，10個足らずの項目について，評点を付け，それを単純に合計するという程度です。
■複雑な対象の総合評定は直感と乖離
ということで，先ほどの対局者のレーティングの式より設計業務評価の式の方が簡単なのです。評価すべき事柄は設計業務評価の方が複雑なのにです。そもそも単純合計が総合評価として妥当かという検討がされた気配もありませんでした。対局者のレーティングで言えば，単純に勝ち数合計で決めるようなものです。これでは弱い相手で勝ち数を稼げば簡単にレーティングをあげることができます。対局者評価でもあてにならない評価方法がそれよりも複雑な設計業務評価としてあてにならないのは当然です。虚心坦懐に要素評価を行い，総合評定を計算すると，感覚的な成績と大きく乖離することしばしばでした。
■総合評定は見栄えだけのハリボテ
そのような場合私はどうしていたかというと，最初に感覚的に総合評定を決めてしまいます。次に，それに合うように要素評価の配分を逆算するのです。全く，本末転倒というか無意味な作業です。こんな評価基準度などない方がよいのですが，規則で決まっているので，形式的にやっているだけです。何故規則で決まっているかというと，評価者の恣意を排し，客観的に評価するためということになっています。評価基準があると，客観的で精緻な評価を行っているように見えるらしいのです。要するにそれらしい評価をしているように見せかけるハリボテに過ぎないのだと思います。私のズルイやり方が出来るような融通の利くハリボテなら煩わしいだけで，実害はありません。が，融通の利かない，つまり裁量の余地のないハリボテだと困ったことになってしまいます。大体，そういう事情は誰でも分かっているので裁量の余地は大きくとってあるのが普通でした。
■評定サイトの評価基準は完璧なハリボテ
とはいえ，まともな評価基準が出来るなら有った方が良いに決まっています。ただし，完成するには相当の期間を要すると思います。強調したいのは未完成の試作品を実用に供してくれるなということです。どうしても実用にしたいのなら，融通の利くハリボテにしないと実害がでます。評定サイトの場合も，裁量の余地は大きく採ってあります。というよりも，要素評価の逆算すら不要な完璧なハリボテです。9つの評価条件があって，高中低の3段階評価をしますが，最終的な総評に殆ど使われていないからです。総評は評定者の頭の中にある別の評定基準で行われているのだと思います。多分，頭の中の評定基準はもっと簡単で「判定」に近いものではないでしょうか。少なくとも「疑似科学」判定に関してはです。しかし，「発展途上の科学」や「未科学」については，よく分からないところがあります。別にこの分類が必要とも思えないので，分からなくても構わないのですが，次回はこの分類について考えて見ます。
