man_of_motley (man_of_motley) wrote,
man_of_motley
man_of_motley

  • Mood:
Скучный пост про системы оценки качества. Написалось вслед дискуссии о стандартизованных тестах как критерии проверки качества образования.

Сначала немного сухой теории.

:лекторская шапка on:

Посылка первая – любая организованная человеческая деятельность делится на деятельность имеющую цель (процесс) и деятельность цели не имеющую (прикладной онанизм).

Процесс (см. PMBOK) это повторяемая деятельность, выполняемая в интересах конкретного человека или группы людей (владелец процесса), и приносящая результат имеющий ценность с точки зрения этих самых владельцев процесса (продукт).

Качество (см. ISO 9000) это способность продукта удовлетворять потребности и ожидания заказчика (владельца процесса).

:лекторская шапка off:

Вывод из этих двух пунктов на самом деле следует довольно неожиданный для тех, кто с серьезной инженерией не сталкивался. Любая истинная оценка результата является субъективной. Удивление тут возникает из типичной ошибки, которая предполагает, что оценка должна быть объективной. Если посмотреть любую из спецификаций процессов – такого требования на самом деле нет, ибо оно бессмысленно. Способ оценки результата – это свойство конечного продукта, и по принципам OOA он должен быть “наблюдаемым и измеримым”, а не объективным. Это означает ровно то, что мы должны иметь инструмент для измерения и способ для сравнения результата с эталоном. Обратимся обратно в PMBOK – человек относится к категории инструментов. Voila.

Откуда тут берется объективность? А это критерий чисто экономический. Во-первых, использование человека (причем не любого, а относящегося к владельцам процесса) это затратно для того, кто процесс исполняет. Во-вторых, использование владельцев процессов в качестве оценки – заебывает самих владельцев процессов (вы лично много отвечаете на опросники по поводу новой купленной машины? :-)).

И тут, ожидаемо, возникает попытка получить набор критериев которые могут быть замерены без непосредственного участия владельца и шаблонов для сравнения – так называемая объективная оценка.

Что построить такую оценку:

a) дизайнер набора критериев должен правильном понять субъективные критерии и шаблоны для сравнения субъективных значений.

Это важный пункт. Пиздец какой важный. Возможно, в идеальном мире, существует такой набор объективных измерений, который целиком и полностью эквивалентен субъективной оценке, но практике – это всегда приближение.

б) как следствие того, что это приближение - как правило, точность такой оценки напрямую зависит от сложности системы тестов. И тут опять возникает конфликт со стоимостью. Т.е. можно пытаться сделать систему сколь угодно сложной, но она не должна быть дороже чем использование владельцев процесса.

К чему это всё, в контексте хуевых систем тестирования, в том числе на примере ЕГЭ или иногда кажущимися ошибочными действиями в коммерческих организациях (проблема “чиновника от бизнеса”).

Первое – то, что тесты проверяют не то, что кажется важным вам – может означать одно из двух:

а) может быть тесты дизайнил плохой инженер и не определил правильно реальные потребности и ожидания.

б) а может быть вы ни хуя не понимаете кто является истинным владельцем процесса и чьи потребности и ожидания правильно учтены тестами.

Второе – никто, кроме истинных владельцев процесса не может является источником исходных требований для системы тестирования. Ни эксперты, ни ученые, ни внеземной разум. Только истинные владельцы процесса. И тут есть проблемка. Маленькая такая. Средний человек без специальной подготовки не в состоянии описать как он принимает решение “подходит/не подходит”. Он может сказать “нравится/не нравится” но не может объяснить “почему”. И даже хуже – средний человек не в состоянии оценить и краткосрочный результат и долгосрочный результат одновременно, причем тенденция в том, что 90% решения средним человеком принимается на основе краткосрочных эффектов.

А как правильно определить качество, спросите вы? А никак. Эмпирический это процесс. Именно поэтому, с моей точки зрения, основным требованием того же ISO 9000 является не наличие простое контрольных точек и набора измерения для контроля качества – а адаптивность этого процесса управления качества к новому пониманию того, что есть истинное качество продукта, что неизбежно придет если вы в серьез этим вопросом займетесь.
Tags: phil, prof, thought
Subscribe

  • (no subject)

    Как-то пару раз случилось так, что вот прям ругал себя за то, что на фазенде не было с собой тепловизора, а тут Trijicon внезапно сделал по рассказу…

  • (no subject)

    В разное время, разные люди и в разном контексте несколько раз приводили мне довод в стиле "это исследование не релевантно, потому что разница…

  • (no subject)

    Взял ребенкину воздушку пристрелять какчественно и побаловаться. Пулями RWS Hobby, т.е. не самый супер-пупер. Это 10 метров с упора, прицел…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 2 comments