Небольшой анализ новой системы оценок

Я понимаю, что оптимальную систему выявления лучших на сайте фотографий найти очень сложно, и какой бы хорошей не была система, все равно она будет субъективной, и далеко не все лучшие фотографии будут отмечены.
Но введенная система получилась очень сырая, далеко не логичная и в ее разработке упущено большое количество мелочей, на которые стоило обратить внимание.
Неделя, конечно не большой срок, но уже можно сделать первые выводы. Я перечислю те моменты, на которые я обратил внимание, если у кого-нибудь будет что добавить – добавляйте.

1. Оценки – это своего рода конкурс. Но далеко не все хотят, чтобы их работы оценивали. Есть люди, которые просто делятся своим творчеством, и для которых оценки и творчество не совместимы. Вывод: необходимо дать возможность выставлять работы без оценок (то есть вне конкурса)
2. Анонимность оценок вопрос очень спорный. Но, по моему мнению, в ней больше минусов, чем плюсов. Я не думаю, что много членов клуба будет «воевать» оценками. Те люди, кто объективно (откровенно) ставит оценки, так и будет их ставить, не смотря на то, что кто-то за двойку будет «мстить». При этом мне лично интересно кто и как оценил мою работу. Ведь четверка от одного человека может значить намного больше, чем 10 пятерок от других. При этом, видя, как человек оценивает другие работы, можно правильно понять ту оценку, которую он поставил тебе.
3. Вес оценок. Я считаю, что это неудачное решение. Для того, чтобы твоя оценка имела вес – ты должен ставить оценки равномерно. Вот тут то и возникает проблема: выставленные работы имеют далеко не равномерное распределение по оценкам. Да и у каждого свои критерии оценки. По моим критериям работы распределяются примерно в соотношении: 5 < 1%; 4 – 20-30%; 3 - 40-50%; 2 – 20-30%. А это означает, что если я хочу, чтобы моя оценка имела вес, то я могу оценивать < 4% работ. Смысл? И по какому критерию выбирать, какие из работ оценить?
4. Идея Художественного Совета сама по себе не плохая. Если удастся создать работающий ХС, то это пойдет на пользу сайту. Но почему оценки ХС тоже считаются по той же формуле? У них задача – оценить по возможности больше работ. А значит, распределение оценок не может оказаться равномерным. Поэтому и получается, что многие члены ХС, поставив уже не мало оценок, имеют небольшой вес своей оценки и результаты ХС-овского рейтинга работ - удручающи. По моему мнению, у членов ХС вес оценок всегда должен быть 1,0.
5. Диапазон оценок. Он слишком узок. Часто бывает очень сложно определиться, что поставить 3 или 4, 4 или 5. Если бы система была по 10-ти бальной шкале, оценивать было бы намного проще.
6. Логика работы алгоритма подсчета оценок продумана не до конца и работает не стабильно:
Например: у работы, которая мне нравится, стоит две пятерки и бал 5,0. Я ставлю еще одну пятерку (при этом в момент выставления оценки у меня вес – 1,0) и результирующая оценка – 0,0. Решил подождать. Пришел на работу через некоторое время: там уже стоит пять пятерок и средний бал 5,0. Думаю, что теперь я смогу поставить оценку. Но результат тот же???!!!
Убираю свою оценку – опять появляется средний бал 5,0.
В других ветках имеются и другие примеры неправильной логики алгоритма.

Надеюсь, что приведенные выше замечания, помогут модератору оценить свою работу и, возможно, сделать соответствующие корректировки новой системы.

Во-первых, огромное спасибо за анализ.

Цитата:

от: Александр Грабко
Вывод: необходимо дать возможность выставлять работы без оценок (то есть вне конкурса)

При выставлении работы есть галочка &quot;участвовать в рейтинге&quot; - это вкл/выкл для оценок+рекомендаций. Делить их желания пока нет.

Цитата:

от: Александр Грабко

2. Анонимность оценок вопрос очень спорный. Но, по моему мнению, в ней больше минусов, чем плюсов. Я не думаю, что много членов клуба будет «воевать» оценками.

Система сделана не для войны, а для того, чтобы не использовать оценки для саморекламы, как происходит с реками.
Цитата:

от: Александр Грабко

При этом, видя, как человек оценивает другие работы, можно правильно понять ту оценку, которую он поставил тебе.

Для этого остается система полностью открытая рекомендаций.
Цитата:

от: Александр Грабко

Вот тут то и возникает проблема: выставленные работы имеют далеко не равномерное распределение по оценкам.

Это решение было введено только против любителей однобокого оценивания. У меня была идея сделать неравномерное распределение, но как Вы уже сказали, критерии у каждого свои, кроме того даже если я сделаю распределение по своим критериям, то никто не гарантирует, что распределение работ само изменится (скажем, случатся чудо и отстой уйдет) - непонятно что делать в том случае.
Цитата:

от: Александр Грабко

А это означает, что если я хочу, чтобы моя оценка имела вес, то я могу оценивать &lt; 4% работ.

Но Вы же не собираетесь оценивать ВЕСЬ поток? Идея в том, чтобы поделить на 4 участка не ВСЕ вообще работы, а все просматриваемые. А среди просматриваемых (разные топы, подписка и т.п. распределение заведомо другое и как раз ближе к равномерному, бо заведомо плохие работы уже отфильтрованы)
Цитата:

от: Александр Грабко

По моему мнению, у членов ХС вес оценок всегда должен быть 1,0.

Пока не разберемся с внутренними склоками, просто боюсь раздавать такое мощное оружие :)
Цитата:

от: Александр Грабко

Часто бывает очень сложно определиться, что поставить 3 или 4, 4 или 5.

Это связано с привязкой к равномерному распределению. Дискретный вариант выбран из-за простоты реализации, а заставить людей ставить равномерно 6-10 оценок я не возьмусь.
Цитата:

от: Александр Грабко

6. Логика работы алгоритма подсчета оценок продумана не до конца и работает не стабильно:

Получилось 50 строк кода и каким-то безумным количеством ошибок на квадратный метр. И все почему-то не вылавливаются простым тестированием. :(
Цитата:

от: Александр Грабко

Надеюсь, что приведенные выше замечания, помогут модератору оценить свою работу и, возможно, сделать соответствующие корректировки новой системы.

Еще раз огромное спасибо. Надеюсь, что скоро все поправлю и увидим хоть какие-то результаты.

Цитата:

от: Volod

Система сделана не для войны, а для того, чтобы не использовать оценки для саморекламы, как происходит с реками.

Если кто-то захочет рекламировать свои пятерки, так он и так это сможет (написав об этом в комментарии, как многие рекламируют рекомендации)
Цитата:

от: Volod

Для этого остается система полностью открытая рекомендаций.

Лично для меня, намного полезнее было бы наоборот: пара оценка + автор оценки говорит мне намного больше, чем рекомендация. Кроме того в идеале рекомендации ставятся только за самые удачные работы, а оценку можно получить и за плохую работу -&gt; можно понять насколько она плоха.
Цитата:

от:Volod

Но Вы же не собираетесь оценивать ВЕСЬ поток? Идея в том, чтобы поделить на 4 участка не ВСЕ вообще работы, а все просматриваемые. А среди просматриваемых (разные топы, подписка и т.п. распределение заведомо другое и как раз ближе к равномерному, бо заведомо плохие работы уже отфильтрованы)

Подробнее

Так в этом то и проблема. Чтобы найти одну работу, за которую стоит поставить 5 баллов нужно просмотреть 100 - 300 работ, при этом оценив из них только 3, чтобы оценка что-то значила.

P.S. Спасибо за развернутый ответ.

Уважаемый модератор я полностью согласен с Александром Грабко и сам хотел написать нечто подобное . Особенно болезнным на мой взгляд является п.4. Создавши худсовет, имеет смысл ему доверять. Цель - создание новых топов( сортировок) , ну так и надо дать всем членам коэффициент 1. Кстати оценки для всех остальных можно наверно и убрать-нет смысла вводить более одной новой сущности одновременно.
С уважением Александр

Цитата:

от: albor
ну так и надо дать всем членам коэффициент 1.

Ну, настолько я им еще не доверяю :) Пока сделал их вес, как корень четвертой степени из обычного веса - не 1, но даже при небольшом весе получается прилично. Но любители ставить ТОЛЬКО 2 или 5 не пройдут.

Очень правильный анализ ситуации с оценками. 10 бальная система была бы лучше! С разяснением что есть что (только для семейного альбома, не более чем упражнение .... итп) .... причем я пока что для себя поставила критерий что это оценки за техничность .... а не за художественность ... Те в такой ситуации работу с 4 можно запросто рекомендовать итп .....

Цитата:

от: Ms. DNV
10 бальная система была бы лучше!

Лучше была бы многомерная система оценок с плавающими весами и рекурсивной оценкой оценивателей. Только если тут в пяти цифрах запутались, то нормальную систему вообще никто не поймет.

На фотофоруме в рейтинге очено нормальная система оценок 10ти бальная по 3ем статьям (композиция, воздействие, техника) и около каждой циферки написано что есть что .... оценивать очень удобно и очень наглядно и понятно где твои (автора снимка) недочеты

рада, что еще хоть кого-то интересует этот вопрос. Замечания во многом правильные.
и фотофорум во многом можно взять за образец в этом смысле.