Над Индией пронесся ураган, в половине страны нет электричества, Интернета не будет минимум 15 дней .
Это к вопросу о всемирном обсчете лайв-рейтингов .
mickey: Над Индией пронесся ураган, в половине страны нет электричества, Интернета не будет минимум 15 дней .
Это к вопросу о всемирном обсчете лайв-рейтингов .
Вот, именно! Гладко было на бумаге, да забыли про овраги!...
остров Мэн: корреляция между порядковым номером участника и итоговым местов - 0,67.
Интересно, рейтинг объясняет чуть меньше половины итоговых результатов
leshkastar: остров Мэн: корреляция между порядковым номером участника и итоговым местов - 0,67.
Интересно, рейтинг объясняет чуть меньше половины итоговых результатов
Сто раз говорили: рейтинг не может ничего объяснять. Игроки крайне редко (можно считать, никогда) не выстраиваются строго по рейтингу. Но именно рейтинг в значительно большей степени соответствует их практической силе, чем результат оттдельно взятого турнира.
Спросим себя: что, Ван Хао сильнее Карлсена? или Алексеенко сильнее Грищука? а, может, Паравян сильнее Карякина? Видит сильнее Ананда? Рахманов сильнее Со? Ни на один из этих вопросов (кроме, может быть, второго) ни один относительно нормальный человек не ответит утвердительно.
А, может быть, это утверждение справедливо прямо сейчас? не вообще, а на данный момент. Ну давайте сейчас проведем матч между Карлсеном и Ваном, или между Со и Рахмановым. На кого поставите? то-то же.
Проведено прекрасное, динамичное, интересное соревнование. Его результаты, безусловно, достойны анализа, могут быть сделаны опрелеоенные выводы - но только не такие, какие я перечислил выше. И в качестве отбора оно пригодно с большими оговорками.
Приволок пустую железную бочку и давай стучать по ней дубиной. Получается громко, но никого эта "музыка" почему-то не впечатляет.
Короткое замечание RoxyS звучит гораздо осмысленнее:
Живые люди играют все-таки
В этой связи любопытно узнать у специалистов: много ли встречается расхождений между итоговым турнирным положением и исходными рейтингами в соревнованиях компьютерных программ?
(Ну, там могут быть специфические оговорки типа "не одинаковое железо" и т.п., но все-таки?)
Почитатель: В этой связи любопытно узнать у специалистов: много ли встречается расхождений между итоговым турнирным положением и исходными рейтингами в соревнованиях компьютерных программ?
Безусловно, случаются, поскольку иное означало бы, что их создатели после предыдущего турнира сидели сложа руки.
Я вам даже больше скажу: в соревнованиях компьютерных программ случается, что приходит некто с рейтингом 2000 (назовем его Альфазеро) и надирает задницу всем. В соревнованиях людей (несмотря на постоянные ламентации fso и иже с ним - мол, "а что, если...") такого не бывает, и быть не может. Поэтому пресловутый негандикапный отбор не имеет смысла.
Ukrfan
Я согласен, что рейтинг хорошо отражает практическую силу. Однако рейтинг предсказывает результаты турнира с определенной погрешностью. Если бы рейтинг коррелировал с результатом турнира на 0.1-0.2, то можно было бы задаваться вопросом – это рейтинг фуфло или турнир не по шахматам.
Жаль, что фактор «все люди» нельзя разделить на факторы «сила игры в этом турнире была непривычно высокой/низкой», «у шахматиста Х в этом турнире была высокая/низкая мотивация», «тот то использовал турнирную стратегию», «случайный шум», "неправильные допы".
Слово «объясняет» я использовал в следующем смысле. Я часто видел, что если параметры А и В коррелируют и В было позже А, то авторы пишут о том, что А объясняет столько-то процентов дисперсии B. Это неправильно?
RoxyS
Точного измерителя уровня мотивации нету. Но иногда можно посмотреть, насколько этот фактор вмешивается в "объективную действительность". Например, деньги - наиболее универсальная мотивация. Соответственно, можно посмотреть, насколько различается корряляция между рейтинговым номером и итоговым результатов в зависимости от денежного вознаграждения. Понятно, что денежное вознаграждение влияет и на средний рейтинг участников, и это тоже придется учитывать, но тем не менее.
Мне кажется, что ошибки имеют разную природу. Проигрыш Карслена Топалову из-за флага , ход 4...Кре7? или 18...Cd5? от Howell - это очень разные ошибки, которые понимать и интерпретировать тоже лучше постараться по-разному.
leshkastar: Ukrfan
Я согласен, что рейтинг хорошо отражает практическую силу. Однако рейтинг предсказывает результаты турнира с определенной погрешностью. Если бы рейтинг коррелировал с результатом турнира на 0.1-0.2, то можно было бы задаваться вопросом – это рейтинг фуфло или турнир не по шахматам.
Жаль, что фактор «все люди» нельзя разделить на факторы «сила игры в этом турнире была непривычно высокой/низкой», «у шахматиста Х в этом турнире была высокая/низкая мотивация», «тот то использовал турнирную стратегию», «случайный шум», "неправильные допы".
Слово «объясняет» я использовал в следующем смысле. Я часто видел, что если параметры А и В коррелируют и В было позже А, то авторы пишут о том, что А объясняет столько-то процентов дисперсии B. Это неправильно?
Я понимаю, что "жаль", иначе вы могли бы предсказывать результаты турниров с уровнем "бог". Я уже неоднократно объяснял, что практическая сила спортсмена - как измеряемая (в случае легкоатлетов, пловцов, штангистов), так и вычисляемая (в тех видах спорта, где учитываются результаты партий, матчей, турниров) - только один из многих факторов, влияющих на результат конкретной партии, забега, матча. Все их учесть невозможно, но если мы знаем спортсмена очень хорошо и обладаем инсайдерской информацией - у нас, конечно, больше шансов.
Спортсмен плохо спал этой ночью (причины могут быть опять же, разными); спортсмен отравился несвежей рыбой; у спортсмена болит голова; у спортсменки "те" дни; спортсмен узнал, что его девушка залетела; спортсмен разругался с тренером - все это влияющие факторы. На результат отдельной партии могут влиять также факторы взаимоотношений с конкретным соперником. Например: спортсмен боится этого соперника, как огня, или, напротив, он с ним в прекрасных отношениях и обычно играет вничью. Все эти факторы надо а) знать (что малореально, если вы не отец и не тренер спортсмена); б) оценить их влияние в данном конкретном случае. Это очень сложная работа, которая поддаётся (в некоторой степени) экспертной оценке, но математически не формализуется.
Теперь взглянем на проблему с другой стороны: что нам даёт результат конкретной партии (или даже турнира), если на них, кроме практической силы, влияет столько разных факторов? да почти ничего. Нам нужны усредненные данные, в которых влияние всех этих (и других) факторов учтено в меньшей степени, которые больше соответствуют действительной силе игрока. А это:
- либо рейтинг(где учтены все результаты, но, возможно, им не придан адекватный вес);
- либо цикл соревнований за значимый период, где учтены, во-первых, прежде всего важные турниры, во-вторых, успехи в них ранжированы по значимости.
Отдельно же взятый турнир, как бы увлекателен он ни был, и как бы болелам ни хотелось, чтобы все решалось "здесь и сейчас", для важных целей, вроде отбора, не годится (о всяческих нокаутах и говорить нечего).
Спасибо, Ukrfan, было интересно услышать ваше мнение.
Из ваших примеров я понял, что вы считаете "уровень игры" постоянной величиной, если бы удалось исключить все "нешахматные" факторы. Грубо говоря, что не может быть такого: шахматист А играет на уровне 2000 в 90% процентах случаях, и на уровне 2200 в 10% случаях, если исключить посторонние факторы. Это интересно в контексте проблемы измерений вообще (которые постоянно варьируются, даже при измерении чувствительности к сенсорным сигналам).
Об оптимальном формате я ничего не говорил, идея проводить для отбора серию турниров мне кажется хорошей.
leshkastar: Спасибо, Ukrfan, было интересно услышать ваше мнение.
Из ваших примеров я понял, что вы считаете "уровень игры" постоянной величиной, если бы удалось исключить все "нешахматные" факторы.
Нет, почему же. Величина эта переменная, но график ее (в идеальном мире) не менялся бы случайным образом. Он бы сначала рос, причем не обязательно гладко: вот, например, человек научился инрать в шахматы, ему показали ходы, правила увзятия фигур, простейшую стратегию. Скачок? Скачок. Потом папа подарил книгу Майзелиса - снова скачок. Потом пошел в шахматную секцию. Потом папа напрягся, и отдал сына Чучелову или к Карту. Потом купил компьютер. Это шахматные факторы, или нешахматные?
Грубо говоря, что не может быть такого: шахматист А играет на уровне 2000 в 90% процентах случаях, и на уровне 2200 в 10% случаях, если исключить посторонние факторы.
Такого точно не может быть. Но исключить-то мы их не можем. Поэтому играть шахматист в этот день может и на 2200, если он с дикого бодуна, или у него почечный криз. А вот сила его - она по-прежнему при нём, хотя какую-то часть нейронов дикий запой может и нарушить.
В общем, это уже впрос, скорее, философский.
Это интересно в контексте проблемы измерений вообще (которые постоянно варьируются, даже при измерении чувствительности к сенсорным сигналам).
Измерение силы и сама сила - это, понятное дело, не одно и то же.
Об оптимальном формате я ничего не говорил, идея проводить для отбора серию турниров мне кажется хорошей.
Спасибо. Как-то даже странно вести в этом треде спокойную беседу, без взаимных нападок.
Мне кажется, что ошибки имеют разную природу. Проигрыш Карслена Топалову из-за флага , ход 4...Кре7? или 18...Cd5? от Howell - это очень разные ошибки, которые понимать и интерпретировать тоже лучше постараться по-разному.
leshkastar,
возможно следует выделить системные ошибки (недостаток шахматных знаний) и случайные (просмотр, зевок).
Почитатель: Приволок пустую железную бочку и давай стучать по ней дубиной. Получается громко, но никого эта "музыка" почему-то не впечатляет.
Короткое замечание RoxyS звучит гораздо осмысленнее:
Живые люди играют все-таки
В этой связи любопытно узнать у специалистов: много ли встречается расхождений между итоговым турнирным положением и исходными рейтингами в соревнованиях компьютерных программ?
(Ну, там могут быть специфические оговорки типа "не одинаковое железо" и т.п., но все-таки?)
Это смотря откуда эти "исходные рейтинги" выдрать, вообще говоря.
Т.к. у шахматных программ нет никакого централизованного рейтинга, то и, вообще говоря, и говорить о том, что, мол, сыграли не по рейтингу, достаточно сложно.
Бывают, конечно, апсеты, когда в финал турнира проходит не 2 лучшие программы, но бывает куда реже, чем у людей, во-первых, потому что программы не зависят от настроения, здоровья и прочего, да и сама их природа позволяет в отборочной стадии наиграть не 10 игр, а хоть 100 или 1000. Из примеров - 10 сезон TCEC, где в финал не попал Stockfish, и 16, где в финал не попала Leela, каждый из которых, пожалуй, был наиболее сильной программой тогда. В остальном обычно играет топ-1 против топ 2-3 (отрыв между ними зачастую совсем небольшой, поэтому кто пройдёт - тут как повезёт. Против какого-нибудь топ-7 матчей финальных не бывает толком, но это потому, что топ-7 в мире шахматных движков отстаёт от топ-1 куда больше, чем топ-7 людей от Карлсена, вот недавно делали бонусный матч Stockfish-Komodo, топ-1 против топ-5 (топ-2 среди не-нейросетевых движков), который закончился со счётом +45-3=52, что как бы намекает на разрыв ).
А про альфазиро пример неудачный, т.к. это, простите, уровень "у нас новый бегун, он бегает 100 метров за 8 секунд, вот запись пробега его на первых 7 метрах, но на соревнования он ездить не будет" - ни в одном даже полуофициальном соревновании А0 так и не поучаствовал, поэтому, хоть он, пожалуй, и был объективно несколько сильнее, чем всё, что тогда было, но это отыграли где-то в течение полугода.
Почему я говорю "несколько сильнее" - потому что 30-100 эло отрыва (а скорее даже 30, потому что никто толком не тестирует шахматные движки на игру со стартовой позиции, это прилично, но не так уж и много для движков. Примерно полгода работы или около того.
.
.
