ChessPro online

Новости мира движков

вернуться в форум

29.10.2007 | 19:10:30

Главная  -  Поговорим?  -  Железный марш

2522

Vizvezdenec

Ниже нуля
Севастополь

28.10.2023 | 18:46:35

все его сообщения:
за день, за месяц,
за все время
Evgeny Gleizerov: Кстати, соотношение "ферзь и два слона против ферзя и слона без пешек" в моей базе (там семь с половиной миллиона партий, не считая заочных) встретилось всего один раз, но там мгновенно теряется фигура и ничья! Даже не ожидал, что это такая огромная редкость. А вот с одной пешкой у слабейшей стороны, если сразу ничего не теряется - 5, результат 4,5 из 5 в пользу двух слонов. Конечно, это ничего не значит, на такой малой базе никаких статистических выводов делать нельзя.

Но вообще-то под "в общем случае" практики понимают примерно это: в реальной игровой позиции с таким соотношением выиграно (или ничья), если нет каких-то специальных особенностей, связанных с конкретными вариантами. Типичный пример: в общем случае ферзь и две пешки выигрывают против ферзя, если только это не ладейная и коневая при короле слабейшей стороны перед ними (есть и другие исключения, но под "общий случай" они не подпадают). Тогда в общем случае ничья, хотя там полно выигранных позиций. Но если фигуры стоят "нормально" - то ничья. Ну, или "ладья и слон против ладьи" - выигранные позиции есть, но в общем случае ничья.

Ну это понятно, но вообще несколько любопытно, насколько такие "общие случаи" реально общие.
Во многих типах эншпилей я встречал, что соотношение выигранных позиций и позиций, которые ничья по правилу 50 ходов, чуть ли не 50/50. Могу что-то путать, но, по-моему "две ладьи и конь против двух ладей" примерно из такой оперы.
Ферзь против двух слонов примерно где-то там же, зависит от положения фигур в чистом виде.
номер сообщения: 54-31-7671

2523

Evgeny Gleizerov

28.10.2023 | 20:56:06

все его сообщения:
за день, за месяц,
за все время
Это редкие окончания, но разного типа. Ферзь против двух слонов - это часто потусторонняя геометрия, не поддающаяся осмыслению. А вот две ладьи и конь против двух ладей - никогда не изучал, но как практик, полагал бы вероятность победы при игре за доской гораздо более высокой, чем ничьей. То же и ферзь и два слона против ферзя и слона - там не полумистические фигурные зигзаги, а шахматные планы и идеи.
номер сообщения: 54-31-7672

2524

Vizvezdenec

Ниже нуля
Севастополь

28.10.2023 | 21:07:54

все его сообщения:
за день, за месяц,
за все время
Ну я говорю про идеальную игру. В ферзе против двух слонов я точно уверен, что там проклятых побед чуть ли не каждая вторая позиция.
Там условно куда ни плюнь - либо победа, но ничья по правилу 50 ходов, либо нет.
Ну вот буквально первую попавшуюся позицию взял -
DTZ 96, т.е. за 2 хода до правила 50 ходов забираем слона. Понятное дело, что играть так точно без таблиц под рукой невозможно.
Или вот какие-то ну просто случайные позиции -

Тут выигрывает только Qg2 с DTZ 96, второй лучший ход - Qa2, но там темп в темп ничья по правилу 50 ходов. И так буквально в каждой позиции, где слон не выигрывается в 3-4 хода.
номер сообщения: 54-31-7673

2525

Evgeny Gleizerov

28.10.2023 | 21:17:51

все его сообщения:
за день, за месяц,
за все время
Ну да, я ж и говорю - потусторонняя геометрия.
номер сообщения: 54-31-7674

2526

Vizvezdenec

Ниже нуля
Севастополь

28.10.2023 | 21:20:31

все его сообщения:
за день, за месяц,
за все время
А, я коряво прочитал.
Но вообще тут, конечно, везде сложностей хватает. В любом случае интересно, что в том эндшпиле даже лишняя пешка не спасает. И интересно то, что стокфиш это видит за десятки ходов загодя, имея всего лишь шестифигурные таблицы.
номер сообщения: 54-31-7675

2527

Garin

31.10.2023 | 11:57:53

все его сообщения:
за день, за месяц,
за все время
Много ли еще осталось как Вы считаете до принципиальной невозможности дальнейшего усиления движка?
В 2020 году кто-то здесь рассчитывал этот момент на уровне силы игры движка в 4877 Elo по шкале CCRL.
Не изменились ли взгляды на это,действительно ли предел роста должен быть,в том плане,что на каком-то этапе дальнейшее усиление станет иметь вид "слон рожает мышь"? Может,что-то более принципиальное?
И интересно как это будет(если будет)выглядеть на практике.
Допустим движок дошел до максимальной силы с железом домашнего компьютера и непонятная для меня ситуация,-ставим этот движок на супер железо,пусть метео супер компьютер,а это не дает никакого эффекта... )
Как то так,это будет выглядеть,или как-то иначе?
номер сообщения: 54-31-7676

2528

Evgeny Gleizerov

31.10.2023 | 12:32:43

все его сообщения:
за день, за месяц,
за все время
Присоединяюсь к вопросу!
номер сообщения: 54-31-7677

2529

Quantrinas

Любитель
DD

31.10.2023 | 12:44:44

все его сообщения:
за день, за месяц,
за все время
Нет причин, по которым шахматы нельзя решить полностью, как шашки.

__________________________
Audiatur et altera pars
номер сообщения: 54-31-7678

2530

Vizvezdenec

Ниже нуля
Севастополь

31.10.2023 | 14:38:52

все его сообщения:
за день, за месяц,
за все время
Garin: Много ли еще осталось как Вы считаете до принципиальной невозможности дальнейшего усиления движка?
В 2020 году кто-то здесь рассчитывал этот момент на уровне силы игры движка в 4877 Elo по шкале CCRL.
Не изменились ли взгляды на это,действительно ли предел роста должен быть,в том плане,что на каком-то этапе дальнейшее усиление станет иметь вид "слон рожает мышь"? Может,что-то более принципиальное?
И интересно как это будет(если будет)выглядеть на практике.
Допустим движок дошел до максимальной силы с железом домашнего компьютера и непонятная для меня ситуация,-ставим этот движок на супер железо,пусть метео супер компьютер,а это не дает никакого эффекта... )
Как то так,это будет выглядеть,или как-то иначе?

Тут вопрос, что нам вообще нужно.
Если брать Эло по шкале CCRL - мы уже дошли до практического максимума.
Вот можно посмотреть так - https://ccrl.chessdom.com/ccrl/4040/rating_list_all.html - разница между стоком 16 и 13 что там, 15 эло? С погрешностью суммарной 40? При том, что https://ccrl.chessdom.com/ccrl/4040/cgi/engine_details.cgi?print=Details&each_game=0&eng=Stockfish%2016%2064-bit%204CPU#Stockfish_16_64-bit_4CPU сток 16 проиграл в этом рейтинг листе ноль партий? (кстати вот по этой причине я в последнее время критикую регулярно CCRL, их методика тестирования уже просто не подходит для сильнейших движков, т.к. они просто делают друг с другом 98% ничьих, и дальше кому больше повезло с вырубанием хвоста, тот и молодец)
Шахматы в конце концов игра с большим запасом ничейности и выиграть, если противник не ошибается достаточного количества раз, просто невозможно. Ну какие-то крохи в том, чтобы успешнее ждать, пока более слабый движок сам напортачит, насобирать ещё можно, конечно, но это буквально десятки эло какие-то.
Недаром и адванс успешно умер, операторы наклепают 100% ничьих, причём противник будет на 100% знать, что он играет против стокфиша, но сам, имея тот же стокфиш, обыграть его не сможет.
Т.е. "слабое" решение, где движок практически никогда не испортит ничего из сбалансированных позиций - мы уже где-то здесь.
Другое дело - играть хорошо любые позиции, а не только те, где преимущество одной из сторон минимально.
Вот тут прогресса ещё очень много может быть и он есть.
Ну, например, последний мастер против стока 16 так выглядит - https://tests.stockfishchess.org/tests/view/6536be88cc309ae83955ad1d - это 60+0.6 контроль 8 ядер, что примерно соответствует 360+3.6 на партию, книга с выходом типа +1, по меркам тестирования движков очень длинный контроль. Как можно заметить, dev версия проигрывает чуть больше, чем каждую шестую пару игр (Ptnml(0-2): 19, 5311, 17763, 6884, 23 - левые два числа это LL и DL), выигрывает, соответственно, где-то 23% пар. Ну вот пока не будет проигрывать около нуля - в принципе есть, куда расти. Так что именно такой прогресс, как мне кажется, ещё долго может идти.
Вот, например, результаты dev версий против стока 14 на той же книге - https://nextchessmove.com/dev-builds/sf14, как можно заметить, выиграно почти 70% пар, а проиграно типа 3% пар, при этом в CCRL там 5 эло разницы или сколько там, а вот если их поставить в кривые позиции - полная доминация. Контроль тут, правда, очень короткий, но и на более длинном будет достаточно похожая картина, только меньше пар-побед и меньше пар-поражений.
Более того, дальше можно с помощью фильтрации и т.д. создать новую книгу, которая опять будет давать в районе 40-50% пар, дающих не ничейный результат, и т.д.
Так что прогресс ещё будет, другой вопрос, насколько он будет именно в подготовке к партии, например, заметен - не очень понятно, ведь начальная-то позиция - битая ничья, а прогресс идёт в основном на позициях, которые на грани поражения.
Но даже если движок будет объективно всегда делать ходы, которые не ухудшают позицию, можно прогрессировать в двух направлениях, первое - делать это за минимальное время, и второе - набирать наибольшее количество очков против более слабых противников.
Так что как по мне ещё на пару десятилетий ковырять тут будет что.
Ну это если не будет больших прорывов уровня NNUE, конечно, который почти 5 лет разработки за год сделал.
номер сообщения: 54-31-7679

2531

Vova17

кмс

31.10.2023 | 14:41:22

все его сообщения:
за день, за месяц,
за все время
Будет асимптотически приближаться.

__________________________
Спасение там, где опасность.
номер сообщения: 54-31-7680

2532

Quantrinas

Любитель
DD

31.10.2023 | 14:45:54

все его сообщения:
за день, за месяц,
за все время
Пока не скакнёт на полное решение. 32-фигурные таблицы.

__________________________
Audiatur et altera pars
номер сообщения: 54-31-7681

2533

Quantrinas

Любитель
DD

31.10.2023 | 14:47:37

все его сообщения:
за день, за месяц,
за все время
Но есть и такое мнение.
Очевидно, что 32 фигурные окончания рассчитать не возможно в принципе, так как известно, что число различных позиций в шахматах больше, чем атомов во вселенной. И хранить такой объём информации просто негде.


__________________________
Audiatur et altera pars
номер сообщения: 54-31-7682

2534

Vizvezdenec

Ниже нуля
Севастополь

31.10.2023 | 14:53:37

все его сообщения:
за день, за месяц,
за все время
Quantrinas: Но есть и такое мнение.
Очевидно, что 32 фигурные окончания рассчитать не возможно в принципе, так как известно, что число различных позиций в шахматах больше, чем атомов во вселенной. И хранить такой объём информации просто негде.

Ну это не мнение, это факт.
Кстати и игра по 32-фигуркам вряд ли будет красивой, ведь для них различия между первым ходом e4 и первым ходом f3, скорее всего, нет никакого - ничья и ничья. А вот практически против e4 играть сложнее.
номер сообщения: 54-31-7683

2535

Quantrinas

Любитель
DD

31.10.2023 | 15:00:03

все его сообщения:
за день, за месяц,
за все время
Когда-то фактом считалось, что нельзя сделать цифровую фотографию.
Так что не будем торопиться с выводами. )

__________________________
Audiatur et altera pars
номер сообщения: 54-31-7684

2536

Vova17

кмс

31.10.2023 | 15:11:32

все его сообщения:
за день, за месяц,
за все время
В некоторых вещах излишне разумное диалектически переходит в свою противоположность. Это касается прежде всего развлечений и игр всякого рода. Вот убили шашки, кому от этого стало хорошо? Да, есть энтузиасты, которые продолжают играть, мол, человек все равно не сможет уместить все в своей голове, а значит всегда останется место и для творчества. Но сама мысль, что приговор уже известен наверняка будет отравлять радость от игры.

__________________________
Спасение там, где опасность.
номер сообщения: 54-31-7685

2537

Vizvezdenec

Ниже нуля
Севастополь

31.10.2023 | 15:18:10

все его сообщения:
за день, за месяц,
за все время
Ну в каком плане приговор известен? В шахматах он тоже известен - ничья. Конечно, это там не доказано и т.д., но вряд ли у кого-то серьёзно вызывает сомнения на данном этапе.
В гексе условном доказали уже давно, что первый ходящий выигрывает, но как бы да, выигрышную стратегию нашли очень недавно и на очень небольших досках, а движки, способные обыгрывать людей, появились буквально несколько лет назад.
В шахматах движки сильнее людей уже почти 3 десятилетия, ну и вроде ничего.
номер сообщения: 54-31-7686

2538

Vova17

кмс

31.10.2023 | 15:25:58

все его сообщения:
за день, за месяц,
за все время
Vizvezdenec: Ну в каком плане приговор известен? В шахматах он тоже известен - ничья. Конечно, это там не доказано и т.д., но вряд ли у кого-то серьёзно вызывает сомнения на данном этапе.

В этом-то все и дело, нет математического приговора, этого убийственного тавро.

__________________________
Спасение там, где опасность.
номер сообщения: 54-31-7687

2539

Evgeny Gleizerov

31.10.2023 | 15:45:32

все его сообщения:
за день, за месяц,
за все время
Vizvezdenec: В шахматах движки сильнее людей уже почти 3 десятилетия, ну и вроде ничего.

Ну как ничего, утрачено искусство анализа без компьютерных костылей (как дебюта, так и эндшпиля). А это было ни с чем не сравнимым наслаждением. Вот уйдёт наше и следующее поколение, и всё, это будет как китайская резьба по дереву или римское стеклоделие.
номер сообщения: 54-31-7688

2540

Vizvezdenec

Ниже нуля
Севастополь

31.10.2023 | 15:47:54

все его сообщения:
за день, за месяц,
за все время
Evgeny Gleizerov:
Vizvezdenec: В шахматах движки сильнее людей уже почти 3 десятилетия, ну и вроде ничего.

Ну как ничего, утрачено искусство анализа без компьютерных костылей (как дебюта, так и эндшпиля). А это было ни с чем не сравнимым наслаждением. Вот уйдёт наше и следующее поколение, и всё, это будет как китайская резьба по дереву или римское стеклоделие.

Ну я про то, что играть вполне можно и много людей это делает.
А так конечно, множество вещей поменялось, да и продолжает меняться. Но если завтра условно появится математическое доказательство того, что при идеальной игре шахматы - ничья, я не уверен, что это вообще на что-то повлияет.
Хотя по мне анализировать с компьютерными костылями - тоже интересное занятие, особенно в позициях, где всё-таки ещё есть что смотреть (тот самый разноцвет, например).
номер сообщения: 54-31-7689

2541

Quantrinas

Любитель
DD

31.10.2023 | 16:04:49

все его сообщения:
за день, за месяц,
за все время
Я как гонял блиц вечерком, так и буду гонять. Ничего не изменится.

__________________________
Audiatur et altera pars
номер сообщения: 54-31-7690

2542

Garin

31.10.2023 | 19:04:14

все его сообщения:
за день, за месяц,
за все время
...Так что как по мне ещё на пару десятилетий ковырять тут будет что.
Ну это если не будет больших прорывов уровня NNUE, конечно, который почти 5 лет разработки за год сделал.[:цитата]

Спасибо большое за замечательный,подробный ответ!
номер сообщения: 54-31-7691

2543

Rom77

31.10.2023 | 19:33:06

все его сообщения:
за день, за месяц,
за все время
В принципе, если разыграть любую равную позицию сильнейшими движками, то более чем в 99 % случаев получим результат соответствующий исходу из 32-фигурной базы. Наличие самой базы не обязательно. Аналогично произойдет и при сильно перекошенных стартовых позициях.

Таким образом, для измерения усиления движков остались только позиции "на два результата". Как только исход партий из таких позиций будет приводить к "истинному" результату, то можно будет просто разыграть партию из позиции сильнейшими движками и с большой долей вероятности получить идеальную оценку позиции (1 или 0,5 или 0). Без всяких 32-фигурных баз.

В этот момент любые улучшения движков по-видимому станут невозможными, так как мы не сможем измерить прогресс.

Как можно догадаться, что мы приближаемся к пределу? Например, при резком уменьшении доли результатов 1,5-0,5 в парах партий, при игре примерно равных по силе, но разных по стилю движков. Второй вариант - при многократной разнице в контроле у соперников, результат будет близок к 50 % очков, тоже при отсутствии результатов вида 1,5-0,5.

Я намеренно вынес за скобки тесты против слабых движков, так как здесь прогресс тоже едва читается и больше зависит от стиля игры, чем от соотношения сил соперников.

Есть ли ещё резервы усиления? Ну, как уже писал ранее, у Стокфиша слабовата нейросеть, и если удастся её серъёзно увеличить/усилить без потери скорости, то прогресс может быть значительным.


Evgeny Gleizerov: Ну как ничего, утрачено искусство анализа без компьютерных костылей (как дебюта, так и эндшпиля). А это было ни с чем не сравнимым наслаждением. Вот уйдёт наше и следующее поколение, и всё, это будет как китайская резьба по дереву или римское стеклоделие.

С одной стороны наслаждение, а с другой, принципиальная невозможность познать истину может сильно напрягать того, кто к ней стремится. Недавно прочитал мнение одного любителя, что он бы душу продал, предложи ему современный движок в 80-е.
номер сообщения: 54-31-7692

2544

Vizvezdenec

Ниже нуля
Севастополь

31.10.2023 | 19:48:48

все его сообщения:
за день, за месяц,
за все время
Rom77:

Есть ли ещё резервы усиления? Ну, как уже писал ранее, у Стокфиша слабовата нейросеть, и если удастся её серъёзно увеличить/усилить без потери скорости, то прогресс может быть значительным.

За последние полгода входной уровень нейросети увеличился в 2,5 раза.
И на более длинных контролях это перебивает даже очень сильное замедление самого движка (сейчас средняя скорость фиштеста типа 0,4 mnps, до нейросетей было типа 1,2, а учитывая, что сейчас много нового железа, думаю, было бы 1,4 или около того). Две архитектуры назад сток тратил 70% времени при бенчмарке именно на оценку позиции, раньше даже близко такого не было, а с тех пор сеть ещё в 1,7 раза увеличилась.
Я в этом, кстати, чуть боком поучаствовал, когда спросил у нашего главного тренировщика сетей, который очень много сделал в фильтрации входных данных для неё, а не пробовал ли он с новыми хорошо отфильтрованными данными размеры сети побольше, ведь теперь, когда данные для тренировки лучше, возможно, больший размер самой сети будет иметь смысл.
Ну он попробовал, и оно резко очень хорошо стало.
https://github.com/official-stockfish/Stockfish/commit/c1fff71650e2f8bf5a2d63bdc043161cdfe8e460 - вот тут он меня даже упомянул
https://github.com/official-stockfish/Stockfish/commit/915532181f11812c80ef0b57bc018de4ea2155ec
https://github.com/official-stockfish/Stockfish/commit/70ba9de85cddc5460b1ec53e0a99bee271e26ece
номер сообщения: 54-31-7693

2545

Rom77

31.10.2023 | 20:02:00

все его сообщения:
за день, за месяц,
за все время
На новейших процессорах, как я понимаю, скорость даже с увеличением нейросети почти не упала. Тогда как на моём старинном i5 760 скорость только четверть от классики (~280 kn/s / ~1100 kn/s).

Ждем выхода процессоров Intel поколения Meteor Lake. Там должен быть встроенный в ядро нейроускоритель.
номер сообщения: 54-31-7694

2546

Evgeny Gleizerov

31.10.2023 | 20:04:40

все его сообщения:
за день, за месяц,
за все время
Vizvezdenec: Хотя по мне анализировать с компьютерными костылями - тоже интересное занятие, особенно в позициях, где всё-таки ещё есть что смотреть (тот самый разноцвет, например).

Мне тут проще сравнивать просто по возрасту. В том смысле, что нашему поколению довелось профессионально поиграть (и, соответственно, поанализировать) и так, и так.
номер сообщения: 54-31-7695

2547

Vizvezdenec

Ниже нуля
Севастополь

01.11.2023 | 17:48:46

все его сообщения:
за день, за месяц,
за все время
Посмотрел тут последние турниры по адвансу...
https://www.iccf.com/event?id=97481
Естественно, в единственной на весь турнир результативной партии просто ошибка ввода - Qf8 вместо Kf8 и сдача на следующем же ходу.
Вопрос, собственно, в том, а зачем люди ещё этим занимаются-то?
Лет 5 назад среднее поле в 2400 имело процентов 10-20 результативных партий, сейчас - 0. Соревнование про то, кто лучше ход введёт без ошибок и кому больше повезёт в том, чтобы противник его ввёл с ошибкой.
номер сообщения: 54-31-7696

2548

Garin

01.11.2023 | 21:57:29

все его сообщения:
за день, за месяц,
за все время
Vizvezdenec: Посмотрел тут последние турниры по адвансу...
https://www.iccf.com/event?id=97481
Естественно, в единственной на весь турнир результативной партии просто ошибка ввода - Qf8 вместо Kf8 и сдача на следующем же ходу.
Вопрос, собственно, в том, а зачем люди ещё этим занимаются-то?
Лет 5 назад среднее поле в 2400 имело процентов 10-20 результативных партий, сейчас - 0. Соревнование про то, кто лучше ход введёт без ошибок и кому больше повезёт в том, чтобы противник его ввёл с ошибкой.

Новое железо покупают и надеются видимо,что это даст решающе преимущество.
номер сообщения: 54-31-7697

2549

Evgeny Gleizerov

01.11.2023 | 22:22:01

все его сообщения:
за день, за месяц,
за все время
А вот, кстати, интересный вопрос: какова динамика роли железа в эволюции "Стокфиша"? Разница в силе игры одной и той же версии на машинах разной мощности растёт или падает?
номер сообщения: 54-31-7698

2550

Vizvezdenec

Ниже нуля
Севастополь

01.11.2023 | 23:27:44

все его сообщения:
за день, за месяц,
за все время
Evgeny Gleizerov: А вот, кстати, интересный вопрос: какова динамика роли железа в эволюции "Стокфиша"? Разница в силе игры одной и той же версии на машинах разной мощности растёт или падает?

Чем сильнее сам софт - тем меньше даёт прибавки железо. Ну что вроде бы достаточно очевидно.
Ну в последнее время тут получается разнонаправленное влияние, связанное с техническими особенностями нейросетей.
Дело в том, что они используют векторные инструкции, которые быстро работают только на очень новых процессорах. Соответственно и скорость на ядро может отличаться в несколько раз между процессорами в буквально 5 лет разницы, в то время как раньше там и 30% разницы между топовым процом и средним процом на ядро не было.
Ещё немаловажен мультипроцессинг - стокфиш эффективно распараллеливается на практически любое число ядер, так что всякие новые AMD EPYC выдают на нём прекрасный перформанс, в несколько раз превышающий прошлые поколения серверных процессоров, хотя скорость на ядро не сильно выше, но самих ядер сильно больше.
Опять же зависит от того, как это измерять - на балансной книге точно падает, т.к. там ничьих % гигантский и какое железо не пихай на вход - всё одно ничья выходит, на пограничной книге эффект от большей силы железа очень заметен.
Так что вопрос не имеет прям чёткого ответа из-за нескольких разнонаправленных факторов.
Роль железа на самом деле больше всего проявляется в том, что стало больше мощностей для тестирования. Когда я только начинал заниматься разработкой стокфиша на фиштесте крутилось типа 300 ядер с пиками до 500, сейчас же типа 4-5 тысяч крутится, а в моменты, когда noobpwnftw проверял стабильность работы, мы чуть ли не до 100000 доходили. Там, конечно, сказка - тестируйся - не хочу, все тесты моментально завершаются.
Большее количество железа позволяет провести как больше тестов, так и наиграть в них больше партий, чтобы ловить более мелкие улучшения. Наличие в 10 раз больших мощностей - основная причина того, что прогресс стокфиша в принципе не особо замедляется по сравнению с временами стока 9, хотя движок, мягко говоря, сильно сильнее.
номер сообщения: 54-31-7699

2551

Vizvezdenec

Ниже нуля
Севастополь

10.12.2023 | 02:50:25

все его сообщения:
за день, за месяц,
за все время
https://tests.stockfishchess.org/tests/view/6574de998ec68176cf7d8bcb
Провели тут тестирование с 10х перевесом по времени, мастер 100 секунд/партию против 10.
Всего лишь 85 эло получилось и будет меньше и меньше при увеличении контроля.
номер сообщения: 54-31-7701