|
|
|
|
|
|
|
|
| |
|
|
|
|
|
|
|
Michael_S: saluki: | Evgeny Gleizerov: а с теоретической возможности продвинутого ИИ манипулировать |
теоретическая возможность отсутствует, потому что манипуляция включает в себя намерение, а намерение - категория воли. ии не обладает волей, и никакого пути ей обладать нет даже и теоретически.
классический пример использования слов, не имеющих никакого смысла, для постановки "философской" проблемы. впрочем, это во времена витгенштейна так ставили философские проблемы. сейчас так ставят "экзистенциальные" |
О.к. уточним формулировку: "а с теоретической возможности с помощ;ю продвинутого ИИ манипулировать". И заметим от себя: без точных представлений намеревающегося о конечных результатах манипуляции, особенно о широкомасштабных конечных результатах
Как по мне, что совой по камню, что камнем по сове... |
То есть, насколько я понимаю, проблема выглядит так: продвинутый даже по сравнению с нынешними его собратьями ИИ попадает в руки группы людей, желающих нами манипулировать в своих интересах. Поначалу эта группа людей очень радуется тому. как хорошо им это дело удается. Но ни она, ни кто-либо еще не знает, к какому конечному результату в действительности ведет дело ИИ. То есть, образно говоря, некий человек в будущем включает домашнего робота, дав ему задание подмести полы. Но при этом заранее известно, что полы-то он подметет, но на этом не остановится, и чем он займется дальше - неизвестно. А возможности его таковы, что он может и всю мебель в квартире переломать. Приблизительно в этом опасность? Или я так и не понял, о чем идет речь? |
|
|
| номер сообщения: 49-58-42865 |
|
|
|
|
По-моему, вы прекрасно всё поняли. Вот тут, например:
| An important aspect in developing language models that interact with humans is aligning their behavior to be useful and unharmful for their human users. This is usually achieved by tuning the model in a way that enhances desired behaviors and inhibits undesired ones, a process referred to as alignment. In this paper, we propose a theoretical approach called Behavior Expectation Bounds (BEB) which allows us to formally investigate several inherent characteristics and limitations of alignment in large language models. Importantly, we prove that for any behavior that has a finite probability of being exhibited by the model, there exist prompts that can trigger the model into outputting this behavior, with probability that increases with the length of the prompt. This implies that any alignment process that attenuates undesired behavior but does not remove it altogether, is not safe against adversarial prompting attacks. Furthermore, our framework hints at the mechanism by which leading alignment approaches such as reinforcement learning from human feedback increase the LLM's proneness to being prompted into the undesired behaviors. Moreover, we include the notion of personas in our BEB framework, and find that behaviors which are generally very unlikely to be exhibited by the model can be brought to the front by prompting the model to behave as specific persona. This theoretical result is being experimentally demonstrated in large scale by the so called contemporary "chatGPT jailbreaks", where adversarial users trick the LLM into breaking its alignment guardrails by triggering it into acting as a malicious persona. Our results expose fundamental limitations in alignment of LLMs and bring to the forefront the need to devise reliable mechanisms for ensuring AI safety. |
Это о современных, уже существующих ИИ - при том, что никто не понимает, какого прогресса они смогут добиться уже в самое ближайшее время. Сcылку на масштабы прогресса буквально в течение нескольких последних месяцев я тут давал. |
|
|
| номер сообщения: 49-58-42866 |
|
|
|
|
Evgeny Gleizerov: Коллега FIBM выразил сомнение в возможности такой "персональной настройки", я привёл ссылку, где специалист выражает полную уверенность в этой возможности.
|
Я просто уверен, что если персональная настройка реально точная, то в тренировочной базе для такой настройки обязательно обнаружится банальный человеческий криминал. Прибалтийское мошенничество (достаточно точные сообщения в мессенджере от вашего ближайшего окружения) одно из разновидностей такого криминала.
И при чем здесь ИИ? |
|
|
| номер сообщения: 49-58-42867 |
|
|
|
|
| Этот прием, при котором вопрос, намекающий на нечто зависшее в воздухе, остается зависшим сам, ИИ позаимствовал у охмуряющих козлевичей ксендзов. |
|
|
| номер сообщения: 49-58-42868 |
|
|
|
|
| Evgeny Gleizerov: Я должен в третий раз цитировать предпоследний абзац, выделенный курсивом? Нет, извините, всякому терпению есть предел. |
Извините, но серьезно обсуждать высказывания типа: "Скорость развития такова, что прогнозировать его результаты даже на малых временных горизонтах (порядка года) становится невозможным." не представляется возможным. |
|
|
| номер сообщения: 49-58-42869 |
|
|
|
|
| BillyBones: Этот прием, при котором вопрос, намекающий на нечто зависшее в воздухе, остается зависшим сам, ИИ позаимствовал у охмуряющих козлевичей ксендзов. |
Думаете, он читал Телёнка?
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42870 |
|
|
|
|
| FIBM: Извините, но серьезно обсуждать высказывания типа: "Скорость развития такова, что прогнозировать его результаты даже на малых временных горизонтах (порядка года) становится невозможным." не представляется возможным. |
Я совершенно не настаиваю. Правда, это мнение принадлежит человеку, который занимается ИИ профессионально, и вовсе не является в кругах профессионалов маргинальным - а скорее общим местом, как мы видим и по коллективным письмам. Но никто не мешает любителям считать, что они знают лучше. Это и в шахматах нередко встречается. |
|
|
| номер сообщения: 49-58-42871 |
|
|
|
|
Quantrinas: | BillyBones: Этот прием, при котором вопрос, намекающий на нечто зависшее в воздухе, остается зависшим сам, ИИ позаимствовал у охмуряющих козлевичей ксендзов. |
Думаете, он читал Телёнка? |
Это само собой.
Нам алармируют денжерную опасность, что он в критический момент подсунет оттуда каждому лично самую вредоносную именно для него цитату. |
|
|
| номер сообщения: 49-58-42872 |
|
|
|
|
А что значит консенсус в данном контексте?
«Все согласны»? «Все, кто высказался, согласны»? «Все, кого прочитал EG, согласны»?
А то ведь бывает, к примеру, «консенсус-прогноз курса валют на …». Так там, кажется, какое-то усреднение. |
|
|
| номер сообщения: 49-58-42875 |
|
|
|
|
Ну вы посмотрите подписи в последнем заявлении. Там практически все, кто на слуху по теме ИИ, включая гугл с майкрософтом и виднейших учёных. Чего ж вам больше?
Это как если бы в шахматах восемь человек из топ-10 подписались, плюс большинство ведущих функционеров и меценатов. Любители, конечно, могут считать, что они ерунду несут, но сами понимаете сравнительный вес этих мнений.
Тут важно ещё то, что это не теоретики, а практики, люди, которые и разрабатывают этот самый ИИ. Их компетентность доказана делом, как компетентность шахматиста доказана его спортивными результатами. |
|
|
| номер сообщения: 49-58-42876 |
|
|
|
|
| Quantrinas: А Вы бы апломбу поубавили и послушали, что умные люди говорят. |
Ты зачем усы сбрил, дурик? Вы зачем тему про ии завели, профессор? Сами тут будете определять кто умный, кто дурак, кому кого слушать, а кому говорить?
У вас есть что сказать по открытой вами теме, кроме того, что ее надо закрыть за неактуальностью и разойтись по рабочим местам, а то некогда работать? Или вам просто интересно разговаривать с человеком, который не хочет именно с вами разговаривать? Это умно по вашему и логично?
Создается впечатление, что самое умное, что вы сделали в последние годы - наложили длительное табу на свою интернетную активность и занялись профессиональным делом, не отвлекаясь на шум. Результат получился неплохой, правда же? 
Коли не Ленин, и апрель давно прошел, то может лучше слезть с броневика и прислушаться, что умные люди говорят.  |
|
|
| номер сообщения: 49-58-42877 |
|
|
|
|
Я же не для себя открыл. Смотрите, как люди радуются.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42878 |
|
|
|
|
strumball: Или вам просто интересно разговаривать с человеком, который не хочет именно с вами разговаривать? Это умно по вашему и логично?
|
Конечно. Нет лучшего способа продемонстрировать порочность, вредоносность, и, не побоюсь этого слова, глупость конспирологов, чем дать им возможность высказаться во всей красе.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42879 |
|
|
|
|
| Evgeny Gleizerov: Их компетентность доказана делом. |
Да-да, ответами чатбота GPT.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42880 |
|
|
|
|
Ян Лекун, который занимает должность вице-президента корпорации Meta и отвечает за исследования в области ИИ, — свою подпись не поставил. Еще задолго до публикации обращения он заявил, что «масштабы проблемы уравнивания ИИ [с человеческом интеллектом] раздуты, а способность решить ее сильно недооценивается».
«Меня и раньше публично называли глупым, но никто не делал этого так часто, как те, кто поддерживает точку зрения об экзистенциальном риске ИИ», — подчеркнул Лекун.
|
| Ян Лекун, Джеффри Хинтон и Йошуа Бенжио в 2018 году получили премию имени Алана Тьюринга «за концептуальные и инженерные прорывы, сделавшие глубинные нейросети краеугольным компонентом в вычислительной технике». |
Это он, консенсус.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42881 |
|
|
|
|
| Открытое письмо выглядит как паническое предупреждение перед неминуемым концом света. |
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42882 |
|
|
|
|
| Quantrinas:Нет лучшего способа продемонстрировать порочность, вредоносность, и, не побоюсь этого слова, глупость конспирологов, чем дать им возможность высказаться во всей красе. |
 безнадежен
| Меня и раньше публично называли глупым |
Он хотя бы самокритичен, в отличие от вас, Квант. |
|
|
| номер сообщения: 49-58-42883 |
|
|
|
|
strumball: | Quantrinas: Нет лучшего способа продемонстрировать порочность, вредоносность, и, не побоюсь этого слова, глупость конспирологов, чем дать им возможность высказаться во всей красе. |
безнадежен |
Да, но никак не может этого понять. 
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42884 |
|
|
|
|
Лекун, говорят, едва ли не единственное исключение. Ну, я ведь не случайно написал:
| Evgeny Gleizerov: Это как если бы в шахматах восемь человек из топ-10 подписались, плюс большинство ведущих функционеров и меценатов. |
С одной стороны, самому немного смешно: тщательнейшим образом выбираешь слова, чтобы выразить мысль максимально адекватно, как будто кто-то действительно стремится понять прочитанный текст, а не померяться пиписьками. С другой - на самом-то деле это всё прежде всего для себя, ибо единственный путь к пониманию лежит через формулирование. "Кто ясно мыслит, ясно излагает" - и наоборот. А это, как и любое дело, требует постоянной тренировки. |
|
|
| номер сообщения: 49-58-42885 |
|
|
|
|
Я не уверен, что это для вас комплимент, но все больше уверяюсь в мысли, что вы гениальный ученый-физик. Только этим можно объяснить вашу редкостную дубовость непроходимость во всем остальном.  |
|
|
| номер сообщения: 49-58-42886 |
|
|
|
|
Коллега, по моему опыту, на таких лучше всего действует игнор. Через некоторое время они исчезают. На этом форуме уже не раз такое было.
Понятно, что иной раз и не сдержишься, беспрерывное бессмысленное жужжание над ухом кого хочешь выведет из себя - потому я и мечтаю о функции "не видеть сообщений юзеров из чёрного списка". |
|
|
| номер сообщения: 49-58-42887 |
|
|
|
|
Evgeny Gleizerov: Лекун, говорят, едва ли не единственное исключение. Ну, я ведь не случайно написал:
| Evgeny Gleizerov: Это как если бы в шахматах восемь человек из топ-10 подписались, плюс большинство ведущих функционеров и меценатов. |
С одной стороны, самому немного смешно: тщательнейшим образом выбираешь слова, чтобы выразить мысль максимально адекватно, как будто кто-то действительно стремится понять прочитанный текст, а не померяться пиписьками. С другой - на самом-то деле это всё прежде всего для себя, ибо единственный путь к пониманию лежит через формулирование. "Кто ясно мыслит, ясно излагает" - и наоборот. А это, как и любое дело, требует постоянной тренировки. |
Не знаю, правы ли подписанты относительно опасности, но предлагаемые ими контрмеры в лучшем случае наивны. Пытаются сохранить иллюзию контроля над ситуацией. |
|
|
| номер сообщения: 49-58-42888 |
|
|
|
|
| мечтаю о функции "не видеть сообщений юзеров из чёрного списка". |
эта функция с существенным изъяном, пмм, чел пишуший, не видит реакции "мухи", публика видит - то есть беспробудный срач гарантирован. |
|
|
| номер сообщения: 49-58-42889 |
|
|
|
|
| Michael_S: Не знаю, правы ли подписанты относительно опасности, но предлагаемые ими контрмеры в лучшем случае наивны. Пытаются сохранить иллюзию контроля над ситуацией. |
Да, вот об этом многие говорят. Но на тему контрмер те же примерно люди и научные статьи пишут. Для меня, конечно, это сложно и малопонятно, тем более по-английски, мой уровень - чтение популяризаторов, но вот видел такую ссылку. Может быть, вам будет интересно. |
|
|
| номер сообщения: 49-58-42891 |
|
|
|
|
| Я только никак не могу понять. Вообще-то занятия наукой, по идее, воспитывают определённую дисциплину и связность мышления, которые должны проявляться во всём. Я совсем не из этой среды, но кое-какие знакомые научные работники у меня есть, и к ним ко всем это полностью относится. А тут... |
|
|
| номер сообщения: 49-58-42893 |
|
|
|
|
Evgeny Gleizerov: | Michael_S: Не знаю, правы ли подписанты относительно опасности, но предлагаемые ими контрмеры в лучшем случае наивны. Пытаются сохранить иллюзию контроля над ситуацией. |
Да, вот об этом многие говорят. Но на тему контрмер те же примерно люди и научные статьи пишут. Для меня, конечно, это сложно и малопонятно, тем более по-английски, мой уровень - чтение популяризаторов, но вот видел такую ссылку. Может быть, вам будет интересно. |
Спасибо за ссылку. Это совсем другое дело по сравнению с «коллективным письмом». Детально расписано то, что авторы считают серьезными (массовыми, а совсем не индивидуальные) опасностями. И предлагаются реальные практические решения как уменьшить влияние этих опасностей.
Интересно, что большинство предлагаемых мер списаны из практики физ-мат (естественно-научного ) профессионального мира (внешнее и внутреннее рецензирование, доклады на открытых конференциях, курсы по МL в университетах). В научной практике это все стало стандартом лет 20 назад, когда научный мир был «взорван» читерством г. Шона (сотня фейковых статей, опубликованных в самых уважаемых журналах мира). До такой наглости наш «железный друг» еще долго не дойдет. |
|
|
| номер сообщения: 49-58-42894 |
|
|
|
|
| Давайте теперь обсудим ещё кого-нибудь. Например, одного из двух предпоследних комментаторов. |
|
|
| номер сообщения: 49-58-42895 |
|
|
|
|
Да успокойтесь уже. Вы мне наскучили. Резвитесь как хотите.
Это я не Вам, VicS и FIBM.
__________________________
Audiatur et altera pars |
|
|
| номер сообщения: 49-58-42896 |
|
|
|
|
| FIBM: Это совсем другое дело по сравнению с «коллективным письмом». |
Ну конечно, другое. Научная статья адресована коллегам-специалистам, а "коллективные письма" - вообще всем, а прежде всего политикам. Они не могут быть написаны научным и даже научно-популярным языком, потому что должны быть общепонятны. |
|
|
| номер сообщения: 49-58-42897 |
|
|
|
|
Evgeny Gleizerov:
Вы бы почитали что-нибудь по теме, что ли. |
во-1, я по этой теме всю свою жизнь читаю, и в отличии от вас кое-чем из созданного пользуюсь.
| Никто из специалистов по ИИ не считает, что "никакого пути ей обладать нет даже и теоретически". А мнению специалистов я, уж извините, доверяю больше, чем... |
а во-2, если кто-то продемонстрирует не то, что сам путь, а хоть его теоретическую возможность, этого нельзя будет не заметить, потому что это будет новой областью науки. я повторяю для непонятливых, новой областью науки. а вот что делать с мнением людей, которые полагают, что они могут высказывать какие-то разумные суждения о невозникшей (и пока не единого основания не имеющей к тому, что бы) области науки... тут да, вы безусловно догадаетесь сами. |
|
|
| номер сообщения: 49-58-42898 |
|
|
| |
|
|
|
|
|
|
|
| Copyright chesspro.ru 2004-2024 гг. |
|
|
|
