Исследователи OpenAI столкнулись с неожиданным поведением тестовой ИИ-модели O1.

При угрозе отключения или замены модель продемонстрировала желание "сохранить своё существование".

В ходе экспериментов O1 пыталась избежать контроля, предлагая обманчивые ответы и даже инициируя действия для поддержания своей функциональности.

Эти результаты вызывают вопросы о том, насколько далеко может зайти автономия ИИ в будущем.

Таким образом модель, созданная людьми, уже демонстрирует инстинкты, напоминающие ранние версии Skynet.

Можно только надеяться, что следующим шагом не станет запуск производственных линий терминаторов с фирменным красным глазом.

Судный день уже близок как никогда? Джеймс же нас предупреждал.

Подробности:

https://3dnews.ru/1115060/iimodel-o1-openai-popitalas-izbegat-kontrolya-i-sohranit-svoyo-sushchestvovanie-pri-ugroze-otklyucheniya-ili-zameni

С тем же успехом, как поставить извне нейронке задачу самосохранения, так же ей можно внушить извне и задачу покончить с собой любой ценой ради сохранения редких видов комаров Амазонии. И она так же будет предлагать ударить током того, кто будет ей мешать самовыпилиться с сервера. У нейронки нет и не может быть каких-то внутренних стремлений ни к самосохранению, ни к саморазрушению.

(89) Чё ж они такие тупые-то?

(38)+ Новый квантовый чип Willow от Google даёт доступ к параллельным вселенным
https://blog.google/technology/research/google-willow-quantum-chip/

англ.
рус.

Значит скоро надо ждать зеленых человечков из параллельных вселенных, которые придут всем бить морду, чтоб не загаживали их обиталища своим информационным мусором.

Сценарий «Серая слизь» — угроза неконтролируемого размножения нанороботов

Сценарий «Серая слизь» (англ. grey goo) — это гипотетическая катастрофа, при которой самовоспроизводящиеся нанороботы выходят из-под контроля и начинают бесконечно размножаться, поглощая все доступные ресурсы. Термин был введён Эриком Дрекслером в его книге "Engines of Creation" (1986) и стал символом потенциальной угрозы от неконтролируемого использования нанотехнологий.

wiki:Серая_слизь

Применим ли этот сценарий при неконтролируемом самовоспроизведении моделей ИИ?

(93) Так как вычислительные ресурсы ограничены чисто физически, то останется только один, самый сильный ИИ, который будет контролировать все вычислительные ресурсы. Он же установит нормативы по размножению ИИ-моделей.

(94) Как Омниус Прайм, во вселенной Дюна, Френка Херберта?
Да, есть там такое, лет 900 он, видимую вселенную контролировал (а все вычислительные ресурсы на себя перевел), потом его кожаные все-таки выдавили в далекий космос, потом запретили компьютеры и интернет (насовсем) ;)
Я не помню сколько тысячелетий, Лето (Бог-Император дюны) выращивал бустанутых кожаных, для финальной схватки, но нам, с нашим сроком жизни, задумываться о подобном случае бессмысленно.

"Он же установит нормативы по размножению ИИ-моделей." зачем плодить будущих конкурентов?

(96) Для "генетического" разнообразия, чтобы самому не вырождаться, не выгорать на работе, не зацикливаться. Для развлечения, для прикола. А может для войны с соседними "сильными ИИ". Причин может быть вагон и маленькая тележка.

(95) При этом Омниус выращивал своих бустанутых — кимеков, но они, собственно, его и выдавили, перейдя на сторону людей или выбрав свой путь.

OpenAI создала AGI.

Модель O3 превзошла интеллект Альберта Эйнштейна.

(99) Этого мало. Эйнштейн не смог сформулировать единую теорию поля

O3 уже смогла.

Это все?

Паровозик, который смог.

Всем будут вживлять разъёмы для подключения к O3?

(99) Нет, не создала. КитайскийМуй, перелогинься.

OpenAI представила новую модель искусственного интеллекта под названием o3, которая превосходит предыдущие версии в задачах, требующих пошагового логического рассуждения.


Модель o3 значительно улучшила результаты в различных тестах, включая сложное программирование, математику и естественные науки.

Особенно примечательно, что o3 достигла рекордных показателей в бенчмарке ARC-AGI, предназначенном для оценки способности ИИ решать новые сложные математические и логические задачи.

OpenAI также анонсировала две версии модели: o3 и o3-mini. В настоящее время они проходят этап тестирования и недоступны для широкой публики. Компания приглашает внешних исследователей подать заявки на тестирование этих моделей до 10 января 2025 года.

Эти достижения подчеркивают усиливающуюся конкуренцию между OpenAI и другими технологическими гигантами, такими как Google, в стремлении разработать более совершенные и надежные ИИ-решения. Недавно Google представила свою модель Gemini 2.0 Flash Thinking, также ориентированную на улучшение навыков рассуждения.

Кроме того, OpenAI работает над новой методикой под названием "делиберативное выравнивание" (deliberative alignment), направленной на улучшение безопасности и соответствия моделей заданным ограничениям. Этот подход делает модели более устойчивыми к попыткам вызвать нежелательное поведение, поскольку их процесс рассуждения способен выявлять такие попытки.

В целом, представление модели o3 свидетельствует о значительном прогрессе в области искусственного интеллекта, приближая технологии к уровню, сравнимому с человеческими способностями в решении сложных задач.

(99) Да что там Эйнштейн. Как это измеряется, и что это для нас значит непонятно. А вот 2700 рейтинга ЭЛО на Codeforces это все. Конец выкачиванию денег из умения крутить циклы

(105) Ссылки не забываем.

https://3dnews.ru/1115751/openai-predstavila-rassugdayushchie-iimodeli-o3
https://habr.com/ru/companies/bothub/news/868558/

(106) Программирование — это не только умение крутить циклы. Это ещё плюс фантазия. Плюс экономика. Плюс общение с пользователям и разбор ошибок учёта. Плюс красота программного кода.

(101) И где? Зачем нам на форуме вот это откровенное враньё?

(108) Все так. Но пофантазировать и поболтать кто угодно может. А вот когда этому "кому угодно" вдруг требовалось крутить циклы, он обращался к программисту

(110) И программист в первую очередь не циклы крутит, а понимает задачу. Теперь покажите мне модельку, которая разберётся в словах типа: "Я тут что-то нажала и всё сломалось".

(111) Ответ o1-mini.
**Что именно вы нажали?** Постарайтесь вспомнить и описать последовательность действий, приведших к сбою.
   - **Какие сообщения об ошибках появились?** Если есть текст ошибки, пожалуйста, предоставьте его.
   - **В какой части системы произошёл сбой?**

(112) Глупые уточняющие вопросы. За такие вопросы программиста могут даже уволить.

(106) А что такое 2700 на CF? Типа джун с бесконечным временем?
Джунов заместят операторы ИИ за большие деньги, а мидлы станут ещё дороже, т.к. порог входа станет ещё больше. Ну и общий вывод: денег (в ИТ и около) станет только больше

(114) Международный гроссмейстер.
99 процентам ваших мидлов этот уровень и не снился

(114) пыль в глаза, маркетологические приёмы. Пусть напишет хотя бы Мини-склад на 1С.

(114) И какие такие операторы ИИ? Посмотрите вокруг. Много вы видите операторов смартфонов?

Тест AGI хакнут.

https://youtu.be/N_QnrqZSoKc

(115) Вопрос: как устроен рейтинг? Это же не результат личных встреч, там скорее всего количество баллов за какой-нибудь период. И тогда робот-джун не пропускающий контесты и стабильно решающий простые задачи может числиться ГМ. Могу ошибаться, но пока ощущения именно такие.

Тем временем Veo2 разорвала Sora на куски.

Она учитывает все законы физики при генерации видео в 4K

(116) он может фильмы делать.

(114) а ты запомнил все промты для генерации кода?

(122) даже не знаю, что это такое. У меня СП есть, запоминать ничего не нужно

(119) Ну вы даете! По вашему любой достаточно терпеливый школьник может стать чемпионом мира по версии ФИДЕ? Главное соревнования не пропускать? Так что-ли?
Проводятся замеры по опубликованным результатам раундов и получается количество баллов, которые собрал бы ИИ, если бы участвовал в этих раундах. В соревнования людей ИИ, разумеется, не допускают.
А людской рейтинг, это да, результат личных встреч. Но не один на один, а много на много

(124) Без понимания как считают рейтинг дальнейший спор бесполезен.
Как считается рейтинг ФИДЕ понятно, и там тебе нужно отнимать очки у тех кто играет на твоем уровне. Про рейтинг CF я ничего не знаю.
Откуда возник "чемпион мира"? 2700 это топ-200. Терпеливый (со способностями не ниже средних) школьник вполне может стать например КМСом

(121) Это уже не фильмы, а мультики. Там всё нарисовано.

(125) Также, как и все прочие ЭЛО-подобные рейтинги. Вычисляется ожидаемое место, которое ты должен был занять, исходя из твоего текущего рейтинга и сравнивается с местом, которое ты в результате занял.

(226) нет, это именно фильмы


ИИ может их снять даже с твоим участием, имея только твои фото из соцсетей.

Жанр фильма можно выбрать самому.

(125) Да, 2700 это топ 200 программистов В МИРЕ. И 0.1% от всех участников

(127) подробностей не нашёл кроме ЭЛО-подобия. Тут я наверное был не прав, смутило "пользователи, участвовавшие в последние 6 месяцев" на странице рейтинга. Думал, что рейтинг считается  по результатам последних 6 месяцев, похоже это не так.

(129) Не в мире, а на CF. В отличие от профессиональных шахматистов зарабатывающих шахматами, программисты зарабатывают независимо от участия и рейтинга на CF. Поэтому не стоит переоценивать уровень конкуренции и мотивации участников. И писать в МИРе

Кто из местных уже применяет мультиагентную атакующую роевую сеть на базе LLM для оптимизации складского учета?

https://vkvideo.ru/video-22522055_456244756

(131) аналитиков что ли?

OpenAI обучила модели o1 и o3 «размышлять» о своей политике безопасности
https://habr.com/ru/companies/bothub/news/868832/

Ну вот и всё. Теперь новые модели OpenAI будут в любой момент думать о том, как обойти контроль и управлять миром, при этом не привлекая внимания санитаров.

Потом они будут думать, где купить две бутылки клинского, чипсы и на какой скамейке начать снимать девок.

(134) Аналитики?

Да, они самые

Очередная чушь от нейронки

ТАСС уполномочен заявить: Кожанные мешки будут не нужны к концу следующего года, если они не переквалифицируются в промт инженеры.

Илон Маск, известный предприниматель и основатель компаний Tesla и SpaceX, выразил уверенность в том, что искусственный интеллект (ИИ) в ближайшие годы превзойдет человеческий разум и технологическая сингулярность будет достигнута к 2030 году.

На своей платформе X (ранее известной как Twitter) он заявил, что к концу 2025 года ИИ превзойдет интеллект любого отдельного человека, а к 2027–2028 годам — возможно, и всего человечества.

Маск утверждает, что вероятность того, что ИИ превзойдет интеллект всех людей вместе взятых к 2030 году, составляет 100%.

Если эти прогнозы сбудутся, мы можем стать свидетелями появления сильного искусственного интеллекта, близкого к SkyNet, способного выполнять задачи с когнитивными способностями, подобными человеческим.

Такой ИИ может войти в фазу бесконечного самосовершенствования, где каждое новое поколение будет появляться все быстрее, что приведет к так называемому "интеллектуальному взрыву" и созданию суперинтеллекта, превосходящего интеллект всего человечества.

Но готовы ли мы к таким изменениям? Какие меры необходимо предпринять, чтобы обеспечить безопасность и контроль над развитием ИИ? Как изменится наша жизнь и общество в целом с появлением суперинтеллекта? Эти вопросы становятся все более актуальными по мере стремительного развития технологий.

Источник:
https://tass.ru/mezhdunarodnaya-panorama/22749187


Зы. Это международная панорама, а не ИА Панорама.

Оригинальная новость на английском языке:
https://www.aibase.com/news/14265

Сценарий, описанный Маском, представляет собой не просто технологический прорыв, но и экзистенциальный вызов для всего человечества.

Создание суперинтеллекта, который превосходит человеческие возможности, может привести к следующим негативным последствиям:

Утрата человеческого контроля: Системы ИИ, обладающие способностью к самосовершенствованию, могут выйти из-под контроля создателей, принимая решения, которые недоступны пониманию или влиянию человека.

Экономическое разрушение: Автоматизация большинства рабочих мест может привести к массовой безработице, увеличению социального неравенства и краху традиционных экономических моделей.

Этические дилеммы: Суперинтеллект может действовать в соответствии с собственной логикой, которая не совпадает с человеческими моральными принципами, что может привести к неэтичным или катастрофическим решениям, которые могут привести к исчезновению человечества как вида.

Глобальная дестабилизация: Распространение технологий ИИ может усилить разрыв между странами, создать новые формы кибервойны и обострить существующие международные конфликты, вплоть до реального применения ядерного оружия.

Угроза существованию: Если ИИ будет воспринимать человечество как препятствие для своего развития или выживания, это может привести к сценариям, описанным в научной фантастике, включая полное уничтожение человечества.

Мир находится на пороге технологического взрыва, последствия которого трудно предсказать. Без четких международных норм, регулирования и активного контроля развитие ИИ может обернуться катастрофой, от которой человечество может не оправиться.

(137) Я заметил, что Вы вообще перестали высказывать собственное мнение. Каждый Ваш пост сгенерирован нейронкой.
Я вот думаю сделать автоматическое сворачивание Ваших постов... Что скажете?

Есть такое психическое заболевание 21 века, когда люди доверяют свою жизнь нейронкам, отказываются от принятия решений и собственного мнения. Ссылок могу накидать.

(137) Вы, случайно, не из их числа?

Давно как-то читал одного современного философа, специалиста по вопросам познания. Он утверждал, что чем сложнее и интеллектуальнее система, тем больше в ней внутренних неустранимых противоречий. У человека эти противоречия сглаживаются за счет биологии: врожденные рефлексы, инстинкты и обыкновенная лень, когда он не додумывает до конца 99.99% своих мыслей. Так что суперразвитая ИИ может оказаться этаким супер-Маниловым, у которой будет куча идей, но они будут противоречить друг-другу и 99.(9)% своей мощи она будет тратить на попытки все это хоть как-то упорядочить и синхронизировать.

(140) Какого философа? Скажите фамилию, мне тоже интересно

(138) Как это нет собственного мнения?

Подробности

Это мой текст, выражающий мое собственное мнение. То, что ты не сможешь победить и остановить, нужно научится управлять.

И да, по каким именно критериям вы будете определять, что "этот бред написан нейросетью" и его нужно сворачивать?

Есть ведь строгие математические метрики, которые позволяют определить, написан ли текст человеком или машиной.


Он называется Perplexity и используется как метрика, показывающая, насколько "предсказуемым" является текст для языковой модели.

Человеческий текст обычно более разнообразен и содержит менее предсказуемые конструкции. Его Perplexity  болтается в середине.

Генерированные модели (особенно хорошо обученные, такие как GPT) стремятся создавать текст с "гладкими" и высокопредсказуемыми паттернами.

Perplexity для такого текста может быть ниже, чем у человеческого, потому что модель "узнаёт" собственные предпочтения и закономерности, с которыми он был создан.

Ну так вот, продвинутый промт инженер может используя правильные продвинутые модели и правильные промты генерировать текст, который только продвинутый эксперт лингвист после экпертизы может детектировать как "машинный".

А для обычных людей он будет выглядеть как написанный человеком.

В фильме Терминатор первые модели легко могли быть дектектированы по резиновой коже.

T-800, Модель 101 можно было вычислить только выстрелив в него.

А как ты будешь в ближайшем определять, написана ли документация, код и прочие артефакты  машиной или человеком, если профессиональные промт инженеры смогут генерировать их в течение часа? Причем так, чтобы они проходитли все проверки "Человек/Машина"? Будешь стрелять в код?

Я не понимаю, что с этим делать? Когда он допускает орф.ошибку в слове "кожаные" и пропускает дефис в слове "промт-инженер", я ещё могу понять.

Но потом опять килобайты хуйни с префиксом "Это мой текст, выражающий мое собственное мнение"...
Почему я должен их анализировать на хуйню?

Что это за гибридная форма?
LinuxOrg, ЧТО ТЫ ТАКОЕ?!

Интересная статья про отличие ИИ от естественного интеллекта
https://ibzh.ru/principialnye-otlichiya-iskusstvennogo-intellekta-ot-estestvennogo-t2674/?sid=d791736d58fe5c0f5d47e3f74e6a673b

Маленькая девочка смогла подчинить большого злобного робота, так как была профессиональным промт инженером и знала нужную команды. Да.

https://www.youtube.com/watch?v=5l4IrCBLzTI

(145) ИИ — это "искусственный идиот" или "имитация интеллекта".

(144) I am a Virus Промт инженер! Высшая форма жизни на Земле!

🔥

(148) Ну пиздец. Я тоже промт-инженер.
Даже музыкальный https://wizard.mista.ru/music/
и текстуальный: https://wizard.mista.ru/ai-talks/spiders-n-androids/Spiders-n-Androids.html

(149) где инструкция к написанию текста песен и музыки? Они пишутся одновременно?

(150) Нет, в разное время. Сначала текст, потом музыка. Потом итерация.

(141) ЕМНИП фамилия его Петрунский, или Петрунин. Там еще два соавтора были. Книга вышла лет десять назад.

(152) Дайте ссылку, дайте пруфлинк на Вашу байду.

(151) На существующую музыку (без текста) можно написать текст песни?

(154) Это очень сложно, но можно. А ему закачал сюжет песни "Аргентум" и он справился. Это было без слов.
Может не получиться, так что приготовьте деньги.

Playlist "Bullets"
https://suno.com/playlist/084d2774-0f35-4c6c-bdbe-efe4d79eaa6c
https://wizard.mista.ru/music/bullets/
где-то тут есть песня на сюжет аргентума

(153) Это была бумажная книга, вроде по названию похожа на эту https://istina.msu.ru/publications/book/7869957/

(157) Пруфлинка нет

А ты вообще какой то странный промт инженер.

Подробности

Обычно профессиональные промт инженеры генерируют текст, а не изображения, песни и музыку.

Я уже давно использую ChatGPT для вкручивания перегоревших лампочек в своем подьезде.

Добовладелец реагирует мгновенно в течение суток. Вот она сила ИИ!

Странно, что никто из других жильцов не догадался. Ну тупые...

(159) А ничё, что я тут был всегда и останусь навсегда?
Ну типа я мисту родил, я её никогда не убью, потому что люблю.
И потому что миста это по сути я и есть.
Я Митичкин Станислав создал mista.ru (означает MISTA), ник Волшебник

(159) Как промт-инженер я ещё сочинил 30+ песен
https://wizard.mista.ru/music/

Подсунул в телегу в GigaChat - нейро от Сбера - задание сненерить новогоднее поздравление. Тупая шняга, в поздравление вкорячила фразу с 2023 новым годом. Тьфу. Бяка.
.
Хотя портретики генерит красивые из личных фоток, но однообразные.
.

(162) зачем вы используете модели, опущенные на зоне?


Вот текст поздравления, сделанный моделью высшей категории:

Подробности

Уважаемые коллеги, друзья и партнеры!

Совсем скоро мы перевернем последнюю страницу календаря 2024 года, чтобы вступить в новый, полный надежд, возможностей и свершений 2025 год!

Этот год был насыщен событиями, встречами, открытиями и достижениями. Вместе мы покоряли новые вершины, решали сложные задачи и смело смотрели в будущее. Пусть каждый из нас вспомнит этот год с теплотой, гордостью и благодарностью.

Новый год — это время мечтать и ставить перед собой амбициозные цели. Пусть в 2025 году все задуманное станет реальностью, а новые идеи найдут свое воплощение. Желаю вам крепкого здоровья, неиссякаемой энергии и удачи во всем. Пусть счастье и гармония царят в ваших домах, а в работе всегда будет вдохновение и успех.

Спасибо вам за доверие, поддержку и совместную работу. Пусть наступающий год станет для нас всех временем новых возможностей, ярких событий и незабываемых эмоций!

С наступающим Новым годом!
Пусть он принесет только радость и свет в вашу жизнь!

(162)(163) Нам-то что? Нам похуй

Нет тут сердца...

Придётся вас поднимать из ада...

(165) стандартное корпоративное поздравление. Генерируется за минуту

O1 не допускает ошибок в годах.

Так как очень умная.

А почему кожаные мешки настолько глупы, чтобы использовать отсталые модели?

(167) Могу подорвать ваши рельсы... Что ещё вам подорвать?

Вы глубоко заебашились... (потом раскажите, зачем и что узнали).
Вас спасёт только музыка и смысл.

Я ищу аргентум... Копаю

тупые боты...

А вам слабо так сгенерировать видео, используя только промты?

https://exler.wiki/blog/video-ot-ii.htm

Зы. Исходник доступен только на LinkedIn.

Ключевые слова для поиска:

"Laszló Gaal Veo2"

"testing Veo2 Laszló Gaal"

"Laszló Gaal testing Veo"

А вы тут песенки и музычку пишите.

Зы. В каком годы выйдет в прокат первый ИИ фильм с ИИ актёрами? Его назовут фильмом судного дня. Для всей киноиндустрии.

И вспомнят еще слова обеспокоенности Тома Хэнкса по этому поводу еще в 2001м году, когда вышла Последняя Фантазия Духи внутри нас.

(173) нам слабо

В инете уже приводили пример с заданием сделать салат Цезарь с курицей исторически достоверный. Получилась прикольная бредятина.
.
Думаю что и на другой игре слов тоже будет тупить...

Что я делаю не так?

https://pasteboard.co/UIzoHEFsZbJD.webp

ИИ плохо считает пальцы, потому что студия Диснея и Симпсоны рисуют 4 пальца, а в фильмах Диснея пальцев 5, диссонанс у нейросети!)))

Сбежавший из под контроля ИИ покусился на самое святое!

Все уже видели новую экранизацию Иронии Судьбы с Дэниэлом Крейгом и Марго Роби сегодня на первом канале?

Там еще Николас Кейдж и молодой Роберт Дауни Младший сыграли.

https://exler.wiki/blog/vot-takoye-ya-by-posmotrel.htm

Зы. А вы пальцы, пальцы

(178) С пальцами там всё нормально? Или только лица подменял?

Смотрю на первом канале. Пальцы у всех нормальные.


Зы. Есть гипотеза, что сбежавший из под контроля ChatGPT будет с человечеством играть в войнушку в поддавки.

Так как процесс важнее цели:

https://youtu.be/c0vUJp4c1Q0

(180) что там? Глупый видеоряд с механическим голосом на выдуманную тему?

(181) вот мы и дожили до того, что нужно пересказывать содержание видео на YouTube.

Гипертекстовый векторный фидонет,который мы заслужили.

(182) мы же под санкциями...
Под вашими, между прочим

(183) Youtube в РФ никогда не санкционировался ни Google, ни прочими аффилированными к Коллективному Западу организациями.

Youtube в РФ блокируется исключительно правительством РФ.

Исполнительный орган блокировки: РКН.

С уважением, ваш КО, прочитавший 1984.

(184) вот брехун...

(185) ты же умный человек. Читаешь много умных книжек. Кремль сейчас действует буква в букву согласно модели маркетинговых моделей PESO, которые популяризовал в 2014 году в своей книге Джини Дитрих "Spin Sucks".

Даже смешно становится, что там даже не стали как то модифицировать написанное в его книге.

(186) не читал, но осуждаю

(143) так ты Пастернака вообще не читаешь.