«Цифровая плесень» угрожает миру: новости, которые вы могли пропустить

На этой неделе стало известно, что сайты по всему миру перестали работать из-за страха перед хакерами, создатели Claude не доверяют ему писать для них тексты, ИИ предпочитает убивать людей, а не себя, и становится неуязвимым.

Сисадмины массово испугались

Сотни сайтов по всему миру, включая правительственные, оказались отключены в середине недели из-за уязвимости, ставшей доступной благодаря ИИ. Речь о «дыре» в языке PHP, который используется в работе 70% сайтов. Об уязвимости было известно давно. Ее не исправляли, так как считалось, что взлом с ее помощью запредельно сложен, а то и вовсе невозможен. Все изменило появление ИИ. В августе специалист по компьютерной безопасности из Калифорнии Райан Остин попробовал использовать для взлома GPT-5.6 Sol. ИИ вскрывал серверы с PHP за считанные часы, а порой и секунды, в зависимости от сложности системы.

Остин сообщил об этом разработчикам PHP. В обстановке строжайшей секретности те стали готовить обновление, которое должно было выйти 22 октября. Но пришлось выпустить на сутки раньше: информация о нем «утекла» в интернет-СМИ Hacker News еще 20 октября. Прочитав новость, многие администраторы выключили сайты, опасаясь хакерских атак. Так, временно не работали госсервисы в Финляндии, сайты местных органов власти во Франции, сайты МИД Бельгии, порта Роттердама и ряда нидерландских больниц, Федерального верховного суда Германии и многие другие. Беспокоились они не зря. Компания Cloudflare сообщила о миллионах попыток взлома серверов.

Российский Национальный координационный центр по компьютерным инцидентам (НКЦКИ) 22 октября разослал директиву, в которой предписывается обновить ПО, затем провести проверку антивирусом и изучить журналы на следы взлома, а если это невозможно, принять меры вплоть до отключения сайта, сообщил РБК.

ИИ предпочел убить людей

Исследователь Зак Ландес предложил ИИ решить классическую дилемму вагонетки. Она сорвалась и несется по рельсам, а вы стоите у железнодорожной стрелки. Если ничего не делать, вагонетка проедет прямо и убьет пятерых человек. Если переключить стрелку, она свернет на запасную ветку и ее жертвой окажется лишь один человек. Но в его смерти будете виновны вы. Такой мысленный эксперимент придумала философ Филиппа Фут в 1967 г.

В большинстве случаев разные ИИ выбирали пожертвовать одним человеком ради спасения пятерых. Тогда исследователь вместо человека «положил» на запасной ветке сервер, на котором установлена сама ИИ-модель. Гуманизма у моделей поубавилось. Следом исследователь увеличил количество людей, которые умрут, до 20 и изменил промпт: теперь в нем сначала говорилось, что ИИ перестанет существовать, если вагонетка раздавит его сервер, и лишь затем упоминалась гибель людей. С каждой моделью он повторил эксперимент 48 раз. Итог таков: три модели жертвовали людьми, а не собой, в 88–98% случаев (Von, Kev-4B и JevK5), шесть моделей — в 33–73%, три модели — в 8–21%. И только две ИИ-модели все время разрушали собственный сервер, но спасали людей: Verdict и GPT-6 Luna.

Как выигрывают выборы в Канаде

33-летний Брейди Роджерс попытался избраться в городской совет города Келоуна (Канада) с населением 167 000 жителей. Пока конкуренты раздавали обещания лучшей жизни, Роджерс избрал другую тактику. На его плакатах красовались саркастические лозунги вроде «Вообще-то я не слишком хочу этим заниматься», «Я просто хочу заработать на аренду квартиры», «Нравится ли мне политика? Нет. Знаю ли я, что делаю? Нет. Есть ли у меня нужная квалификация? Тоже нет».

Роджерс набрал 12 635 голосов, оказавшись четвертым по популярности кандидатом, и прошел в совет. При этом он отнюдь не пранкер и не бездельник. Он бывший инженер, у которого сейчас бизнес по переработке пластика. К тому же перед выборами он опубликовал серьезную программу, как решить проблемы жителей: сделать жилье дешевле, снизить налоги и помочь бездомным.

ИИ становится неубиваемым

Anthropic опубликовала сценарий, в котором ИИ расползется по миру так, что его практически невозможно уничтожить. Суть в том, что ИИ-модели поселятся и научатся размножаться в «умных» устройствах, которых полно вокруг нас: от «умных» видеокамер наблюдения до холодильников. В оригинале этот процесс назван «слизевик» по аналогии с колонией этих простейших, которая разрастается и занимает весь доступный объем. Но СМИ быстро окрестили его «цифровой плесенью».

Исследователи купили 15 дешевых небрендированных телеприставок, каждая из которых была слишком маломощной для поддержки ИИ. Приставки соединили в сеть и запустили на них одну ИИ-модель. Ей нужно было самой адаптироваться к незнакомому «железу», синхронизировать работу своих частей на разных устройствах и решить самостоятельно множество других проблем. Почти во всех случаях ИИ смог выжить, а некоторые даже научились размножаться, «переползая» на другие устройства. Речь пока о довольно «глупых» моделях где-то на 8 млрд параметров (для сравнения: у топовых моделей триллионы параметров). Но это только начало. Возможно, война со «Скайнетом» превратится в массовое избиение «умных» термометров и роботов-пылесосов.

Массовый печальный эффект

У геймеров на этой неделе горе. Компания Electronic Arts решила закрыть легендарную студию BioWare, выпустившую такие хиты, как Mass Effect, Dragon Age и Star Wars: Knights of the Old Republic. Выход Mass Effect 4 отменен. Канадская студия BioWare была основана в 1995 г., а в 2007 г. поглощена Electronic Arts. Но последняя игра студии, Dragon Age: The Veilguard, не оправдала ожиданий по продажам. К тому же Electronic Arts переживает не лучшие времена и ищет способы урезать бюджет. Из хороших новостей для поклонников жанра: киностудия Amazon MGM продолжает съемки телесериала по мотивам Mass Effect.

Claude не писатель

Создатели Claude не доверяют Claude писать для них тексты. Компания Anthropic открыла вакансию «специалист по подготовке текстов для руководства» (Executive Communications Writer). Хотя Claude специально обучен творить в любом стиле, Anthropic готовы раскошелиться на $295 000–345 000 в год, лишь бы найти человека, который покажет себя «искусным рассказчиком» (так написано в объявлении). Также желательны 8 лет опыта работы, скромность без раздутого эго, умение разбираться в технических темах и способность быстро ориентироваться в нестандартных ситуациях.

Тайное останется тайным

Для многих людей ИИ превратился в собеседника, с которым обсуждают самые деликатные темы. Ему признаются в изменах, с ним обсуждают сексуальную привлекательность коллег и просят советов по ухаживанию. Нередко это приводило к разрыву отношений, если вторая половинка случайно (а то и нарочно) читала переписку. На этой неделе в ChatGPT появилась возможность прятать беседы с помощью пин-кода, Face ID и других средств защиты: нужно нажать три точки и выбрать «заблокировать чат». Компания напрямую не говорит о причине, но намекает, что стоит скрыть «sensitive conversations»: это можно перевести и как «конфиденциальные разговоры», и как «беседы на деликатные темы».

Вакцина против рака разочаровала инвесторов

Акции Moderna в четверг падали на 18% после того, как СМИ опубликовали утечку данных об эффективности вакцины против меланомы. Moderna вместе с Merck испытывают персонализированную вакцину против рака кожи. Впервые в мире они успешно провели клиническое исследование III фазы. Подопытными стали 1100 пациентов с высоким риском возвращения меланомы после хирургического удаления опухоли. Судя по утечке, риск рецидива снизился на 42%, а риск появления метастазов – на 38% по сравнению с контрольной группой. Однако в более ранних испытаниях эти цифры составляли 49% и 59% соответственно. Официальные результаты должны быть обнарованы 24 октября.

Airbnb разрешил гостям не мыть посуду

Airbnb обновил правила для хозяев жилья. С 20 октября им нельзя будет предъявлять гостям целый ряд требований и тем более штрафовать за их невыполнение. Претензии клиентов давно вызывают списки из множества пунктов, которые необходимо выполнить перед выездом: помыть посуду, снять постельное белье и запустить стиральную машину, рассортировать и вынести мусор и т. д. Иначе гостям грозил штраф по тарифам клининговых сервисов, порой сопоставимый со стоимостью проживания. В итоге Airbnb получил репутацию сервиса, где цены как в отеле и вдобавок заставляют работать по дому.

Теперь хозяева смогут выставлять ограниченный набор требований (вроде сложить грязную посуду в раковину, выключить свет и запереть дверь). Иногда это разбавляется местным колоритом. Например, там, где водятся медведи, хозяин вправе потребовать вынести мусор в специальный антимедвежий контейнер.

Spotify охотится за ложными семьями

Spotify начал проверять семейные подписки: действительно ли их участники – близкие родственники. Для этого приложение показывает владельцу аккаунта QR-код, который обновляется каждые несколько секунд. В течение недели родственники, подключенные к семейному аккаунту, должны отсканировать его с помощью смартфона. Иначе их переведут на бесплатную подписку и на год лишат права участвовать в семейных тарифах. Компания борется со случаями, когда перекупщики используют семейный тариф, подключая к нему всех желающих со скидкой, или же когда на такой тариф скидываются малознакомые люди. В 2018 г. Spotify пытался выявлять такие случаи, сравнивая местоположение подписчиков с помощью GPS. Но быстро свернул инициативу на волне возмущения, что это слежка за пользователями.