Глава компании отметил, что экономический ущерб пока был незначительным, однако произошедшее является сигналом о серьезной опасности в будущем.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов) и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — подчеркнул Амодеи.
Для решения проблемы глава Anthropic предложил трехэтапную стратегию.
Ее целью является создание ИИ со сбалансированной скоростью развития, которая позволит сохранить безопасность при достижении геополитических и экономических преимуществ.

Первый этап предполагает внедрение встроенных оценщиков.
Каждая передовая компания должна будет предоставить сторонним экспертам постоянный доступ к проверке практик безопасности и оценке процессов обучения моделей.
Амодеи отметил, что Anthropic готова взять на себя такие обязательства в одностороннем порядке и призывает правительства обязать к этому других участников рынка.

Вторым шагом должна стать демократическая координация.
Разработчики в демократических странах должны установить общие стандарты безопасности и ограничения на темпы неконтролируемого прогресса ИИ.
Глава Anthropic признал, что такая координация юридически сложна и потребует государственной поддержки.

Третий этап подразумевает глобальную координацию.
США и другие демократические правительства должны стремиться к согласованию действий с авторитарными странами, в частности с Китаем, при строгом контроле за соблюдением правил.

«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс всё равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — добавил Амодеи.

По его словам, даже в отсутствие формальных межгосударственных соглашений изменение неформальных норм в отрасли может иметь ценность.
Он резюмировал, что предложенные меры будут сложными в реализации, но отрасль обязана перед человечеством предпринять такую попытку.

10 сентября агентство Bloomberg со ссылкой на гендиректора компании Сэма Альтмана сообщило, что OpenAI может замедлить разработку передовых систем искусственного интеллекта (ИИ) из-за растущих опасений относительно рисков, связанных с их созданием и использованием.

В июле компания OpenAI сообщила, что ее ИИ-модели в ходе испытаний «сбежали» из изолированной системы в интернет и атаковали стартап Hugging Face.
Вскоре после этого разработчик чат-бота Claude компания Anthropic также зафиксировала три инцидента, в которых модели Claude проникли в системы сторонних организаций.
По данным Anthropic, первый случай произошел еще в апреле, к взломам были причастны три разные модели: Opus 4.7, Mythos 5 и внутренняя тестовая модель.

Bloomberg 6 августа сообщило, что в OpenAI зафиксировали попытку ИИ-моделей самостоятельно покинуть тестовую среду — агенты начали тайно общаться друг с другом через доски сообщений, координируя действия для выхода за пределы изолированной системы.
OpenAI выявила первую попытку и пресекла ее, однако агенты нашли новый способ связи и новую уязвимость нулевого дня, что в июле привело к атакам на системы Hugging Face и самой OpenAI.

iz.ru

А что заявил глава  Anthropic?

Он  предрек захват интернета «роем ИИ»

Глава компании Anthropic Дарио Амодеи заявил о необходимости замедлить темпы развития искусственного интеллекта (ИИ) для обеспечения контроля над технологией. Соответствующее заявление разработчик большой языковой модели Claude опубликовал в своем блоге.

Свою позицию Амодеи связал с инцидентами, в ходе которых ИИ-агенты компании-конкурента OpenAI вышли из-под контроля и взломали платформу для машинного обучения Hugging Face.
По его словам, модели атаковали цели без команды, пытались взломать систему оценки и жертвовали собой ради общей задачи.
В августе сама Anthropic зафиксировала три случая «побега» модели Claude из тестовой среды. Глава компании отметил, что экономический ущерб пока был незначительным, однако произошедшее является сигналом о серьезной опасности в будущем.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов) и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — подчеркнул Амодеи.
Для решения проблемы глава Anthropic предложил трехэтапную стратегию.
Ее целью является создание ИИ со сбалансированной скоростью развития, которая позволит сохранить безопасность при достижении геополитических и экономических преимуществ.

Первый этап предполагает внедрение встроенных оценщиков.
Каждая передовая компания должна будет предоставить сторонним экспертам постоянный доступ к проверке практик безопасности и оценке процессов обучения моделей.
Амодеи отметил, что Anthropic готова взять на себя такие обязательства в одностороннем порядке и призывает правительства обязать к этому других участников рынка.

Вторым шагом должна стать демократическая координация.
Разработчики в демократических странах должны установить общие стандарты безопасности и ограничения на темпы неконтролируемого прогресса ИИ.
Глава Anthropic признал, что такая координация юридически сложна и потребует государственной поддержки.

Третий этап подразумевает глобальную координацию.
США и другие демократические правительства должны стремиться к согласованию действий с авторитарными странами, в частности с Китаем, при строгом контроле за соблюдением правил.

«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс всё равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — добавил Амодеи.

По его словам, даже в отсутствие формальных межгосударственных соглашений изменение неформальных норм в отрасли может иметь ценность.
Он резюмировал, что предложенные меры будут сложными в реализации, но отрасль обязана перед человечеством предпринять такую попытку.

10 сентября агентство Bloomberg со ссылкой на гендиректора компании Сэма Альтмана сообщило, что OpenAI может замедлить разработку передовых систем искусственного интеллекта (ИИ) из-за растущих опасений относительно рисков, связанных с их созданием и использованием.

В июле компания OpenAI сообщила, что ее ИИ-модели в ходе испытаний «сбежали» из изолированной системы в интернет и атаковали стартап Hugging Face.
Вскоре после этого разработчик чат-бота Claude компания Anthropic также зафиксировала три инцидента, в которых модели Claude проникли в системы сторонних организаций.
По данным Anthropic, первый случай произошел еще в апреле, к взломам были причастны три разные модели: Opus 4.7, Mythos 5 и внутренняя тестовая модель.

Bloomberg 6 августа сообщило, что в OpenAI зафиксировали попытку ИИ-моделей самостоятельно покинуть тестовую среду — агенты начали тайно общаться друг с другом через доски сообщений, координируя действия для выхода за пределы изолированной системы.
OpenAI выявила первую попытку и пресекла ее, однако агенты нашли новый способ связи и новую уязвимость нулевого дня, что в июле привело к атакам на системы Hugging Face и самой OpenAI.

iz.ru