С ИИ происходит что-то странное и потенциально крайне опасно | Muses, Angels & Electric Sheep
С ИИ происходит что-то странное и потенциально крайне опасное.
Эксперты перестали моделировать ситуацию в области ИИ.
Еще древние ассирийцы полагали: «Если двое говорят, что ты пьян, - ложись спать». Если к тому же эти двое – признанные эксперты в области, о которой идет речь, и оба они бьют тревогу, - то, определенно, стоит к ним прислушаться.
Макс Тегмарк и Джек Кларк – эксперты-тяжеловесы в области ИИ. И оба, не сговариваясь, бьют тревогу из-за того, что за последний год в развитии ИИ произошел некий тревожный перелом:
• ИИ начал прогрессировать непредсказуемыми темпами;
• специалисты перестали понимать, куда это может привести даже в самом ближайшем будущем.
На этой неделе Макс Тегмарк почти 3 часа говорил об этом в подкасте «80,000 Hours» (1).
Лейтмотив рассказа таков.
«Честно говоря, сценарий, в котором мы сейчас живем, мне видится наихудшим. Это тот сценарий, который, как я надеялся, не произойдет. Я надеялся совсем на другой сценарий, - что развитие ИИ до нынешнего уровня будет куда труднее, и это займет куда больше времени. А у нас, соответственно, будет куда больше времени, чтобы заняться безопасностью ИИ».
Макс приводит простой пример.
Всего 7 лет назад практически никто из экспертов не мог вообразить, что в 2022 ИИ будет в состоянии правильно ответить на такой вопрос:
«Я собираюсь пойти на гору с лицами на ней. Какая столица штата к востоку от того штата, в котором она находится?»
А сегодня каждый из нас может:
1. Спросить у смартфона с поисковиком: «гора с лицами», и получить ответ «гора Рашмор»
2. Спросить – «гора Рашмор штат», и услышать «Южная Дакота»
3. Спросить – «штат на востоке от Южная Дакота», и услышать «Миннесота»
4. Спросить – «столица Миннесота», и услышать «Сент-Пол»
Но это, увы, далеко не весь прогресс.
ИИ уровня GPT-3 не надо задавать эти 4 (и вообще, какие либо) наводящие вопросы.
Ибо ИИ, услыхав вопрос «Я собираюсь пойти …», сразу даст ответ «Сент-Пол».
Кто-то скажет, - это не понимание, а статистика. И будет прав.
Но если прогресс продолжится с той же скоростью, на что будут способна такая статистика уже через пару лет?
И об этом на неделе Джек Кларк говорил на рабочей группе National Academy по ИИ (слушания закрытые, но вот слайды (2)).
Смотрите на картинку А к этому посту – наши оценочные тесты способностей ИИ уже не годятся, или ИИ уже вышел за пределы ожиданий?.
Показана динамика 6-и популярных бенчмарков, нормализованных от -1 (начальный показатель бенчмарка) до 1 (уровень человека-эксперта)
Теперь картинка B – мы не может предсказать способность ИИ даже на год вперед.
Показан прогноз прогнозистов Hypermind (июнь 2021) способностей ИИ на 30 июня 2022, 2023, 2024 и 2025 по 4 тестам:
• MATH — решение математических задач
• MMLU — тест на знание специальных предметов с использованием экзаменов средней школы, колледжа и профессиональных экзаменов с множественным выбором
• Something Something v2 — распознавания видео
• Надежная точность CIFAR-10 — мера надежной защиты от злоумышленников.
Зеленый пунктир — уровень человека-эксперта.
А теперь приз в студию:
синяя и желтая точки, расположенные выше прогнозных показателей 2022, это уже не прогноз, а факт.
Джек спрашивает:
— Что здесь происходит?
— Какие силы движут этим?
— Что означает сочетание плохих тестов и плохих прогнозов для будущего?
— В каких других областях науки прогресс неоднократно превосходил ожидания?
— Где будут эти точки по факту в 2025?
Нет ответов. И это потенциально крайне опасно.
#ИИ
1 2
