2022-07-26 14:59:34
С ИИ происходит что-то странное и потенциально крайне опасное.
Эксперты перестали моделировать ситуацию в области ИИ.Еще древние ассирийцы полагали: «Если двое говорят, что ты пьян, - ложись спать». Если к тому же эти двое – признанные эксперты в области, о которой идет речь, и оба они бьют тревогу, - то, определенно, стоит к ним прислушаться.
Макс Тегмарк и Джек Кларк – эксперты-тяжеловесы в области ИИ. И оба, не сговариваясь, бьют тревогу из-за того, что за последний год в развитии ИИ произошел некий тревожный перелом:
• ИИ начал прогрессировать непредсказуемыми темпами;
• специалисты перестали понимать, куда это может привести даже в самом ближайшем будущем.На этой неделе Макс Тегмарк почти 3 часа говорил об этом в подкасте «80,000 Hours» (1).
Лейтмотив рассказа таков.
«Честно говоря, сценарий, в котором мы сейчас живем, мне видится наихудшим. Это тот сценарий, который, как я надеялся, не произойдет. Я надеялся совсем на другой сценарий, - что развитие ИИ до нынешнего уровня будет куда труднее, и это займет куда больше времени. А у нас, соответственно, будет куда больше времени, чтобы заняться безопасностью ИИ».Макс приводит простой пример.
Всего 7 лет назад практически никто из экспертов не мог вообразить, что в 2022 ИИ будет в состоянии правильно ответить на такой вопрос:
«Я собираюсь пойти на гору с лицами на ней. Какая столица штата к востоку от того штата, в котором она находится?» А сегодня каждый из нас может:
1. Спросить у смартфона с поисковиком: «гора с лицами», и получить ответ «гора Рашмор»
2. Спросить – «гора Рашмор штат», и услышать «Южная Дакота»
3. Спросить – «штат на востоке от Южная Дакота», и услышать «Миннесота»
4. Спросить – «столица Миннесота», и услышать «Сент-Пол»
Но это, увы, далеко не весь прогресс.
ИИ уровня GPT-3 не надо задавать эти 4 (и вообще, какие либо) наводящие вопросы.
Ибо ИИ, услыхав вопрос «Я собираюсь пойти …», сразу даст ответ «Сент-Пол».
Кто-то скажет, - это не понимание, а статистика. И будет прав.
Но если прогресс продолжится с той же скоростью, на что будут способна такая статистика уже через пару лет?И об этом на неделе Джек Кларк говорил на рабочей группе National Academy по ИИ (слушания закрытые, но вот слайды (2)).
Смотрите на картинку А к этому посту –
наши оценочные тесты способностей ИИ уже не годятся, или ИИ уже вышел за пределы ожиданий?.
Показана динамика 6-и популярных бенчмарков, нормализованных от -1 (начальный показатель бенчмарка) до 1 (уровень человека-эксперта)
Теперь картинка B –
мы не может предсказать способность ИИ даже на год вперед.
Показан прогноз прогнозистов Hypermind (июнь 2021) способностей ИИ на 30 июня 2022, 2023, 2024 и 2025 по 4 тестам:
• MATH — решение математических задач
• MMLU — тест на знание специальных предметов с использованием экзаменов средней школы, колледжа и профессиональных экзаменов с множественным выбором
• Something Something v2 — распознавания видео
• Надежная точность CIFAR-10 — мера надежной защиты от злоумышленников.
Зеленый пунктир — уровень человека-эксперта.
А теперь приз в студию:
синяя и желтая точки, расположенные выше прогнозных показателей 2022, это уже не прогноз, а факт.Джек спрашивает:
— Что здесь происходит?
— Какие силы движут этим?
— Что означает сочетание плохих тестов и плохих прогнозов для будущего?
— В каких других областях науки прогресс неоднократно превосходил ожидания?
— Где будут эти точки по факту в 2025?Нет ответов. И это потенциально крайне опасно.
#ИИ
1 2
5 views11:59