GPT-4 тупеет на глазах

Boris Paleev написал(а) к All в Jul 23 17:36:46 по местному времени:

Нello All!

https://aftershock.news/?q=node/1271103

GPT-4 тупеет на глазах

09:31 - 26/Июл/23 Георгий Васильев

Сверкающий дворец воображаемого прекрасного будущего человечества, в котором за нас будет думать Великий (и ужасный) Искусственный Интеллект, дал первые трещины. Первой забила тревогу группа исследователей из Великобритании и Канады, опубликовавшая в мае статью "Проклятие рекурсии: Обучение на сгенерированных данных заставляет модели забывать", в которой предупреждает, что использование при обучении лингвистических моделей контента, сгенерированного самими моделями (и сейчас активно заполняющего интернет), приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели - "дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения".

"Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, - прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. - Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки". Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.

Попадание чересчур большого количества сгенерированных текстов в обучающую выборку действительно может привести к формированию петли обратной связи, которая сузит диапазон знаний конкретной системы и заставит ее сжиматься до ограниченного набора результатов. Исследователи предупреждают, что для обеспечения достоверности данных прежде всего нужен доступ к реальным данным, созданным человеком. То есть ИИ не способен создавать новый достоверный контент, он представляет собой эдакий гибрид попугая и "испорченного телефона".

*

Еще одна статья появилась 18 июля и сразу привлекла к себе общее внимание. Исследователи из Стэнфордского университета и Калифорнийского университета в Беркли опубликовали совместную научную работу, в которой утверждается, что ответы модели GPT-4 меняются с течением времени. Эта работа подпитывает распространённое, но пока недоказанное мнение о том, что производительность популярной ИИ-модели естественного языка за последние несколько месяцев сильно ухудшилась во многих задачах.

В исследовании под названием "Как меняется поведение ChatGPT с течением времени?", опубликованном на arXiv, Линцзяо Чэнь, Матэй Захария и Джеймс Зоу выразили сомнение в постоянно высокой производительности крупных языковых моделей OpenAI, в частности GPT-3.5 и GPT-4.

Используя доступ через API, специалисты тестировали версии этих моделей за март и июнь 2023 года на таких заданиях, как решение математических задач, ответы на деликатные вопросы, генерация кода и визуальное мышление. В частности, способность GPT-4 определять простые числа, по данным исследователей, резко упала с точности 97,6% в марте до всего 2,4% уже в июне. Но вот что странно - модель GPT-3.5 в большинстве задач наоборот показала улучшенную производительность за тот же период [Вероятнее всего, потому что она значительно менее сложна и обучена на порядок меньшем количестве данных, то есть масштабирование здесь является огромной проблемой - ГВ].

Мотивация провести подобное исследование у учёных появилась вскоре после того, как люди начали массово жаловаться, что производительность GPT-4 якобы стала постепенно снижаться. Одна из популярных теорий о возможных причинах подразумевает искусственное ограничение производительности самой компанией OpenAI для снижения вычислительных затрат, повышенной скорости отклика и экономии ресурса графических процессоров. Ещё одна забавная теория заключается в том, что "тупым" GPT-4 сделали люди, которые просто часто задают ему глупые вопросы.

Между тем, OpenAI последовательно отрицает любые заявления о том, что возможности GPT-4 ухудшились. Только в прошлый четверг вице-президент OpenAI по продуктам Питер Велиндер написал: "Нет, мы не делали GPT-4 глупее. Скорее наоборот: мы делаем каждую новую версию умнее предыдущей".

Однако, повсеместные заявления о снижении производительности GPT-4 заставили OpenAI провести собственное расследование. "Команда знает о сообщаемом регрессе и изучает этот вопрос", - сообщил в эту среду Логан Килпатрик, глава отдела разработки OpenAI. То есть проблема все-таки есть и ее как-то придется решать во избежание неожиданного краха моделей.

Возможно, светлые умы на стороне смогли бы помочь разработчикам OpenAI выяснить причину регресса их системы, однако исходный код GPT-4 закрыт для сторонних разработчиков, за что компанию порицают при каждом удобном случае.

OpenAI не раскрывает источники обучающих материалов для GPT-4, исходный код или даже описание архитектуры модели. С закрытым "чёрным ящиком" вроде GPT-4 исследователи остаются "блуждать в темноте", пытаясь определить свойства системы, которая может иметь дополнительные неизвестные компоненты. Кроме того, модель может измениться в любое время без предупреждения.

*

Получается, что чем более похожим на нас мы стараемся сделать "искусственный интеллект", тем больше он приобретает и наших отрицательных качеств, от откровенной лжи и подтасовок до возможности галлюцинаций, умственной деградации и даже внезапного помешательства от перегрузок. Так что доверить ему что-то более серьезное, нежели помощь человеку в сборе и обработке данных, рисование картинок к статьям или создание дайджестов новостей для обывателей, вряд ли кто-то решится.

Естественно, необходимо иметь в виду, что речь идет не о нейросетях как таковых, использование которых имеет множество преимуществ перед традиционным программированием, а о том, что совершенно необоснованно и преждевременно назвали "искусственным интеллектом" (примерно так, как мы явно преждевременно назвали себя "человеком разумным")).

Главная проблема в том, что GPT и ей подобные не понимают смысла заглоченной ими информации (так сказать, потребляют, но не переваривают), а так же не имеют возможности отличать достоверную информацию от недостоверной и даже фейковой (прямо как многие люди), обходясь только статистическими обоснованиями (что чаще упоминается, то и верно). Это что угодно, только не интеллект, для которого главным все-таки является соответствие информации и знаний объективной реальности. Но лингвистические модели не имеют доступа к реальности, так что перспективы у них пока весьма туманны.

О том, что эта область достигла своего уровня насыщения и дальше может наблюдаться если не откат, то как минимум плато, свидетельствует еще один немаловажный факт. Глобально сфера ИИ - одна из самых щедро инвестируемых, однако в 2022 году показатель объема частных вложений в эту область сократился впервые за десятилетие. Так, в прошлом году инвестиции в ИИ в мире составили $91,9 млрд, это на 27% меньше, чем в 2021 году, когда показатель составлял рекордные $125,4 млрд, говорится в отчете Стэнфордского университета "Индекс искусственного интеллекта-2023". При этом прошлогодний показатель в полтора раза выше уровня 2020 года и в 18 раз - 2013 года.

Источники:

https://www.forbes.ru/tekhnologii/49...aet-li-generat ivnyj-iskusstvennyj-intellekt-vyrozdenie

https://www.securitylab.ru/news/540205.php


Авторство:
Авторская работа / переводика

Best regards, Boris

--- Ручка шариковая, цена 1.1.5-021027