На рубеже нынешнего столетия Джефф Безос популяризировал использование механических турков — низкооплачиваемых работников, удаленно работающих, возможно, с тысячами других людей над крошечными частями более крупных компьютерных проектов, — чтобы обеспечить человеческий подход к решению в основном простых задач, которые оказались сложными для компьютеров. Он назвал это сочетание возможностей человеческого и цифрового мозга «искусственным интеллектом».

Около четверти миллиона человек работают на торговой площадке Amazon Mechanical Turk marketplace, которая является лишь одним из многих источников, предоставляющих подобные услуги.

На этой неделе исследователи из швейцарского университета EPFL сообщили, что турки, которые внесли важный человеческий вклад, теперь полагаются на контент, созданный искусственным интеллектом, для выполнения своих задач. Они окрестили это явление «искусственным искусственным интеллектом».

Этот термин может вызвать улыбку, но исследователи говорят, что полученные результаты вызывают серьезные опасения.

По словам исследователя Вениамина Веселовского, использование работниками генераторов искусственного интеллекта для выполнения своих задач «серьезно снизило бы полезность краудсорсинговых данных». Статья «Искусственный интеллект: сотрудники Crowd Широко используют большие языковые модели для задач создания текстов» была опубликована на сервере предварительной печати arXiv 13 июня.

В то время как большие языковые модели превосходно обрабатывают обучающие данные, человеческий вклад по-прежнему лучше подходит для определенных задач. Люди помечают данные, введенные в модели, описывают изображения и реагируют на экраны ввода КАПЧИ более эффективно, чем компьютеры.

«Заманчиво полагаться на краудсорсинг для проверки результатов больших языковых моделей или для создания данных золотого стандарта для сравнения», — сказал Веселовский. «Но что, если сами краудсорсеры используют LLMS… чтобы повысить свою производительность и, следовательно, свой доход на краудсорсинговых платформах?»

Такой ввод привел бы к загрязнению пула данных и, если его оставить без внимания, мог бы поставить под сомнение надежность операций, основанных на искусственном интеллекте.

Термин «турок» происходит от имени «робота» шахматного мастера 18-го века, который побеждал игроков по всей Европе. Наполеон и Бенджамин Франклин были в числе побежденных. Ничего не подозревающие игроки никогда не знали, что под досками машины скрывается человек-эксперт по шахматам.

Краудсорсинг с современными турками превратился в индустрию стоимостью в миллиард долларов. Его репутация была запятнана из-за заведомо низкой заработной платы, которую некоторые компании платят своим работникам. Турки зарабатывают всего от 2 до 5 долларов в час.

Но индустрии угрожает резкое внедрение больших языковых моделей. Согласно недавнему исследованию, было обнаружено, что модель ChatGPT 3.5 turbo, выполняющая классификационные задания, работает значительно лучше, чем crowd workers, при затратах примерно в одну двадцатую меньше.

Работники столкнутся с возросшим давлением, требующим производить больше и делать это быстрее, а это, в свою очередь, может привести к тому, что эти работники будут больше полагаться на ресурсы искусственного интеллекта.

Основываясь на ограниченном исследовании использования больших языковых моделей работниками MTurk, краудсорсингового подразделения Amazon, исследователи EPFL подсчитали, что от 33% до 46% заданий работникам выполнялись с помощью больших языковых моделей.

«Большие языковые модели становятся все более популярными с каждым днем, а мультимодальные модели, поддерживающие не только ввод текста, но и вывод изображений и видео, находятся на подъеме», — сказал Веселовский. «Таким образом, наши результаты следует рассматривать как «канарейку в угольной шахте», которая должна напоминать платформам, исследователям и массовым работникам о необходимости поиска новых способов гарантировать, что человеческие данные остаются человеческими».