ИИ провалил тест на точность поиска информации в интернете
Исследование показало, что чат-боты находят источники с точностью всего 60%, сообщает ИА El.kz. Исследование опубликовано на сайте организации.
Специалисты Центра цифровой журналистики Tow (США) подвергли сомнению способность искусственного интеллекта эффективно искать информацию в интернете. Их исследование показало, что чат-боты на базе различных ИИ-моделей справляются с этой задачей хуже, чем традиционный поиск в Google.
Учёные протестировали работу ИИ, предложив ему определить источник цитаты в 200 статьях от 20 различных изданий. Ботам нужно было назвать первоисточник, год публикации и название СМИ, при этом им предоставляли точную цитату из каждого текста.
Выяснилось, что ИИ корректно определил происхождение цитаты лишь в 60% случаев. В то же время при ручном поиске точный источник находился в 100% случаев, причём соответствующая статья оказывалась в топ-3 выдачи Google. Эксперты назвали работу ИИ в этом тесте провальной.
Особенно плохо показали себя обе версии Grok AI от X. Так, Grok-3 Search ошибался в 94% обработанных запросов. Copilot от Microsoft отказался выполнять 104 из 200 запросов, а из оставшихся 96 только 16 оказались полностью верными. Исследователи также выяснили, что платные версии ИИ работают лишь немного точнее, чем бесплатные.
Специалисты отметили, что их удивило «нежелание» чат-ботов предоставлять источники. Часто ИИ либо не показывал ссылку, либо ошибочно указывал другой первоисточник. Например, модель DeepSeek приписала неверное авторство в 115 из 200 случаев.
По итогам исследования эксперты пришли к выводу, что искусственный интеллект пока не может заменить традиционные поисковые системы при точном поиске информации.
Читайте также:
