Новости о том, что популярный интернет-форум Reddit перестал быть доступен для поисковых систем, за исключением Google, вызвали шум в онлайн-сообществе.
Издание 404 Media обнародовало результаты своего исследования, которое показало, что Reddit перестал корректно отображаться в выдаче Microsoft Bing, DuckDuckGo и других поисковых систем, за исключением Google.
Ссылки на Reddit либо не отображались вообще, либо появлялись в ограниченном количестве без описаний, как это было замечено на DuckDuckGo. Аналогичная ситуация произошла и с «Яндексом», на что обратили внимание журналисты «Ъ».
Представители российской компании, заявили, что в файле robots.txt Reddit был установлен запрет на сканирование и индексирование контента всеми поисковыми роботами, включая поисковую систему «Яндекс».
При попытке просмотра этого файла вручную появляется сообщение, где говорится, что Reddit поддерживает открытый интернет, но против злоупотребления публично доступным контентом.
Издание 404 Media связывает происходящее сделку между Reddit и Google по использованию контента для обучения искусственного интеллекта (ИИ).
По данным агентства Reuters, владелец форума будет получать от поисковика около $60 млн в год. Хотя детали сделки не были официально раскрыты, обе компании подтвердили ее наличие. Похожее соглашение Reddit также заключил с OpenAI.
Запретительные директивы в файле robots.txt могут быть использованы для ограничения использования контента сайта для целей искусственного интеллекта.
Примером таких запретов является решение VK «Дзен» в отношении OpenAI. Перед запуском сервиса «Яндекс Нейро» в апреле 2024 года, некоторые сайты в составе Skhulev Media Holding запретили «Яндексу» использовать свой контент в нейросетевых продуктах.
В настоящее время, судя по данным robots.txt, запрет на использование контента в нейросетевых продуктах был аннулирован.