Немецкие букинисты и антиквары сообщают о необычно крупных заказах на старые книги, которые, предположительно, используются технологическими компаниями для обучения систем искусственного интеллекта. По данным ARD, некоторые продавцы за несколько месяцев получили от подобных заказов выручку, исчисляемую шестизначными суммами.
Особый интерес представляют издания, тексты которых ранее не были доступны в цифровом формате. После покупки книги могут разрезать, сканировать страницу за страницей, а полученные тексты переводить в цифровой вид и использовать в качестве обучающих данных для больших языковых моделей. Сами печатные экземпляры после обработки могут быть утилизированы.
Ранее Washington Post сообщала о проекте Panama, который связывают с американской компанией Anthropic — разработчиком ИИ-модели Claude. В рамках подобных процессов большие объемы печатной литературы могут превращаться в цифровые массивы данных, пригодные для машинного обучения.
В Anthropic заявляют, что Claude обучается на сочетании общедоступной информации, приобретенных на коммерческой основе наборов данных и синтетических данных. Компания также утверждает, что не уничтожает редкие или антикварные издания. При этом в Anthropic отмечают, что приобретение печатных книг для обучения больших языковых моделей является распространенной практикой в индустрии.
Профессор Технического университета Берлина Себастьян Шельтер объясняет повышенный интерес к старым книгам растущей потребностью разработчиков в новых источниках информации. Значительная часть доступного в интернете публичного текста уже используется при создании современных языковых моделей, поэтому компаниям приходится искать дополнительные массивы данных.
По словам Шельтера, увеличение объема качественных обучающих данных остается одним из факторов развития ИИ-моделей. Когда доступные материалы из открытого интернета в значительной степени исчерпаны, особую ценность приобретают тексты, которые ранее никогда не оцифровывались.
Таким источником становятся старые книги, годами находившиеся на складах букинистических магазинов и антикваров. Для продавцов это создает новый спрос на издания, которые прежде могли иметь небольшую коммерческую ценность, тогда как для разработчиков ИИ они представляют интерес как источник дополнительных текстовых данных.