Расскажу про грабли, на которые наступают почти все, кто берётся за ИИ всерьёз.
Кидаешь нейросети PDF — ну документ и документ, что такого. А потом смотришь на расход и не понимаешь, куда делись деньги.
Дело вот в чём. PDF почти никогда не бывает «просто текстом»: внутри картинки, сканы, вёрстка. Модель видит не буквы, а по сути пачку изображений, и каждое весит прилично — один файл легко тянет на десятки тысяч токенов. А дальше самое обидное: пока агент с тобой разговаривает, он держит этот файл в памяти на каждом шаге. То есть платишь за него не один раз, а снова и снова, весь диалог.
Пара таких «безобидных» документов — и часовой бюджет улетел в трубу.
Лечится скучно, но надёжно: не грузить в модель то, что ей не нужно видеть глазами. PDF прогнать в обычный текст (сканы — через OCR) и отдавать уже его. А картинку показывать только там, где без неё правда никак — скриншот, макет, что-то по-настоящему визуальное.
Смысл простой: пусть нейросеть читает содержание, а не таскает с собой тяжёлый файл. Текст почти ничего не стоит. А PDF «на всякий случай» — это счёт в конце месяца.