Закрывать от индексации PDF-файлы нет необходимости. Яндекс (по умолчанию главная поисковая система для России) индексирует данные документы, и по многим запросам эти файлы попадают в ТОП-10 поисковой системы.
Но существуют некоторые ограничения:
- Файлы больше 10 МБ не индексируются
- Если PDF-файл содержит только изображения, то индексируются первые три страницы. Если помимо изображений в PDF-файле имеется текстовое описание, то такой документ индексируется полностью.
Во многих случаях, PDF-файлы содержат техническую информацию (характеристики) о продаваемом товаре или услуге. Яндекс умеет различать данный вид текста и понимает, что на многих сайтах будет одна и та же техническая информация, поэтому боятся фильтра за дублирование контента не надо.