Каждый документ или страница в интернете имеют свой адрес — URL. Чтобы эту страницу выдать вам в поиске, поисковые системы сканируют сайты и индексируют их содержимое. Получается небольшая копия вашего сайта, интернет-магазина или блога.
Конечно, у Гугл Документов тоже есть свои адреса и чтобы открыть документ — вам нужны доступы. Доступы к документам разграничиваются по возможностям — читать, редактировать или комментировать документ, и по уровню — только вы, ограниченный круг, по ссылке, всем.
При этом, адрес у документа всегда один и тот же — вне зависимости от уровня доступа. Именно поэтому, у Гугл Докс правильно оформленный файл robots.txt — в нём нет ошибки, как говорит Яндекс. То есть, когда вы создали документ и установили уровень доступа всем или публичный — поисковые системы должны проиндексировать такой файл и выдать в поиске.
Проблемы начинаются, когда вы используете доступ по ссылке. Технически — это публичная страница: она в интернете, доступ не ограничен логином и паролем. Но чтобы её проиндексировать и добавить в поиск — нужно знать точный адрес этой страницы.
Как его узнать? Вы можете опубликовать адрес этой страницы. Например, вы составили прайс-лист в Гугл Таблицах и опубликовали ссылку на сайте. Или написали резюме в Гугл Докс и вставили ссылку в пост ВК. А может на форуме в комментарии вставили ссылку на презентацию своего бизнеса. Во всех трёх случаях, поисковик найдёт вашу ссылку, проиндексирует и будет выдавать в результатах поиска — это нормально.
Проблема в том, что утекли документы, которые никогда и нигде не публиковались. Как тогда Яндекс узнал адреса этих документов?
Всё просто: если вы открываете документ или страницу в Яндекс.Браузере или используете любое расширения для браузера от этой компании, то Яндекс получает этот адрес. Дальше он проверяет файл robots.txt и думает, что это публичный документ, раз он не запрещён, и значит — его можно выводить в поиске.
Получается, что при использовании продуктов Яндекса нельзя говорить о конфиденцильности. Всё, что знаете вы — знает и Яндекс, и мы зависим с вами от того, как он воспользуется этими данными.
Давайте ещё посмотрим, как Яндекс отреагировал на эту ситуацию.