1) С помощью файла robots.txt.
Способ довольно прост. Дописываем к URL'у анализируемого сайта /robots.txt. Некоторые CMS прописывают свои копирайты именно в этот файл, а так, как он есть почти в каждой CMS - проверять в первую очередь нужно его.

Любой читатель блогосферы, наверное, сталкивался с подпиской на обновление комментариев к записи блога на Wordpress, чтобы следить за обсуждением интересной темы. Уведомление о новых комментариях с их текстом и урлом записи приходят на e-mail, указанный в подписке. А теперь представьте, что у вас в ридере порядка двух десятков блогов, которые вы регулярно комментируете и подписываетесь на обновления к комментариям. Как вы думаете, что произойдет с вашим почтовым ящиком?

Когда я читал и комментировал множество блогов по СЕО и манимейкингу (сейчас, к сожалению, не хватает времени), я совершенно не задумывался над этим вопросом и подписывался на комментарии к любой мало мальски интересной для меня теме. В один прекрасный момент я понял, что из-за огромного количества уведомлений о новых комментариях, мне стало напряжно разгребать почту, не говоря уже о том, чтобы читать сообщения. К тому же комментарии к старым записям стали неинтересны по двум причинам: во-первых, из-за неактуальности самой записи, а во-вторых, к ним стали появляться либо спамные, либо пустые по своей сути комментарии. Вот тогда и встал вопрос, а как отписаться от уведомлений о новых комментариях, чтобы они не захламляли почтовый ящик?