Сегодня я расскажу вам о трех китах любого проекта в интернете. Я вас уверяю без них как без воздуха в топ не пройти. На seo курсах этому посвятили целое занятие. Так что отнеситесь к этому серьезно. Первый кит – это файл robots.txt. Данный файл служит для ограничения доступа поисковых ботов к разделам сайта. Прежде чем прочитать ваш сайт, поисковый бот сначала обращается к файлу robots.txt , затем начитавшись ваших запретов или разрешений, начинает сканировать сайт. Вы должны знать, что данный файл является рекомендательным и из-за него в бан не попадешь. Это значит, что он не может полностью запретить чтение вашего сайта. Хорошие боты его смотрят и учитывают, а вот плохие тихонько читают все подряд и относят инфу своему хозяину. Вас это не должно пугать. Ведь мы дружим с хорошими ботами и их поисковыми системами. Так, что будим ориентироваться на них. Синтаксис : robots.txt и ни как иначе. Данный файл должен всегда находиться в корневой директории сайта, потому как ищется роботами только там и нигде, к вам в дом робот или бот не пойдет. Важно знать: некоторые оптимизаторы рекомендуют прописывать файлы, о которых посторонним вообще знать не стоит. Я не рекомендую вам это делать. Указав их в robots.txt любой злоумышленник может про них узнать. Ведь robots.txt может открыть и посмотреть любой человек вот так: site.ru/robots.txt. Пример robots.txt . (more…)