Всем вебмастерам известно о том, насколько придирчива бывает поисковая система Яндекс к сайтам. В этой статье я расскажу про многие нюансы, к которым Яндекс мягко говоря придирается.

А начну я эту статью с печальной новости — сайт cybern.ru практически полностью вылетел из поиска Яндекса. Всем известно, что Яндекс считается лидирующей поисковой системой в рунете. Приведу немного статистики по России:

• Яндексом — 55%
• Google — 30%
• Рамблер — 13%
• Другие поисковые системы — 2%

Исходя из этих цифр, можно с уверенностью утверждать, что если сайта нет в поиске Яндекса, то можно считать, что сайта нет и в Рунете.

Сайт 16mb.clan.su был открыт в октябре и сразу же был добавлен поисковым роботом Яндекса в поиск. Несмотря на свой крайне небольшой возраст, сайт неплохо привлекал посетителей, 70-90% которых попадали на сайт именно через Яндекс. Но в один «прекрасный момент» было замечено, что количество страниц в поиске значительно уменьшилось. Объяснений этому явлению мне, автору сайта, найти как не странно не удалось, а техническая поддержка Яндекс.Вебмастера кормила меня «завтраками», обещая возможное появление сайта в поиске когда-нибудь. Вскоре было замечено, что сайт попал под фильтр АГС. Все вебмастеры трепещат, слыша или видя такую абревиатуру. АГС (АГС-17, АГС-30) – это санкции (бан) наложенные поисковым роботом яндекса на сайт, в результате чего, в поиске Яндекса остается только одна (обычно главная) страница и еще несколько других наиболее неинформативных и бесполезных(2-10 штук). Самое страшное заключается в том, что яндекс накладывает этот фильтр на многие «белые» сайты (СДЛ). Примеров приводить не буду, возьмите хотя бы этот сайт cybern.ru. А если вам интересно убедиться, что хорошие сайты действительно попадают подАГС — поищите на форумах.

Значительные ухудшения индексации сайта cybern.ru наблюдались еще с ноября 2010 года, несмотря на то, что сайт не содержит никакой рекламы, контент сайта cybern.ru абсолютно уникальный и был написан нами, дизайн сайта абсолютно уникален. Людей (в частности программистов и разработчиков ПО на Delphi) интересует контент сайта (уникальные уроки по программированию на Delphi). Первое время прибывания сайта в Яндексе, учитывая в то время низкую раскрученность сайта, сайт вполне неплохо индексировался и практически все страницы сайта находились в поиске. На сайте не было, нет и не будет продажных ссылок (Sape и т.п.), агрессивных рекламных материалов (popunder, clickunder и т.п.). При раскрутке сайта, на самом сайте не использовались никакие запрещенные методы обмана роботов поисковых систем.
К моему глубочайшему сожалению робот Яндекса отбросил мой сайт в сторону, который в то время только-только начинал расцветать, развиваться, раскручиваться. И что в итоге? Сайт, в который было вложено немало сил, времени и денег, можно считать, был просто выкинут. С тех пор я переустановил cms сайта (WordPress), создал новый дизайн, потратил кучу времени на выяснение обстоятельств удаления сайта из поиска Яндекса. Мне очень печально наблюдать, как сотни, тысячи варезников непоколебимо процветают в Яндексе. Думаю, что и приводить примеры таких сайтов абсолютно бессмысленно. Введите просто в поиск Яндекса слово «варез» и вы все поймете. Интернет становится огромной помойкой спама, вареза, рекламы и копированного, безграмотно написанного, контента, напичканного рекламными ссылками Sape. Не удивительно, что при помощи тех же варезников вместе со взломанными пиратскими программами и играми активнейшим образом распространяются вирусы. И подумайте, как среди такого гнилья и мусора пробиться молодому, перспективному проекту? Никак. И примером этому послужит наш сайт Cybern.ru. Посмотрите хотябы на сайты схожей тематики: delphisources.ru и delphiworld.narod.ru. Их контент во многом идентичен. И что же мы видим в поисковой выдаче по запросу «delphi»?
Мы видим там те же и еще несколько сайтов, большинство которых никакого нового и полезного контента по запросу «delphi» в себе не несут. Одним словом, Яндекс стал выкашивать нормальные сайты пачками.

Прочитав множество статей в интернете по выводу сайта из АГС, понял что такой процесс весьма небыстрый и нетривиальный. Но все же, чтобы вывести сайт из АГС,  привожу инструкцию, которая кратко объединяет множество других статей интернета на эту тему.

• Во первых надо изменить заголовки (title) всех статей и страниц сайта.
• Добавлять большое количество уникального и качественного контента на сайт одновременно, т.е. добавлять не каждый день по статье, а раз в неделю по 7 статей.
• В качестве радикальных мер, можно одновременно изменить URL`ы всех страниц сайта. Таким образом Яндекс поймет, что сайт был основательно изменен, и возможно заново проиндексирует его как новый. Как только Яндекс проиндексирует сайт, потребуется обильное количество нового и свежего контента, чтобы Яндекс снова не отправил сайт обратно в ту же самую выгребную яму. Единственный недостаток заключается в том, что другие поисковики, которые до этого исправно индексировали сайт, могут расценить эти действия, как недоступность сайта. Тут нужно быть осторожнее.
• Конечно же надо убрать все продажные ссылки и рекламу. Возможно они и повлияли на такие безжалостные дейтсвия со стороны Яндекса.
• Провести качественную перелинковку между страницами сайта.
• Удалить все неуникальные статьи с сайта. Уникальность любой страницы сайта можно проверить при помощи программы «Advego Plagiatus».
• Внешние ссылки со всех страниц лучше поместить в noindex и nofollow. В WordPress с этим прекрасно, а главное автоматически помогает справиться плагин WP-NoRef.
• Есть очень небольшая надежда на то, что поможет обращение в тех. поддержку (к Платону). Однако вероятнее всего в ответ на ваше письмо прийдет заранее подготовленный компьютером по шаблону текст, в котором вам пообещают когда-нибудь может быть возвращение в Яндекс. До «человеческой» тех. поддержки достучаться очень сложно.
• Можно сменить доменное имя сайту, если терять текущее не жалко. После смены домена необходимо выполнить 1-5 пункты
• Необходимо недюжиное терпение, которого многим так нехватает. Просто ждите. Пишите статьи на сайт и ждите того момента, когда ваш сайт оценят по достоинтсву.

Надеюсь эта инструкция по возвращению сайта из АГС поможет и вам.