Fix Blog

Не хотели мои сайты на wordpress индексироваться sape‘овским роботом, не хотел и все тут.
Причем некоторые из них, например этот блог - индексировался на ура, а сделанные по шаблонной системе и одной и той же сборки - нет.
И вот сегодня - ура, ура, кричат фанфары - разобрался.
Итак, по пунктам, какие могут возникнуть проблемы:
1) Это конечно же UTF8, о чем я подумал первым делом. Исправляется заменой:
$sape = new SAPE_client();
на
$o[’charset’] = ‘UTF-8?;
$sape = new SAPE_client($o);
unset($o);
2) Использование mod_rewrite, красивых ссылок т.е.
Лечится изменением строчки
$sape = new SAPE_client();
на строчку
$o['request_uri'] = $_SERVER['REDIRECT_URL'];
$sape = new SAPE_client($o);
unset($o);

После всех махинаций получаем следующий код:

define(’_SAPE_USER’, ‘1234qwertyuiop567890asdf’);
require_once($_SERVER['DOCUMENT_ROOT'].’/’._SAPE_USER.’/sape.php’);
$o['request_uri'] = $_SERVER['REDIRECT_URL'];
$o[’charset’] = ‘UTF-8?;
$sape = new SAPE_client($o);
unset($o);
echo $sape->return_links();

Где 1234qwertyuiop567890asdf - номер вашей папки в sape.
О том, какие плагины лучше использовать - напишу позже.

Увы, эти махинации мне не помогли, и я вообще не знал что делать.
Решил посмотреть логи апача - робот достукивается до страниц нормально.
Решил внимательнее рассмотреть страницы, и увидел следующий мета тег, оставленный заботливым
All-in-one-seo-pack
<meta name="robots" content="noindex,follow" />

В обще после долгих матюков и радости что я наконец нашел причину - отключил этот плагин (ибо особо его и не использовал) и наслаждался как саповский робот добавляет >1000 страниц