Делюсь опытом. Никак не получалось нормально запустить индексацию сайтов на моем хостинге. Время исполнения скрипта в настройках php 90 сек. Ставил на крон по документации через wget и в siteindexer.php добавил ini_set('max_execution_time', 0);. Но индексатор отрабатывал 90 сек и отваливался. Помог запуск индексатора так: php -f /home/user/public_html/site/llm-server/cron/siteindexer.php. Ну и в dev/null ессесно. На cPanel. Индексатор отрабатывает как положено. Хостер пока молчит.