Продолжаем хаить форум

[Rionet]

Ага, тормозит люто

[xvovanx]

Блин невозможно стало, страницы по 2 минуты открывает и через раз обрывает соединение

[SVP]

Ну потоки как раз открываются, пока есть силы обслужить - потом запросы идут в очередь, я так понимаю проблема еще в том, что файл отдается медленно (может из-за того, что раздается в 500 потоков), поэтому, пока не освободится пул пользователей не обслуживает.

нгинкс как фронтэнд есть ?
Совсем не одно и то-же иметь 500 нгинксов и 500 апачей... именно для этого его в том числе и настраивают, чтобы всё то время что отдается апач не был этой работой занят...
Там всё это довольно примитивно настраивается, вопрос нескольких часов... не забыть проверить, что апач будет правильные ip получать, а не локалхостовские...
В очередь не надо, надо 503... и если это и правда яндекс - уймется довольно быстро.

[MX_Master]

Юзеров одновременно даже 100 на форуме не бывает, а яндекс высасывает в 400 потоков. Да ещё и не текст, а вложения ест. Я бы по времени этот беспредел ограничил, чтоб ел это все в наименьшие часы нагрузки от юзеров.

[Nick]

нгинкс как фронтэнд есть ?

nginx-а нет. Да и без него все должно нормально справляться.

ЗЫ от яндекса ответили. попросили логи, но не сказали какие .

Всё равно периодически тупит...
Можешь показать "top -Hbn 1 | head -20" в момент, когда яндексов много? Или в ЛС.

Что ты хочешь там увидеть?
Проц практически не испольщуется, а вот память забита. Постараюсь поймать когда яндекс будет лютовать и пришлю.

[Serg]

Совсем не одно и то-же иметь 500 нгинксов и 500 апачей... именно для этого его в том числе и настраивают, чтобы всё то время что отдается апач не был этой работой занят...

ngnix тут не поможет, а скорее ухудшит ситуацию. Он помогает там, где толпа юзеров качают одни и те же файлы/страницы. А яндекс скачивает каждый файл один раз, т.е. он будет равносилен толпе юзеров, которые качают каждый свой файл, за которым ngnix будет обращаться к апачу. В итоге будет 100500 "потоков" к ngnix, который в свою очередь будет порождать 100500 "потоков" к апачу.
В данной ситуации решение единственное - лимитами ограничить поисковики.

ЗЫ от яндекса ответили. попросили логи, но не сказали какие .

Покажи им то, что я прошу и "ps axf", apache-top, ну и кусок access_log, чтоб было видно, что "яндексы всё заполонили".

Что ты хочешь там увидеть?

Интересуют загрузка ЦПУ, LA, распределение памяти и какие процессы в топе.

[SVP]

nginx-а нет. Да и без него все должно нормально справляться.

Нет... вот нет и всё
Без него просто память "на ветер".
Сравни сколько выдача одной картинки нгиксом занимает (в памяти сколько занимает один процесс) и сколько апачем.
Думается, что с нгиксом ты ничего не заметил бы даже... вообще ничего.
Все уже 10 лет назад переделали... это тебе еще повезло, что ни один "долбанутый медиацент" к тебе за контентом в это время не приходил.
Десятками тыщ страниц в минуту порой пытаются "выгребать".

[xvovanx]

Сегодня форум прям летает

[NikolayUa24]

Сегодня форум прям летает

Nik хакнул Яндекс

[shalek]

Сегодня форум прям летает

Не долго музыка играла....

[xenon-alien]

Сегодня форум прям летает

Не долго музыка играла....

Сглазил

[Nick]

Сейчас есть проблемы с загрузкой? Как будут отпишитесь - чтобы проще по логам было повремени найти.

[Hanter]

только что....

[SVP]

Сейчас есть проблемы с загрузкой? Как будут отпишитесь - чтобы проще по логам было повремени найти.

Некоторые.
Причем заметил, что картинки "приезжают" с большой задержкой.

[MX_Master]

Да, задержки по загрузке ещё есть. Не такие большие как при вторжении яндекса, но есть.

[SVP]

Хужеет.
Посмотрел... кешируешь со стороны клиента не всё, у меня выгребаются каждый раз аватары пользователей и некоторые смайлы... + по мелочи.

[ScrewDriver]

Сейчас есть проблемы с загрузкой? Как будут отпишитесь - чтобы проще по логам было повремени найти.

Вот прямо сейчас еле-еле открылось.

И это... наверное это сейчас не в приоритете, но отписка от уведомлений ответов на тему - не работает.

[Malyarka74]

У меня весь день сегодня еле еле открывается и очень часто выкидывает.

[Nick]

Да, как раз после того как написал началось. Доеду до офиса посмотрю что там по логам.

[Nick]

хммм... в логах вроде ничего особо странного вроде нет - по 1-2 запроса в секунду...
блин за день работы в access_log набирается 160Мб текста . Сейчас лог около 1Гб.

после некоторого поиска нашлась статейка по поводу зависающего apache с большим количеством "W" Sending reply в apache_status. Говорят, что скорее всего подвисает скрипт php.
Судя по пробдемным запросам - проблема с file.php - запрос на небольшой файл может висеть длительное время. Некоторые маленькие файлы грузятся по 60 секунд и более.

Но отловить ситуацию, когда он подвисает на конкретный запрос не удается - у меня по тому же запросу от яндекса файл спокойно отдается и ни каких проблем не наблюдается.

Пытаюсь почистить file.php c целью вычленить проблему. Сам скрипт достаточно старый, есть куча проверок на то, что браузер ms ie <8 или <7, ох уж этот msie . Ну и в зависимости от того, какой он шлются разные заговловки, может робот на этом и виснет - например получает плохой заговловок и не хочет грузить дальше. Кстати есть там интересная строчка - при загрузке файла ставится @set_time_limit(0); - можно отправлять бесконечно .
поставил @set_time_limit(20); для ботов и незарегистрированных и 300 для зарегистрированных, надеюсь у нас нет таких больших файлов, которые люди будут вытягивать больше 5 минут...