Продолжаем хаить форум

SVP
Мастер
Сообщения: 5851
Зарегистрирован: 19 дек 2012, 15:49
Репутация: 873
Откуда: Москва
Контактная информация:

Re: Продолжаем хаить форум

Сообщение SVP »

Nick писал(а):Ну потоки как раз открываются, пока есть силы обслужить - потом запросы идут в очередь, я так понимаю проблема еще в том, что файл отдается медленно (может из-за того, что раздается в 500 потоков), поэтому, пока не освободится пул пользователей не обслуживает.
нгинкс как фронтэнд есть ?
Совсем не одно и то-же иметь 500 нгинксов и 500 апачей... именно для этого его в том числе и настраивают, чтобы всё то время что отдается апач не был этой работой занят...
Там всё это довольно примитивно настраивается, вопрос нескольких часов... не забыть проверить, что апач будет правильные ip получать, а не локалхостовские...
В очередь не надо, надо 503... и если это и правда яндекс - уймется довольно быстро.
Аватара пользователя
MX_Master
Мастер
Сообщения: 6973
Зарегистрирован: 27 июн 2015, 19:45
Репутация: 2897
Настоящее имя: Миша
Откуда: Алма-Ата
Контактная информация:

Re: Продолжаем хаить форум

Сообщение MX_Master »

Юзеров одновременно даже 100 на форуме не бывает, а яндекс высасывает в 400 потоков. Да ещё и не текст, а вложения ест. Я бы по времени этот беспредел ограничил, чтоб ел это все в наименьшие часы нагрузки от юзеров.
Аватара пользователя
Nick
Мастер
Сообщения: 22769
Зарегистрирован: 23 ноя 2009, 16:45
Репутация: 1725
Заслуга: Developer
Откуда: Gatchina, Saint-Petersburg distr., Russia
Контактная информация:

Re: Продолжаем хаить форум

Сообщение Nick »

SVP писал(а): нгинкс как фронтэнд есть ?
nginx-а нет. Да и без него все должно нормально справляться.

ЗЫ от яндекса ответили. попросили логи, но не сказали какие :).
Всё равно периодически тупит...
Можешь показать "top -Hbn 1 | head -20" в момент, когда яндексов много? Или в ЛС.
Что ты хочешь там увидеть?
Проц практически не испольщуется, а вот память забита. Постараюсь поймать когда яндекс будет лютовать и пришлю.
Аватара пользователя
Serg
Мастер
Сообщения: 21923
Зарегистрирован: 17 апр 2012, 14:58
Репутация: 5157
Заслуга: c781c134843e0c1a3de9
Настоящее имя: Сергей
Откуда: Москва
Контактная информация:

Re: Продолжаем хаить форум

Сообщение Serg »

SVP писал(а):Совсем не одно и то-же иметь 500 нгинксов и 500 апачей... именно для этого его в том числе и настраивают, чтобы всё то время что отдается апач не был этой работой занят...
ngnix тут не поможет, а скорее ухудшит ситуацию. Он помогает там, где толпа юзеров качают одни и те же файлы/страницы. А яндекс скачивает каждый файл один раз, т.е. он будет равносилен толпе юзеров, которые качают каждый свой файл, за которым ngnix будет обращаться к апачу. В итоге будет 100500 "потоков" к ngnix, который в свою очередь будет порождать 100500 "потоков" к апачу.
В данной ситуации решение единственное - лимитами ограничить поисковики.
Nick писал(а):ЗЫ от яндекса ответили. попросили логи, но не сказали какие :).
Покажи им то, что я прошу и "ps axf", apache-top, ну и кусок access_log, чтоб было видно, что "яндексы всё заполонили".
Nick писал(а):Что ты хочешь там увидеть?
Интересуют загрузка ЦПУ, LA, распределение памяти и какие процессы в топе.
Я не Христос, рыбу не раздаю, но могу научить, как сделать удочку...
SVP
Мастер
Сообщения: 5851
Зарегистрирован: 19 дек 2012, 15:49
Репутация: 873
Откуда: Москва
Контактная информация:

Re: Продолжаем хаить форум

Сообщение SVP »

Nick писал(а):nginx-а нет. Да и без него все должно нормально справляться.
Нет... вот нет и всё :)
Без него просто память "на ветер".
Сравни сколько выдача одной картинки нгиксом занимает (в памяти сколько занимает один процесс) и сколько апачем.
Думается, что с нгиксом ты ничего не заметил бы даже... вообще ничего.
Все уже 10 лет назад переделали... это тебе еще повезло, что ни один "долбанутый медиацент" к тебе за контентом в это время не приходил.
Десятками тыщ страниц в минуту порой пытаются "выгребать".
Аватара пользователя
xvovanx
Мастер
Сообщения: 3306
Зарегистрирован: 25 фев 2016, 12:27
Репутация: 811
Настоящее имя: Владимир
Откуда: Latvia
Контактная информация:

Re: Продолжаем хаить форум

Сообщение xvovanx »

Сегодня форум прям летает :good: :good: :good:
NikolayUa24
Мастер
Сообщения: 1404
Зарегистрирован: 31 июл 2013, 20:05
Репутация: 255
Настоящее имя: Николай
Контактная информация:

Re: Продолжаем хаить форум

Сообщение NikolayUa24 »

xvovanx писал(а):Сегодня форум прям летает :good: :good: :good:
Nik хакнул Яндекс ;) :clap:
Страдания ведут человека к совершенству.
Аватара пользователя
shalek
Почётный участник
Почётный участник
Сообщения: 2992
Зарегистрирован: 25 авг 2014, 10:40
Репутация: 2545
Настоящее имя: Александр
Откуда: РБ Бобруйск
Контактная информация:

Re: Продолжаем хаить форум

Сообщение shalek »

xvovanx писал(а):Сегодня форум прям летает :good: :good: :good:
Не долго музыка играла....
Если ты не можешь решить проблему, значит это не твоя проблема!
Мой канал на YouTube: YouTube
ЧПУ "Бобр" 600x500 мм
Аватара пользователя
xenon-alien
Почётный участник
Почётный участник
Сообщения: 4059
Зарегистрирован: 01 янв 2013, 13:13
Репутация: 822
Настоящее имя: Daniel
Откуда: Закарпатская обл. Украина
Контактная информация:

Re: Продолжаем хаить форум

Сообщение xenon-alien »

shalek писал(а):
xvovanx писал(а):Сегодня форум прям летает :good: :good: :good:
Не долго музыка играла....
Сглазил :hehehe:
Аватара пользователя
Nick
Мастер
Сообщения: 22769
Зарегистрирован: 23 ноя 2009, 16:45
Репутация: 1725
Заслуга: Developer
Откуда: Gatchina, Saint-Petersburg distr., Russia
Контактная информация:

Re: Продолжаем хаить форум

Сообщение Nick »

Сейчас есть проблемы с загрузкой? Как будут отпишитесь - чтобы проще по логам было повремени найти.
Аватара пользователя
Hanter
Мастер
Сообщения: 5414
Зарегистрирован: 27 янв 2012, 14:52
Репутация: 4330
Настоящее имя: Алексей
Откуда: Питер
Контактная информация:

Re: Продолжаем хаить форум

Сообщение Hanter »

только что....
Буфер обмена01.gif (1312 просмотров) <a class='original' href='./download/file.php?id=156175&sid=becbe4abbe08733ec50d6841f29496b9&mode=view' target=_blank>Загрузить оригинал (70.31 КБ)</a>
Опыт - это когда на смену вопросам: "Что? Где? Когда? Как? Почему?" Приходит единственный вопрос: "Нахрена?"
==========================================
фрезерная и токарная обработка на станках с чпу.
Резка, гибка, сварка и порошковая окраса.
SVP
Мастер
Сообщения: 5851
Зарегистрирован: 19 дек 2012, 15:49
Репутация: 873
Откуда: Москва
Контактная информация:

Re: Продолжаем хаить форум

Сообщение SVP »

Nick писал(а):Сейчас есть проблемы с загрузкой? Как будут отпишитесь - чтобы проще по логам было повремени найти.
Некоторые.
Причем заметил, что картинки "приезжают" с большой задержкой.
Аватара пользователя
MX_Master
Мастер
Сообщения: 6973
Зарегистрирован: 27 июн 2015, 19:45
Репутация: 2897
Настоящее имя: Миша
Откуда: Алма-Ата
Контактная информация:

Re: Продолжаем хаить форум

Сообщение MX_Master »

Да, задержки по загрузке ещё есть. Не такие большие как при вторжении яндекса, но есть.
SVP
Мастер
Сообщения: 5851
Зарегистрирован: 19 дек 2012, 15:49
Репутация: 873
Откуда: Москва
Контактная информация:

Re: Продолжаем хаить форум

Сообщение SVP »

Хужеет.
Посмотрел... кешируешь со стороны клиента не всё, у меня выгребаются каждый раз аватары пользователей и некоторые смайлы... + по мелочи.
Аватара пользователя
ScrewDriver
Мастер
Сообщения: 1942
Зарегистрирован: 06 сен 2016, 01:44
Репутация: 498
Настоящее имя: Василий
Откуда: Москва
Контактная информация:

Re: Продолжаем хаить форум

Сообщение ScrewDriver »

Nick писал(а):Сейчас есть проблемы с загрузкой? Как будут отпишитесь - чтобы проще по логам было повремени найти.
Вот прямо сейчас еле-еле открылось.

И это... наверное это сейчас не в приоритете, но отписка от уведомлений ответов на тему - не работает.
Промышленная автоматика, ПЛК, приводы, SCADA системы
Мой Ютуб канал.
Malyarka74
Мастер
Сообщения: 661
Зарегистрирован: 20 май 2017, 13:39
Репутация: 156
Настоящее имя: Сергей
Контактная информация:

Re: Продолжаем хаить форум

Сообщение Malyarka74 »

У меня весь день сегодня еле еле открывается и очень часто выкидывает.
Аватара пользователя
Nick
Мастер
Сообщения: 22769
Зарегистрирован: 23 ноя 2009, 16:45
Репутация: 1725
Заслуга: Developer
Откуда: Gatchina, Saint-Petersburg distr., Russia
Контактная информация:

Re: Продолжаем хаить форум

Сообщение Nick »

Да, как раз после того как написал началось. Доеду до офиса посмотрю что там по логам.
Аватара пользователя
Nick
Мастер
Сообщения: 22769
Зарегистрирован: 23 ноя 2009, 16:45
Репутация: 1725
Заслуга: Developer
Откуда: Gatchina, Saint-Petersburg distr., Russia
Контактная информация:

Re: Продолжаем хаить форум

Сообщение Nick »

хммм... в логах вроде ничего особо странного вроде нет - по 1-2 запроса в секунду...
блин за день работы в access_log набирается 160Мб текста :). Сейчас лог около 1Гб.

после некоторого поиска нашлась статейка по поводу зависающего apache с большим количеством "W" Sending reply в apache_status. Говорят, что скорее всего подвисает скрипт php.
Судя по пробдемным запросам - проблема с file.php - запрос на небольшой файл может висеть длительное время. Некоторые маленькие файлы грузятся по 60 секунд и более.
Снимок экрана от 2019-02-01 15-28-15.png (1212 просмотров) <a class='original' href='./download/file.php?id=156375&sid=becbe4abbe08733ec50d6841f29496b9&mode=view' target=_blank>Загрузить оригинал (322.6 КБ)</a>
Но отловить ситуацию, когда он подвисает на конкретный запрос не удается - у меня по тому же запросу от яндекса файл спокойно отдается и ни каких проблем не наблюдается.

Пытаюсь почистить file.php c целью вычленить проблему. Сам скрипт достаточно старый, есть куча проверок на то, что браузер ms ie <8 или <7, ох уж этот msie :). Ну и в зависимости от того, какой он шлются разные заговловки, может робот на этом и виснет - например получает плохой заговловок и не хочет грузить дальше. Кстати есть там интересная строчка - при загрузке файла ставится @set_time_limit(0); - можно отправлять бесконечно :).
поставил @set_time_limit(20); для ботов и незарегистрированных и 300 для зарегистрированных, надеюсь у нас нет таких больших файлов, которые люди будут вытягивать больше 5 минут...
Аватара пользователя
Nick
Мастер
Сообщения: 22769
Зарегистрирован: 23 ноя 2009, 16:45
Репутация: 1725
Заслуга: Developer
Откуда: Gatchina, Saint-Petersburg distr., Russia
Контактная информация:

Re: Продолжаем хаить форум

Сообщение Nick »

По тихоньку чищу скрипт - и вот теперь возникает сильная нужда отловить пропала проблема или нет, т.к. она возникает спонтанно и с разным периодом. Так что большая просьба сообщать о возникающих тормозах.
Аватара пользователя
al_us
Почётный участник
Почётный участник
Сообщения: 553
Зарегистрирован: 24 июн 2015, 09:27
Репутация: 114
Настоящее имя: Алексей
Контактная информация:

Re: Продолжаем хаить форум

Сообщение al_us »

будем на чеку кэп :bender: :rail: :rail:
Ответить

Вернуться в «Обсуждение сайта»