Продолжаем хаить форум

Serg · Сообщение **Serg** » 07 фев 2019, 12:32

Nick писал(а):Кстати апач работает в режиме mpm_itk - так что может он вообще на каждый запрос заново создает потомка. Поэтому апачей не видно, но видно кто больше всего грузил систему - и это mysql суммарно около 700 секунд процессорного времени за несколько дней.

это всё с помощью ps можно посмотреть:

Код: Выделить всё

$ ps ax | grep mysql
ps ax | grep mysql
 1247 ?        Ss     0:00 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
 1614 ?        Sl   7200:09 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock

Код: Выделить всё

$ ps axH | grep mysql
 1247 ?        Ss     0:00 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
 1614 ?        Sl    12:09 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     4:19 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     4:42 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     4:12 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     4:13 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     4:10 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     4:08 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     6:08 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     4:02 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     4:10 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     5:49 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl    99:14 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl   159:52 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:27 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:24 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl    41:29 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl    15:12 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:04 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:01 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:01 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
 1614 ?        Sl     0:01 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock

Nick писал(а):Апач всетаки память потребляет.

Потребление памяти не будет так сильно всё тормозить - своп по сути не задействован. Я нехватка памяти в первую очередь будет компенсироваться за счёт кэша и буферов.

Nick писал(а):Какой график?

График загрузки сетевого интерфейса. Типа такого:

Поищи в ЛК или запроси у сапорта.
Ну или подскажу как на самом сервере такую статистику собирать...

Nick · Сообщение **Nick** » 07 фев 2019, 13:25

поставил писаться статистику...
через часик другой сделаем график.

SVP · Сообщение **SVP** » 07 фев 2019, 16:13

UAVpilot писал(а):По первым прикидкам я бы порекомендовал добавить серверу RAM

UAVpilot писал(а):По top видно, что никакой ngnix не нужен или только хуже сделает - большой нагрузки на диск нет.

Вы это серьезно щаз ?
Сколько в RAM занимает обслуживание одного клиента апачем и сколько нгиксом

?
Причем тут вообще нагрузка на диск ???

Сколько вообще клиентов в текущий момент обслуживает сервер, когда у него кончается память ? 500 ?
Чем можно сэмулировать такую нагрузку ? 500 гетов с ограничением по каналу ?
(могу проверить что будет если сделать это с сервером на котором стоит нгикс)

UAVpilot писал(а):Самым лучшим вариантом по прежнему считаю установку лимитов на количество коннектов для поисковиков или просто для всех. Причём полагаю при превышении лимита не выдавать никаких отлупов и ошибок, а просто игнорить запрос - это должно помочь равномернее "размазать во времени" запросы от поисковиков, они всё равно с форума не уйдут.

Правильно - пускай поисковики ПРОДОЛЖАЮТ ддосить не получая никаких "отлупов".

Кто-нибудь проверял этих "ботов" ? Это действительно ip яндекса ? Или только имена яндекса...

Nick · Сообщение **Nick** » 07 фев 2019, 19:23

Ip по whois бьётся как yandex subnet. Ну и user agent yandex images или что то подобное, понимаю, что агента можно поменять, но смысл в том что это один из сервисов Яндекса.

Я правильно понимаю, что nginx будет фронтендом? И отдает он только статику, а все остальное передает апач?

Predator · Сообщение **Predator** » 07 фев 2019, 19:26

Правильно понимаешь.

Predator · Сообщение **Predator** » 07 фев 2019, 19:38

А, это, как понимать? Какой нафиг - новый пользователь с ограничением в 5 минут?

PS: И всё также разлогинивает со смарта на полной версии форума.

Nick, попробуй поменять "Имя куки" в админке форума и очистить папку cache через ftp. Глядишь - поможет.

ScrewDriver · Сообщение **ScrewDriver** » 08 фев 2019, 09:35

Раза с 20го форум открылся

SVP · Сообщение **SVP** » 08 фев 2019, 11:11

Nick писал(а):Я правильно понимаю, что nginx будет фронтендом? И отдает он только статику, а все остальное передает апач?

Насколько я помню нгикс САМ отдает только статику, т.е. он для статики даже не запускает апач.
Т.е. не будут работать для статики всякие .хтакцесс итп. Что является статикой настраивается через конфиги, аналог .хтакцесс там-же.
Точнее настраивается то, что отдается напрямую, а что нет... не забудь если будешь делать проверить что станет с кешированием
со стороны клиента, должно продолжать работать. И проверь сразу что в логи апача попадает айпи клиента, а не локалхоста.

А для нестатики он запускает апач, после чего принимает от него результат, освобождает апач, и отдает результат уже "сам".
(тут возможно не в любом конфиге так работает, надо почитать, давно это было всё)

В целом это обычный сетап. Сейчас поди без него и нету серверов уже много лет как.
На каждый чих апач не дернешь, держать его в памяти, пока клиент забирает результат тоже не очень шоколадно...
В последние годы народ даже для динамики не использует апач запуская пхп из нгикса прям... но это советовать не буду,
т.к. велик шанс каких-нибудь неприятных эффектов.

MX_Master · Сообщение **MX_Master** » 08 фев 2019, 11:38

Помню лет 10 назад, я сделал сайт, форум и игровой сервер на небольшом VPS. Так вот, прожорливый апач очень сильно не вписывался в ресурсы и я полностью махнул его на lighttpd. Сайт с форумом начали работать настолько быстро, что это заметили даже сами юзеры. При этом lighttpd жрал ресурсов заметно меньше.

Nick · Сообщение **Nick** » 08 фев 2019, 14:14

SVP писал(а):В целом это обычный сетап. Сейчас поди без него и нету серверов уже много лет как.
На каждый чих апач не дернешь, держать его в памяти, пока клиент забирает результат тоже не очень шоколадно...
В последние годы народ даже для динамики не использует апач запуская пхп из нгикса прям... но это советовать не буду,
т.к. велик шанс каких-нибудь неприятных эффектов.

А что будет в случае медленного коннекшена? Nginx запросит страничку у апача и целиком сольет ее себе, или будет также по запросу клиента по чуть чуть ее забирать у апача?

SVP · Сообщение **SVP** » 08 фев 2019, 14:43

Nick писал(а): А что будет в случае медленного коннекшена? Nginx запросит страничку у апача и целиком сольет ее себе, или будет также по запросу клиента по чуть чуть ее забирать у апача?

Логика подсказывает мне, что заберет себе целиком и отпустит апач. Ибо в этом есть дофига смысла. Возможно есть настройки, возможно по размеру.
Но лично именно этот сценарий не проверял, просто не пришлось.
Можно протестировать, надо только понять как должен выглядить тест.

Вообще в этом сетапе сделано МАКСИМУМ всего, чтобы как можно быстрее освободить апач. Было-бы странно, еслиб не забирал.

SVP · Сообщение **SVP** » 08 фев 2019, 15:13

Эксперимент.
1. На клиенте создается скрипт с именем АА и содержимым wget --limit-rate 1k тут-урл-к-файлу-на-несколько-мб.html
2. На сервере запускается команда netstat -an | grep :129 | sort
129 - номер порта апача для обслуживания соответствующего домена
3. На клиента в консоле выполняем ./АА &
4. Повторяем пункт 3 раз 20-40
5. Повторяем пункт 2

Видим что-то типа такого (похоже на каждый wget одно соединение)

Код: Выделить всё

tcp6       0      0 127.0.0.1:129           127.0.0.1:54978         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:54980         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:54982         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:54984         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:54986         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:54990         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:54994         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:54998         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:55002         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:55004         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:55006         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:55008         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:55010         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:55012         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:55014         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:55016         TIME_WAIT
tcp6       0      0 127.0.0.1:129           127.0.0.1:55028         TIME_WAIT
tcp6       0      0 :::129                  :::*                    LISTEN

6. Ждем 20-40с., повторяем пункт 2.
Видим несколько строк с открытыми портами. Заведомо меньше, чем в текущий момент недокачанных файлов.

ЗЫ. В какой-то момент я видел даже
netstat -an | grep :129 | sort
tcp6 0 0 127.0.0.1:129 127.0.0.1:55274 TIME_WAIT
tcp6 0 0 :::129

А пара десятков wget-ов всё еще работала

Почему он не закрывает почти полминуты конекшены вопрос хороший... вероятно где-то какой-то кипалайв стоит.
Пробовал на живом но редкопосещаемом сервере, так что 4-5 соединений - это фоновая обычная активность

Сообщение **dima7411** » 09 фев 2019, 11:00

tолько у меня неt буквы t?

Serg · Сообщение **Serg** » 09 фев 2019, 12:15

dima7411 писал(а):tолько у меня неt буквы t?

Дарю: ТТТТТТТТТТТТТТТТТТТТТТТТ ттттттттттттттттттттт

Nick · Сообщение **Nick** » 11 фев 2019, 10:28

Наверное только у тебя.

ЗЫ UAVpilot, вот интересно, что ты ему в итоге подарил, если у него "т" не отображается

torvn77 · Сообщение **torvn77** » 11 фев 2019, 12:51

На счёт долго незакрываемых соединений, это имхо сделано для того чтобы люди смотрящие сайт во время поездки в транспорте небыли вынуждены после разрыва связи грузить заново недозагруженную страницу.
Укорачивать таймаут до разрыва соединения приведёт к тому, что смотреть сайт в транспорте станет невозможным.
По этому лучше ограничивать число потоков на одну сессию.

SVP · Сообщение **SVP** » 11 фев 2019, 14:50

torvn77 писал(а):На счёт долго незакрываемых соединений, это имхо сделано для того чтобы люди смотрящие сайт во время поездки в транспорте небыли вынуждены после разрыва связи грузить заново недозагруженную страницу.
Укорачивать таймаут до разрыва соединения приведёт к тому, что смотреть сайт в транспорте станет невозможным.
По этому лучше ограничивать число потоков на одну сессию.

Причем тут люди ? Лично у меня не закрываются соединения между апачем и нгиксом

)
Вероятно так было "из коробки". Это не приводит к каким-то серьезным тормозам (на моем сетапе), поэтому не заметил даже...
Но уверен, можно отключить.

R6MF49T2 · Сообщение **R6MF49T2** » 13 фев 2019, 13:35

Отредактировал свою тему в продажах, пару часов всё было норм. Потом разлогинило, и... изменения в моей теме откатились назад.

Сергей Саныч

Подозреваю, что у всех так - пропали сообщения за сегодняшний день.

Hanter · Сообщение **Hanter** » 13 фев 2019, 13:47

и че это было ???

cnc-club.ru

Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум

Re: Продолжаем хаить форум