Ребут на ровном месте

Explorerol · 16.Март.2022 06:58:03

Явных проблем пока не вижу. Устанавливалось ли какое-либо стороннее ПО на контроллер?

Попробуйте проверить загрузку процессора. Для этого скопируйте на контроллер правило из сообщения на контроллер, откройте его в веб-интерфейсе и сохраните. На вкладке Devices должно появиться указанное окно. Посмотрите, как ведет себя загрузка процессора (CPU Utilization), пришлите скриншот.

Если есть возможность, то попробуйте физически отсоединить для теста все боковые модули контроллера и понаблюдать, будут ли перезагрузки.

KuZia495 · 16.Март.2022 09:22:45

Из “стороннего”:
zabbix-agent: Zabbix 3.0.32 (revision df9ee82371).
Так же обновился 12-го февраля: 2022-02-12 15:52:12 upgrade zabbix-agent:armhf 1:3.0.32+dfsg-0+deb9u1 1:3.0.32+dfsg-0+deb9u2
На мониторинг процесс не ставил. Но на память: % использования памяти не увеличился 0,5-0,8% .

telethon (Telegram): не обновлялся с декабря прошлого года. Запускается по runShellCommand. Редко. Его запуск не совпадает по времени с рестартами. Запускается раз в неделю, а-то и реже (2-3 недели).

Более ничего. К сожалению, отключить чего-либо на данный момент не могу. И странно, сегодня рекорд - 9 сутки без перезагрузки. Но % загрузки CPU растёт каждый день.

Есть вот-такие графики:

KuZia495 · 16.Март.2022 20:03:13

В общем… Пришло уведомление (от zabbix) о резком изменении графика CPU. И я полез смотреть:

Судя по графику, что-то произошло в ~20:30 16.03.2022 (сегодня).
Небольшой резкий рост нагрузки связан с запуском pidstat -p pgrep -x xxxxx 3600 для: wb-rules, wb-mqtt-serial, mosquitto; iostat и cat /proc/interrupts.

pidstat по всем процессам не показал (всего пяток часов прошло) ничего заметного на глаз, а вот по wb-rules:
13:59:30 UID PID %usr %system %guest %CPU CPU Command
[cut]
18:57:46 0 2127 14,17 17,74 0,00 31,91 0 wb-rules
19:57:47 0 2127 14,07 17,38 0,00 31,45 0 wb-rules
20:57:47 0 23776 14,39 6,72 0,00 21,11 0 wb-rules
21:57:47 0 23776 15,52 6,17 0,00 21,69 0 wb-rules
[cut]

Короче. Подозреваю, что это wb-rules потихоньку “кушает” (каждый день всё больше и больше) ресурсы системы. Странно, что в этот раз берез перезагрузки. Хотя, судя по графику и предыдущему опыту - именно в этот момент система должна была перезагрузиться. Не знаю, почем именно сейчас всё пошло иначе.
Однако, печаль в том, что wb-rules таки перезагрузился. Что мне не очень нравится (стабильность).

Заглянул в /var/log/messages:

Mar 16 20:23:15 trailer-wb6 wb-mqtt-db[2132]: WARNING: [dblogger] Group data limit is reached: group all, row count 102059, limit 100000
Mar 16 20:23:22 trailer-wb6 wb-mqtt-serial[5912]: WARNING: [modbus] failed to read 1 discrete(s) @ 7 of device modbus:132: Serial protocol error: request timed out
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: panic: runtime error: index out of range [4] with length 0
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: goroutine 16 [running]:
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*score).zbCBVIsgVKWhREgN(0x1ce2680, 0x76bc, 0x351d8c80)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/support.go:135 +0x90
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*score).fnXdJjMUChLnQged(0x1ce2680, 0xc36d1800, 0x23c, 0xd2f1a9fc, 0x3f70624d, 0x0, 0x40390000, 0x0)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/support.go:125 +0x1ac
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*score).aQLxhdNvDCggTgxa(0x1ce2680)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/support.go:155 +0x154
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*score).sdyaePIdHdhPmunY(0x1ce2680, 0x47ae147b, 0x3f747ae1, 0x0)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/support.go:191 +0x1c
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*PahoMQTTClient).subscribe.func1(0x951755d8, 0x1cfe420, 0x951751b8, 0x203dd70)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/mqtt.go:289 +0x1fc
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/eclipse/paho%2emqtt%2egolang.(*router).matchAndDispatch.func2(0x1c4dbc0, 0x1c4e510, 0x1c4dc00, 0x1cfe420, 0x1c2b201, 0x1c16de0, 0x1c4dc00, 0x1c4dc40, 0x1c4dc80, 0x1c4dcc0)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/eclipse/paho.mqtt.golang@v1.3.5/router.go:210 +0x32c
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: created by github.com/eclipse/paho%2emqtt%2egolang.(*router).matchAndDispatch
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/eclipse/paho.mqtt.golang@v1.3.5/router.go:169 +0x128
Mar 16 20:23:59 trailer-wb6 systemd[1]: wb-rules.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Mar 16 20:23:59 trailer-wb6 systemd[1]: wb-rules.service: Unit entered failed state.
Mar 16 20:23:59 trailer-wb6 systemd[1]: wb-rules.service: Failed with result 'exit-code'.
Mar 16 20:24:00 trailer-wb6 systemd[1]: wb-rules.service: Service hold-off time over, scheduling restart.
Mar 16 20:24:00 trailer-wb6 systemd[1]: Stopped MQTT Rule engine for Wiren Board.
Mar 16 20:24:00 trailer-wb6 systemd[1]: Started MQTT Rule engine for Wiren Board.
Mar 16 20:24:00 trailer-wb6 wb-rules[23776]: INFO: driver is created
Mar 16 20:24:00 trailer-wb6 wb-rules[23776]: INFO: [wbgo_mqtt] rules-trailer-wb6-23776: MQTT connection established
Mar 16 20:24:00 trailer-wb6 wb-rules[23776]: INFO: driver loop is started
Mar 16 20:24:00 trailer-wb6 wb-rules[23776]: INFO: wait for driver to become ready
Mar 16 20:24:01 trailer-wb6 wb-rules[23776]: INFO: driver is ready
Mar 16 20:24:01 trailer-wb6 wb-rules[23776]: INFO: [rule info] using file /var/lib/wirenboard/wbrules-persistent.db for persistent DB
Mar 16 20:24:01 trailer-wb6 wb-rules[23776]: INFO: [wbgo_mqtt] wb-rules-engine-trailer-wb6-23776: MQTT connection established
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: [engine] Starting main loop
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: the engine is ready
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: [engine] Starting sync loop
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/buzzer.js is NOT under source root /etc/wb-rules
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/hwmon.js is NOT under source root /etc/wb-rules
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/network.js is NOT under source root /etc/wb-rules
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/power_status.js is NOT under source root /etc/wb-rules
Mar 16 20:24:03 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/system.js is NOT under source root /etc/wb-rules
Mar 16 20:24:03 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/wb-mqtt-dac.js is NOT under source root /etc/wb-rules
Mar 16 20:24:03 trailer-wb6 wb-mqtt-serial[5912]: WARNING: [modbus] failed to read 6 input(s) @ 32 of device modbus:132: Serial protocol error: request timed out
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: sh: 4: /etc/wb_env.sh: source: not found
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: sh: echo: I/O error
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: ERROR: command '/bin/sh -c echo 0  > /sys/class/pwm/pwmchip0/export' failed with exit status 1
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/wbmz-battery.js is NOT under source root /etc/wb-rules
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: INFO: system/DTS Version: failed to convert value '', passing raw
Mar 16 20:24:07 trailer-wb6 wb-mqtt-db[2132]: WARNING: [conventions] converting empty value to boolean "false"
Mar 16 20:24:07 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules/load_alarms.js is NOT under source root /etc/wb-rules
Mar 16 20:24:08 trailer-wb6 wb-rules[23776]: INFO: all rule files are loaded
Mar 16 20:25:01 trailer-wb6 CRON[24189]: pam_unix(cron:session): session opened for user root by (uid=0)
Mar 16 20:25:01 trailer-wb6 CRON[24193]: (root) CMD (command -v debian-sa1 > /dev/null && debian-sa1 1 1)
Mar 16 20:25:01 trailer-wb6 CRON[24189]: pam_unix(cron:session): session closed for user root
Mar 16 20:26:17 trailer-wb6 wb-mqtt-serial[5912]: WARNING: [modbus] failed to read 1 discrete(s) @ 7 of device modbus:132: Serial protocol error: request timed out

Как быть?
Продолжаю наблюдение.

Explorerol · 17.Март.2022 06:08:14

Нужно определить, не может ли проблема быть вызвана вашими правилами, если вы их создавали. Для этого сделайте копию ваших правил, а затем удалите их из директории /mnt/data/etc/wb-rules. Перезагрузите контроллер и понаблюдайте, будут ли ошибки или перезагрузки.

KuZia495 · 17.Март.2022 06:53:39

Подозреваю, что это таки связано с моими правилами, которые я на создавал.

Я не великий программист, да и вообще. В целом, эти правила не изменялись уж пару лет. За исключением правки переменных, так как на этой точке менялся контроллер WB5 → WB6.

Однако, повторюсь, что правила до 12.02.2022 (когда впервые был замечен “рост” нагрузки) правила (файлы .js) не изменялись. Единственное, что 12.02.2022 изменялось, это был выполнен apt-get update.

И конечно, остановить работу контроллера на сутки-двое не могу. Ибо он в работе.
Да же не знаю, как поступить. Для создания стенда (полной копии) у меня нет средств (периферии).

В общем. Буду искать пути…

BrainRoot · 17.Март.2022 14:15:19

Тогда выложите правила, посмотрим сами.

KuZia495 · 22.Март.2022 07:15:21

Пока идут пятые сутки, поддерживаю работу без правил (переместил файлы и перезагрузил устройство), как рекомендовали.
Перезагрузки или падения сервиса пока не случились.

root@trailer-wb6:~# uptime
 10:05:01 up 4 days, 20:04,  4 users,  load average: 2,57, 2,51, 2,64
root@trailer-wb6:~# 
root@trailer-wb6:~# ls /mnt/data/etc/wb-rules
root@trailer-wb6:~#

Но продолжаю наблюдать линейный рост нагрузки CPU. Как выясняется, “грузит” его - wb-rules.

pidstat -p `pgrep -x wb-rules` 3600
Linux 5.10.35-wb105 (trailer-wb6)       17.03.2022      _armv7l_        (1 CPU)

14:03:12      UID       PID    %usr %system  %guest    %CPU   CPU  Command
15:03:12        0      1752   11,07    5,19    0,00   16,26     0  wb-rules
16:03:12        0      1752   11,17    5,21    0,00   16,37     0  wb-rules
17:03:12        0      1752   11,14    5,26    0,00   16,40     0  wb-rules
[cut]
07:16:35        0      1752   11,06   10,05    0,00   21,10     0  wb-rules
08:16:35        0      1752   11,13   10,07    0,00   21,20     0  wb-rules
09:16:35        0      1752   11,12   10,21    0,00   21,32     0  wb-rules

Так же слежу за другими из “нагружающих” систему программами: serial и mosquitto. По ним, как и другим - “штиль”:

pidstat -p `pgrep -x wb-mqtt-serial` 3600
Linux 5.10.35-wb105 (trailer-wb6)       17.03.2022      _armv7l_        (1 CPU)

14:03:25      UID       PID    %usr %system  %guest    %CPU   CPU  Command
15:03:25        0      1748    5,47    6,44    0,00   11,91     0  wb-mqtt-serial
16:03:25        0      1748    5,42    6,48    0,00   11,91     0  wb-mqtt-serial
17:03:25        0      1748    5,36    6,53    0,00   11,89     0  wb-mqtt-serial
[cut]
07:17:13        0      1748    5,36    6,51    0,00   11,86     0  wb-mqtt-serial
08:17:13        0      1748    5,44    6,48    0,00   11,92     0  wb-mqtt-serial
09:17:13        0      1748    5,39    6,54    0,00   11,93     0  wb-mqtt-serial

root@trailer-wb6:~# pidstat -p `pgrep -x mosquitto` 3600
Linux 5.10.35-wb105 (trailer-wb6)       17.03.2022      _armv7l_        (1 CPU)

14:03:36      UID       PID    %usr %system  %guest    %CPU   CPU  Command
15:03:36      110       390    1,45    3,27    0,00    4,72     0  mosquitto
16:03:36      110       390    1,44    3,26    0,00    4,70     0  mosquitto
17:03:36      110       390    1,47    3,22    0,00    4,69     0  mosquitto
[cut]
07:55:13      110       390    1,48    3,26    0,00    4,73     0  mosquitto
08:55:13      110       390    1,47    3,26    0,00    4,73     0  mosquitto
09:55:13      110       390    1,49    3,15    0,00    4,64     0  mosquitto

Продолжаю наблюдать.

gusman163 · 26.Март.2022 19:09:00

у меня тоже wb-rules грузит под 30%, из правил только controller_utilization.js
проц 100% и не падает
root@wirenboard-AFRVB7DK:~# top | grep wb-rules
1661 root 20 0 910664 22440 11088 S 19.7 4.4 0:31.21 wb-rules
1661 root 20 0 910664 22472 11088 S 29.9 4.4 0:32.20 wb-rules
1661 root 20 0 910664 22488 11088 S 35.2 4.4 0:33.35 wb-rules
1661 root 20 0 910664 22496 11088 S 27.0 4.4 0:34.35 wb-rules
1661 root 20 0 910664 22496 11088 S 29.9 4.4 0:35.41 wb-rules
1661 root 20 0 910664 22496 11088 S 37.1 4.4 0:36.63 wb-rules
1661 root 20 0 910664 22500 11088 S 25.6 4.4 0:37.50 wb-rules
1661 root 20 0 910664 22504 11088 S 35.0 4.4 0:38.70 wb-rules
1661 root 20 0 910664 22504 11088 S 28.6 4.4 0:39.64 wb-rules
1661 root 20 0 910664 22504 11088 S 23.4 4.4 0:40.43 wb-rules
1661 root 20 0 910664 22504 11088 S 19.5 4.4 0:41.16 wb-rules
1661 root 20 0 910664 22504 11088 S 27.2 4.4 0:42.13 wb-rules
1661 root 20 0 910664 22504 11088 S 27.7 4.4 0:43.01 wb-rules
1661 root 20 0 910664 22504 11088 S 26.7 4.4 0:43.93 wb-rules
1661 root 20 0 910664 22504 11088 S 23.0 4.4 0:44.77 wb-rules
1661 root 20 0 910664 22504 11088 S 24.0 4.4 0:45.65 wb-rules
1661 root 20 0 910664 22504 11088 S 24.9 4.4 0:46.45 wb-rules
1661 root 20 0 910664 22504 11088 S 27.2 4.4 0:47.36 wb-rules
1661 root 20 0 910664 22516 11092 S 21.4 4.4 0:48.19 wb-rules
1661 root 20 0 910664 22516 11092 S 27.5 4.4 0:49.06 wb-rules
1661 root 20 0 910664 22520 11092 S 23.1 4.4 0:49.90 wb-rules
1661 root 20 0 910664 22520 11092 S 24.1 4.4 0:50.75 wb-rules
1661 root 20 0 910664 22520 11092 S 24.9 4.4 0:51.59 wb-rules
1661 root 20 0 910664 22520 11092 S 17.3 4.4 0:52.19 wb-rules
1661 root 20 0 910664 22524 11092 S 28.3 4.4 0:53.20 wb-rules
1661 root 20 0 910664 22524 11092 S 21.4 4.4 0:53.97 wb-rules
1661 root 20 0 910664 22524 11092 S 19.7 4.4 0:54.67 wb-rules
1661 root 20 0 910664 22524 11092 S 23.6 4.4 0:55.52 wb-rules
1661 root 20 0 910664 22524 11092 S 19.9 4.4 0:56.23 wb-rules
1661 root 20 0 910664 22528 11092 S 25.0 4.4 0:57.09 wb-rules
1661 root 20 0 910664 22528 11092 S 27.5 4.4 0:58.00 wb-rules
1661 root 20 0 910664 22536 11092 S 22.1 4.4 0:58.76 wb-rules
1661 root 20 0 910664 22536 11092 S 26.1 4.4 0:59.62 wb-rules
1661 root 20 0 910664 22536 11092 S 24.8 4.4 1:00.48 wb-rules
1661 root 20 0 910664 22536 11092 S 24.9 4.4 1:01.35 wb-rules
1661 root 20 0 910664 22536 11092 S 23.4 4.4 1:02.11 wb-rules

Explorerol · 28.Март.2022 05:13:15

Перезапуск сервиса wb-rules не меняет загрузку? В логах wb-rules есть что-нибудь?
Если все собственные правила удалить, то какая будет загрузка?

gusman163 · 28.Март.2022 07:05:42

нет не меняет

ничего странного не было

оставлял только правило которое добавляет cpu в device, тоже было 100% общее из них 25-35% rules
помогло полностью прошиться с удалением всего и заново настроить

сейчас хоть както реагирует, до этого уперся в полку 100% и даже не дераглся

BrainRoot · 28.Март.2022 07:39:09

Были ли какие-то кроме “стандартных” правила в системном каталоге?

KuZia495 · 28.Март.2022 08:23:41

Наконец дождался падение wb-rules. Рекорд - 10 суток.
В правилах WB6 пусто. Всё это время ус-во, можно сказать, тупо грело воздух.
Перезагрузки, как было месяц назад не наблюдаю. Не знаю, чем вызваны такие изменения (может быть обновлениями, может быть условным простоем).

wb-rules продолжает грузить систему. Даже с пустыми правилами.
Как итог - его падение. Судя по продолжительности пути, из-за простоя системы возникает отсрочка падения.

root@trailer-wb6:~# uptime
 11:16:52 up 10 days, 21:16,  5 users,  load average: 2,72, 2,53, 2,47

diag_output_ACMRRATU_2022-03-28-11.09.17.zip (120.6 КБ)

/var/log/messages:

[cut]
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: panic: runtime error: index out of range [4] with length 0
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: goroutine 16 [running]:
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*score).zbCBVIsgVKWhREgN(0xce2680, 0x126de, 0x37f08780)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/support.go:135 +0x90
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*score).fnXdJjMUChLnQged(0xce2680, 0x30b8a000, 0x346, 0xd2f1a9fc, 0x3f70624d, 0x0, 0x40390000, 0x0)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/support.go:125 +0x1ac
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*score).aQLxhdNvDCggTgxa(0xce2680)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/support.go:155 +0x154
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*score).sdyaePIdHdhPmunY(0xce2680, 0xd2f1a9fc, 0x3f50624d, 0x0)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/support.go:191 +0x1c
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*PahoMQTTClient).subscribe.func1(0x950e05d8, 0xcfe420, 0x950e01b8, 0xe998f0)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/mqtt.go:287 +0xc0
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/eclipse/paho%2emqtt%2egolang.(*router).matchAndDispatch.func2(0xc4dbc0, 0xc4e510, 0xc4dc00, 0xcfe420, 0xc2af01, 0xc16de0, 0xc4dc00, 0xc4dc40, 0xc4dc80, 0xc4dcc0)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/eclipse/paho.mqtt.golang@v1.3.5/router.go:210 +0x32c
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: created by github.com/eclipse/paho%2emqtt%2egolang.(*router).matchAndDispatch
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/eclipse/paho.mqtt.golang@v1.3.5/router.go:169 +0x128
Mar 28 10:38:14 trailer-wb6 systemd[1]: wb-rules.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Mar 28 10:38:14 trailer-wb6 systemd[1]: wb-rules.service: Unit entered failed state.
Mar 28 10:38:14 trailer-wb6 systemd[1]: wb-rules.service: Failed with result 'exit-code'.
Mar 28 10:38:16 trailer-wb6 systemd[1]: wb-rules.service: Service hold-off time over, scheduling restart.
Mar 28 10:38:16 trailer-wb6 systemd[1]: Stopped MQTT Rule engine for Wiren Board.
Mar 28 10:38:16 trailer-wb6 systemd[1]: Started MQTT Rule engine for Wiren Board.
Mar 28 10:38:16 trailer-wb6 wb-rules[31835]: INFO: driver is created
Mar 28 10:38:16 trailer-wb6 wb-rules[31835]: INFO: [wbgo_mqtt] rules-trailer-wb6-31835: MQTT connection established
Mar 28 10:38:16 trailer-wb6 wb-rules[31835]: INFO: driver loop is started
Mar 28 10:38:16 trailer-wb6 wb-rules[31835]: INFO: wait for driver to become ready
Mar 28 10:38:17 trailer-wb6 wb-rules[31835]: INFO: driver is ready 
[cut]

Статистика по wb-rules. Остальные процессы - без изменений (нет роста).

pidstat -p `pgrep -x wb-rules` 3600
Linux 5.10.35-wb105 (trailer-wb6)       21.03.2022      _armv7l_        (1 CPU)

16:16:35      UID       PID    %usr %system  %guest    %CPU   CPU  Command
17:16:35        0      1752   10,70    9,44    0,00   20,14     0  wb-rules
18:16:35        0      1752   10,71    9,43    0,00   20,14     0  wb-rules
[cut]
05:38:17      UID       PID    %usr %system  %guest    %CPU   CPU  Command
06:38:17        0      1752    9,86   15,61    0,00   25,47     0  wb-rules
07:38:17        0      1752    9,90   15,64    0,00   25,54     0  wb-rules
08:38:17        0      1752    9,76   15,76    0,00   25,52     0  wb-rules
09:38:17        0      1752    9,87   15,71    0,00   25,57     0  wb-rules

gusman163 · 28.Март.2022 08:54:59

для чистоты эксперимента все не стандартные удалял, проц был загружен на 100%

BrainRoot · 28.Март.2022 09:41:04

Так… А если удалить (перенести) системные правила? То есть содержимое /usr/share/wb-rules-system/rules/ и перезапустить движок - так же занимает CPU?

gusman163 · 28.Март.2022 10:27:28

уже поздно об этом говорить, тк контроллер активно учувствует в жизнедеятельности, пришлось сносить все и заново конфигурить. Сейчас все работает с теми же правилами нормально.

Explorerol · 28.Март.2022 11:14:49

@KuZia495 А вы можете это проверить?

KuZia495 · 28.Март.2022 11:49:19

Уже сделал:

После утреннего падения и рестарта:

11:25:26      UID       PID    %usr %system  %guest    %CPU   CPU  Command
12:25:26        0     31835   10,05    4,83    0,00   14,88     0  wb-rules
13:25:26        0     31835   10,10    4,89    0,00   14,99     0  wb-rules

После очистки /usr/share/wb-rules-system/rules/:

Linux 5.10.35-wb105 (trailer-wb6)       28.03.2022      _armv7l_        (1 CPU)

13:39:14      UID       PID    %usr %system  %guest    %CPU   CPU  Command
14:39:14        0     15289    6,13    2,95    0,00    9,08     0  wb-rules

То есть, разница таки есть.
Динамику нужно смотреть много позже.

KuZia495 · 29.Март.2022 07:16:48

Меньше 24ч, но уже можно сказать, что wb-rules прекратил “кушать” время, либо делает это значительно медленнее.

Linux 5.10.35-wb105 (trailer-wb6)       28.03.2022      _armv7l_        (1 CPU)

13:39:14      UID       PID    %usr %system  %guest    %CPU   CPU  Command
14:39:14        0     15289    6,13    2,95    0,00    9,08     0  wb-rules
15:39:14        0     15289    6,12    2,94    0,00    9,07     0  wb-rules
16:39:14        0     15289    6,15    2,97    0,00    9,11     0  wb-rules
17:39:14        0     15289    6,14    2,96    0,00    9,10     0  wb-rules
18:39:14        0     15289    6,14    2,94    0,00    9,07     0  wb-rules
19:39:14        0     15289    6,08    2,99    0,00    9,07     0  wb-rules
20:39:14        0     15289    6,09    2,99    0,00    9,08     0  wb-rules
21:39:14        0     15289    6,18    2,91    0,00    9,09     0  wb-rules
22:39:14        0     15289    6,13    2,97    0,00    9,10     0  wb-rules
23:39:14        0     15289    6,16    2,93    0,00    9,09     0  wb-rules
00:39:14        0     15289    6,11    2,95    0,00    9,06     0  wb-rules
01:39:14        0     15289    6,10    2,96    0,00    9,05     0  wb-rules
02:39:14        0     15289    6,14    2,92    0,00    9,06     0  wb-rules
03:39:14        0     15289    6,16    2,94    0,00    9,10     0  wb-rules
[cut]
09:26:31        0     15289    6,26    2,98    0,00    9,25     0  wb-rules

Какие мои дальнейшие действия?

Explorerol · 29.Март.2022 08:36:02

Спасибо за информацию, сделаю багрепорт разработчикам.
Если есть возможность, то попробуйте возвращать системные правила по одному назад. Если удастся определить проблемное правило, которое вызывает рост нагрузки, то это нам очень поможет решить проблему.

KuZia495 · 29.Март.2022 08:51:12

Попробую.