Ребут на ровном месте

Да, вижу версию контроллера. У нас тож в офисе воспроизводится, сейчас пытаемся найти причину.

Здравствуйте!
Пришлите, пожалуйста, диагностический архив.
Проверьте, все ли сервисы работают командой:

systemctl list-units --type=service | grep wb-

Вывод команды пришлите.

1 лайк

Простите, на кому-куда (почта?) отправить диагностический архив?

# systemctl list-units --type=service | grep wb-
wb-configs-early.service           loaded active exited  prepare mounts and symlinks to config files                                                                 
wb-configs.service                 loaded active running watch config files                                                                                          
wb-diag-collect.service            loaded active running one-click diagnostic data collector for Wiren Board, generating a                                           rchive with data
wb-gsm-rtc-restore.service         loaded active exited  Restore local date from Wiren Board GSM RTC                                                                 
wb-homa-ism-radio.service          loaded active exited  LSB: MQTT driver for WB HomA for RFM69 ISM radio                                                            
wb-hwconf-manager.service          loaded active exited  Initialize Wiren Board Device Tree overlays                                                                 
wb-init.service                    loaded active exited  Initialize Wiren Board on successful boot                                                                   
wb-knxd-config.service             loaded active exited  KNXD Configurator for Wiren Board                                                                           
wb-mqtt-adc.service                loaded active running MQTT Driver for ADC                                                                                         
wb-mqtt-confed.service             loaded active running Wiren Board configuration editor backend                                                                    
wb-mqtt-db.service                 loaded active running Wiren Board database logger                                                                                 
wb-mqtt-gpio.service               loaded active running MQTT Driver for GPIO-controlled switches                                                                    
wb-mqtt-knx.service                loaded active running Wiren Board MQTT KNX bridge                                                                                 
wb-mqtt-logs.service               loaded active running Wiren Board journald to MQTT gateway                                                                        
wb-mqtt-mbgate.service             loaded active running Wiren Board MQTT to Modbus TCP gateway                                                                      
wb-mqtt-metrics.service            loaded active running metrics sender.                                                                                             
wb-mqtt-opcua.service              loaded active running Wiren Board MQTT to OPC UA gateway                                                                          
wb-mqtt-serial.service             loaded active running MQTT Driver for serial devices                                                                              
wb-mqtt-w1.service                 loaded active running Kernel 1-Wire MQTT driver for WB-HomA                                                                       
wb-prepare.service                 loaded active exited  initialize filesystems at first boot                                                                        
wb-repart.service                  loaded active exited  prepare partitions at first boot                                                                            
wb-rules.service                   loaded active running MQTT Rule engine for Wiren Board                                                                            
wb-systime-adjust.service          loaded active exited  Compensation of systime in PPM from value, stored in device-tree                                            (with opposite sign)
wb-watch-update.service            loaded active running Wiren Board firmware update service

Сервисы работают нормально.

Архив прямо сюда в тему присылайте.

1 лайк

diag_output_ACMRRATU_2022-03-15-15.59.22.zip (116.7 КБ)

Явных проблем пока не вижу. Устанавливалось ли какое-либо стороннее ПО на контроллер?

Попробуйте проверить загрузку процессора. Для этого скопируйте на контроллер правило из сообщения на контроллер, откройте его в веб-интерфейсе и сохраните. На вкладке Devices должно появиться указанное окно. Посмотрите, как ведет себя загрузка процессора (CPU Utilization), пришлите скриншот.

Если есть возможность, то попробуйте физически отсоединить для теста все боковые модули контроллера и понаблюдать, будут ли перезагрузки.

Из “стороннего”:
zabbix-agent: Zabbix 3.0.32 (revision df9ee82371).
Так же обновился 12-го февраля: 2022-02-12 15:52:12 upgrade zabbix-agent:armhf 1:3.0.32+dfsg-0+deb9u1 1:3.0.32+dfsg-0+deb9u2
На мониторинг процесс не ставил. Но на память: % использования памяти не увеличился 0,5-0,8% .

telethon (Telegram): не обновлялся с декабря прошлого года. Запускается по runShellCommand. Редко. Его запуск не совпадает по времени с рестартами. Запускается раз в неделю, а-то и реже (2-3 недели).

Более ничего. К сожалению, отключить чего-либо на данный момент не могу. И странно, сегодня рекорд - 9 сутки без перезагрузки. Но % загрузки CPU растёт каждый день.

Есть вот-такие графики:

В общем… Пришло уведомление (от zabbix) о резком изменении графика CPU. И я полез смотреть:

Судя по графику, что-то произошло в ~20:30 16.03.2022 (сегодня).
Небольшой резкий рост нагрузки связан с запуском pidstat -p pgrep -x xxxxx 3600 для: wb-rules, wb-mqtt-serial, mosquitto; iostat и cat /proc/interrupts.

pidstat по всем процессам не показал (всего пяток часов прошло) ничего заметного на глаз, а вот по wb-rules:
13:59:30 UID PID %usr %system %guest %CPU CPU Command
[cut]
18:57:46 0 2127 14,17 17,74 0,00 31,91 0 wb-rules
19:57:47 0 2127 14,07 17,38 0,00 31,45 0 wb-rules
20:57:47 0 23776 14,39 6,72 0,00 21,11 0 wb-rules
21:57:47 0 23776 15,52 6,17 0,00 21,69 0 wb-rules
[cut]

Короче. Подозреваю, что это wb-rules потихоньку “кушает” (каждый день всё больше и больше) ресурсы системы. Странно, что в этот раз берез перезагрузки. Хотя, судя по графику и предыдущему опыту - именно в этот момент система должна была перезагрузиться. Не знаю, почем именно сейчас всё пошло иначе.
Однако, печаль в том, что wb-rules таки перезагрузился. Что мне не очень нравится (стабильность).

Заглянул в /var/log/messages:

Mar 16 20:23:15 trailer-wb6 wb-mqtt-db[2132]: WARNING: [dblogger] Group data limit is reached: group all, row count 102059, limit 100000
Mar 16 20:23:22 trailer-wb6 wb-mqtt-serial[5912]: WARNING: [modbus] failed to read 1 discrete(s) @ 7 of device modbus:132: Serial protocol error: request timed out
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: panic: runtime error: index out of range [4] with length 0
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: goroutine 16 [running]:
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*score).zbCBVIsgVKWhREgN(0x1ce2680, 0x76bc, 0x351d8c80)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/support.go:135 +0x90
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*score).fnXdJjMUChLnQged(0x1ce2680, 0xc36d1800, 0x23c, 0xd2f1a9fc, 0x3f70624d, 0x0, 0x40390000, 0x0)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/support.go:125 +0x1ac
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*score).aQLxhdNvDCggTgxa(0x1ce2680)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/support.go:155 +0x154
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*score).sdyaePIdHdhPmunY(0x1ce2680, 0x47ae147b, 0x3f747ae1, 0x0)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/support.go:191 +0x1c
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/wirenboard/wbgo-private.(*PahoMQTTClient).subscribe.func1(0x951755d8, 0x1cfe420, 0x951751b8, 0x203dd70)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/wirenboard/wbgo-private/mqtt.go:289 +0x1fc
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: github.com/eclipse/paho%2emqtt%2egolang.(*router).matchAndDispatch.func2(0x1c4dbc0, 0x1c4e510, 0x1c4dc00, 0x1cfe420, 0x1c2b201, 0x1c16de0, 0x1c4dc00, 0x1c4dc40, 0x1c4dc80, 0x1c4dcc0)
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/eclipse/paho.mqtt.golang@v1.3.5/router.go:210 +0x32c
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: created by github.com/eclipse/paho%2emqtt%2egolang.(*router).matchAndDispatch
Mar 16 20:23:58 trailer-wb6 wb-rules[2127]: 	github.com/eclipse/paho.mqtt.golang@v1.3.5/router.go:169 +0x128
Mar 16 20:23:59 trailer-wb6 systemd[1]: wb-rules.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Mar 16 20:23:59 trailer-wb6 systemd[1]: wb-rules.service: Unit entered failed state.
Mar 16 20:23:59 trailer-wb6 systemd[1]: wb-rules.service: Failed with result 'exit-code'.
Mar 16 20:24:00 trailer-wb6 systemd[1]: wb-rules.service: Service hold-off time over, scheduling restart.
Mar 16 20:24:00 trailer-wb6 systemd[1]: Stopped MQTT Rule engine for Wiren Board.
Mar 16 20:24:00 trailer-wb6 systemd[1]: Started MQTT Rule engine for Wiren Board.
Mar 16 20:24:00 trailer-wb6 wb-rules[23776]: INFO: driver is created
Mar 16 20:24:00 trailer-wb6 wb-rules[23776]: INFO: [wbgo_mqtt] rules-trailer-wb6-23776: MQTT connection established
Mar 16 20:24:00 trailer-wb6 wb-rules[23776]: INFO: driver loop is started
Mar 16 20:24:00 trailer-wb6 wb-rules[23776]: INFO: wait for driver to become ready
Mar 16 20:24:01 trailer-wb6 wb-rules[23776]: INFO: driver is ready
Mar 16 20:24:01 trailer-wb6 wb-rules[23776]: INFO: [rule info] using file /var/lib/wirenboard/wbrules-persistent.db for persistent DB
Mar 16 20:24:01 trailer-wb6 wb-rules[23776]: INFO: [wbgo_mqtt] wb-rules-engine-trailer-wb6-23776: MQTT connection established
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: [engine] Starting main loop
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: the engine is ready
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: [engine] Starting sync loop
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/buzzer.js is NOT under source root /etc/wb-rules
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/hwmon.js is NOT under source root /etc/wb-rules
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/network.js is NOT under source root /etc/wb-rules
Mar 16 20:24:02 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/power_status.js is NOT under source root /etc/wb-rules
Mar 16 20:24:03 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/system.js is NOT under source root /etc/wb-rules
Mar 16 20:24:03 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/wb-mqtt-dac.js is NOT under source root /etc/wb-rules
Mar 16 20:24:03 trailer-wb6 wb-mqtt-serial[5912]: WARNING: [modbus] failed to read 6 input(s) @ 32 of device modbus:132: Serial protocol error: request timed out
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: sh: 4: /etc/wb_env.sh: source: not found
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: sh: echo: I/O error
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: ERROR: command '/bin/sh -c echo 0  > /sys/class/pwm/pwmchip0/export' failed with exit status 1
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules-system/rules/wbmz-battery.js is NOT under source root /etc/wb-rules
Mar 16 20:24:04 trailer-wb6 wb-rules[23776]: INFO: system/DTS Version: failed to convert value '', passing raw
Mar 16 20:24:07 trailer-wb6 wb-mqtt-db[2132]: WARNING: [conventions] converting empty value to boolean "false"
Mar 16 20:24:07 trailer-wb6 wb-rules[23776]: INFO: /usr/share/wb-rules/load_alarms.js is NOT under source root /etc/wb-rules
Mar 16 20:24:08 trailer-wb6 wb-rules[23776]: INFO: all rule files are loaded
Mar 16 20:25:01 trailer-wb6 CRON[24189]: pam_unix(cron:session): session opened for user root by (uid=0)
Mar 16 20:25:01 trailer-wb6 CRON[24193]: (root) CMD (command -v debian-sa1 > /dev/null && debian-sa1 1 1)
Mar 16 20:25:01 trailer-wb6 CRON[24189]: pam_unix(cron:session): session closed for user root
Mar 16 20:26:17 trailer-wb6 wb-mqtt-serial[5912]: WARNING: [modbus] failed to read 1 discrete(s) @ 7 of device modbus:132: Serial protocol error: request timed out

Как быть?
Продолжаю наблюдение.

Нужно определить, не может ли проблема быть вызвана вашими правилами, если вы их создавали. Для этого сделайте копию ваших правил, а затем удалите их из директории /mnt/data/etc/wb-rules. Перезагрузите контроллер и понаблюдайте, будут ли ошибки или перезагрузки.

Подозреваю, что это таки связано с моими правилами, которые я на создавал.

Я не великий программист, да и вообще. В целом, эти правила не изменялись уж пару лет. За исключением правки переменных, так как на этой точке менялся контроллер WB5 → WB6.

Однако, повторюсь, что правила до 12.02.2022 (когда впервые был замечен “рост” нагрузки) правила (файлы .js) не изменялись. Единственное, что 12.02.2022 изменялось, это был выполнен apt-get update.

И конечно, остановить работу контроллера на сутки-двое не могу. Ибо он в работе.
Да же не знаю, как поступить. Для создания стенда (полной копии) у меня нет средств (периферии).

В общем. Буду искать пути…

Тогда выложите правила, посмотрим сами.

1 лайк

Пока идут пятые сутки, поддерживаю работу без правил (переместил файлы и перезагрузил устройство), как рекомендовали.
Перезагрузки или падения сервиса пока не случились.

root@trailer-wb6:~# uptime
 10:05:01 up 4 days, 20:04,  4 users,  load average: 2,57, 2,51, 2,64
root@trailer-wb6:~# 
root@trailer-wb6:~# ls /mnt/data/etc/wb-rules
root@trailer-wb6:~#

Но продолжаю наблюдать линейный рост нагрузки CPU. Как выясняется, “грузит” его - wb-rules.



pidstat -p `pgrep -x wb-rules` 3600
Linux 5.10.35-wb105 (trailer-wb6)       17.03.2022      _armv7l_        (1 CPU)

14:03:12      UID       PID    %usr %system  %guest    %CPU   CPU  Command
15:03:12        0      1752   11,07    5,19    0,00   16,26     0  wb-rules
16:03:12        0      1752   11,17    5,21    0,00   16,37     0  wb-rules
17:03:12        0      1752   11,14    5,26    0,00   16,40     0  wb-rules
[cut]
07:16:35        0      1752   11,06   10,05    0,00   21,10     0  wb-rules
08:16:35        0      1752   11,13   10,07    0,00   21,20     0  wb-rules
09:16:35        0      1752   11,12   10,21    0,00   21,32     0  wb-rules

Так же слежу за другими из “нагружающих” систему программами: serial и mosquitto. По ним, как и другим - “штиль”:

pidstat -p `pgrep -x wb-mqtt-serial` 3600
Linux 5.10.35-wb105 (trailer-wb6)       17.03.2022      _armv7l_        (1 CPU)

14:03:25      UID       PID    %usr %system  %guest    %CPU   CPU  Command
15:03:25        0      1748    5,47    6,44    0,00   11,91     0  wb-mqtt-serial
16:03:25        0      1748    5,42    6,48    0,00   11,91     0  wb-mqtt-serial
17:03:25        0      1748    5,36    6,53    0,00   11,89     0  wb-mqtt-serial
[cut]
07:17:13        0      1748    5,36    6,51    0,00   11,86     0  wb-mqtt-serial
08:17:13        0      1748    5,44    6,48    0,00   11,92     0  wb-mqtt-serial
09:17:13        0      1748    5,39    6,54    0,00   11,93     0  wb-mqtt-serial
root@trailer-wb6:~# pidstat -p `pgrep -x mosquitto` 3600
Linux 5.10.35-wb105 (trailer-wb6)       17.03.2022      _armv7l_        (1 CPU)

14:03:36      UID       PID    %usr %system  %guest    %CPU   CPU  Command
15:03:36      110       390    1,45    3,27    0,00    4,72     0  mosquitto
16:03:36      110       390    1,44    3,26    0,00    4,70     0  mosquitto
17:03:36      110       390    1,47    3,22    0,00    4,69     0  mosquitto
[cut]
07:55:13      110       390    1,48    3,26    0,00    4,73     0  mosquitto
08:55:13      110       390    1,47    3,26    0,00    4,73     0  mosquitto
09:55:13      110       390    1,49    3,15    0,00    4,64     0  mosquitto

Продолжаю наблюдать.

у меня тоже wb-rules грузит под 30%, из правил только controller_utilization.js
проц 100% и не падает
root@wirenboard-AFRVB7DK:~# top | grep wb-rules
1661 root 20 0 910664 22440 11088 S 19.7 4.4 0:31.21 wb-rules
1661 root 20 0 910664 22472 11088 S 29.9 4.4 0:32.20 wb-rules
1661 root 20 0 910664 22488 11088 S 35.2 4.4 0:33.35 wb-rules
1661 root 20 0 910664 22496 11088 S 27.0 4.4 0:34.35 wb-rules
1661 root 20 0 910664 22496 11088 S 29.9 4.4 0:35.41 wb-rules
1661 root 20 0 910664 22496 11088 S 37.1 4.4 0:36.63 wb-rules
1661 root 20 0 910664 22500 11088 S 25.6 4.4 0:37.50 wb-rules
1661 root 20 0 910664 22504 11088 S 35.0 4.4 0:38.70 wb-rules
1661 root 20 0 910664 22504 11088 S 28.6 4.4 0:39.64 wb-rules
1661 root 20 0 910664 22504 11088 S 23.4 4.4 0:40.43 wb-rules
1661 root 20 0 910664 22504 11088 S 19.5 4.4 0:41.16 wb-rules
1661 root 20 0 910664 22504 11088 S 27.2 4.4 0:42.13 wb-rules
1661 root 20 0 910664 22504 11088 S 27.7 4.4 0:43.01 wb-rules
1661 root 20 0 910664 22504 11088 S 26.7 4.4 0:43.93 wb-rules
1661 root 20 0 910664 22504 11088 S 23.0 4.4 0:44.77 wb-rules
1661 root 20 0 910664 22504 11088 S 24.0 4.4 0:45.65 wb-rules
1661 root 20 0 910664 22504 11088 S 24.9 4.4 0:46.45 wb-rules
1661 root 20 0 910664 22504 11088 S 27.2 4.4 0:47.36 wb-rules
1661 root 20 0 910664 22516 11092 S 21.4 4.4 0:48.19 wb-rules
1661 root 20 0 910664 22516 11092 S 27.5 4.4 0:49.06 wb-rules
1661 root 20 0 910664 22520 11092 S 23.1 4.4 0:49.90 wb-rules
1661 root 20 0 910664 22520 11092 S 24.1 4.4 0:50.75 wb-rules
1661 root 20 0 910664 22520 11092 S 24.9 4.4 0:51.59 wb-rules
1661 root 20 0 910664 22520 11092 S 17.3 4.4 0:52.19 wb-rules
1661 root 20 0 910664 22524 11092 S 28.3 4.4 0:53.20 wb-rules
1661 root 20 0 910664 22524 11092 S 21.4 4.4 0:53.97 wb-rules
1661 root 20 0 910664 22524 11092 S 19.7 4.4 0:54.67 wb-rules
1661 root 20 0 910664 22524 11092 S 23.6 4.4 0:55.52 wb-rules
1661 root 20 0 910664 22524 11092 S 19.9 4.4 0:56.23 wb-rules
1661 root 20 0 910664 22528 11092 S 25.0 4.4 0:57.09 wb-rules
1661 root 20 0 910664 22528 11092 S 27.5 4.4 0:58.00 wb-rules
1661 root 20 0 910664 22536 11092 S 22.1 4.4 0:58.76 wb-rules
1661 root 20 0 910664 22536 11092 S 26.1 4.4 0:59.62 wb-rules
1661 root 20 0 910664 22536 11092 S 24.8 4.4 1:00.48 wb-rules
1661 root 20 0 910664 22536 11092 S 24.9 4.4 1:01.35 wb-rules
1661 root 20 0 910664 22536 11092 S 23.4 4.4 1:02.11 wb-rules

Перезапуск сервиса wb-rules не меняет загрузку? В логах wb-rules есть что-нибудь?
Если все собственные правила удалить, то какая будет загрузка?

нет не меняет

ничего странного не было

оставлял только правило которое добавляет cpu в device, тоже было 100% общее из них 25-35% rules
помогло полностью прошиться с удалением всего и заново настроить


сейчас хоть както реагирует, до этого уперся в полку 100% и даже не дераглся

Были ли какие-то кроме “стандартных” правила в системном каталоге?

Наконец дождался падение wb-rules. Рекорд - 10 суток.
В правилах WB6 пусто. Всё это время ус-во, можно сказать, тупо грело воздух.
Перезагрузки, как было месяц назад не наблюдаю. Не знаю, чем вызваны такие изменения (может быть обновлениями, может быть условным простоем).

wb-rules продолжает грузить систему. Даже с пустыми правилами.
Как итог - его падение. Судя по продолжительности пути, из-за простоя системы возникает отсрочка падения.

root@trailer-wb6:~# uptime
 11:16:52 up 10 days, 21:16,  5 users,  load average: 2,72, 2,53, 2,47





diag_output_ACMRRATU_2022-03-28-11.09.17.zip (120.6 КБ)

/var/log/messages:

[cut]
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: panic: runtime error: index out of range [4] with length 0
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: goroutine 16 [running]:
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*score).zbCBVIsgVKWhREgN(0xce2680, 0x126de, 0x37f08780)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/support.go:135 +0x90
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*score).fnXdJjMUChLnQged(0xce2680, 0x30b8a000, 0x346, 0xd2f1a9fc, 0x3f70624d, 0x0, 0x40390000, 0x0)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/support.go:125 +0x1ac
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*score).aQLxhdNvDCggTgxa(0xce2680)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/support.go:155 +0x154
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*score).sdyaePIdHdhPmunY(0xce2680, 0xd2f1a9fc, 0x3f50624d, 0x0)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/support.go:191 +0x1c
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/wirenboard/wbgo-private.(*PahoMQTTClient).subscribe.func1(0x950e05d8, 0xcfe420, 0x950e01b8, 0xe998f0)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/wirenboard/wbgo-private/mqtt.go:287 +0xc0
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: github.com/eclipse/paho%2emqtt%2egolang.(*router).matchAndDispatch.func2(0xc4dbc0, 0xc4e510, 0xc4dc00, 0xcfe420, 0xc2af01, 0xc16de0, 0xc4dc00, 0xc4dc40, 0xc4dc80, 0xc4dcc0)
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/eclipse/paho.mqtt.golang@v1.3.5/router.go:210 +0x32c
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: created by github.com/eclipse/paho%2emqtt%2egolang.(*router).matchAndDispatch
Mar 28 10:38:14 trailer-wb6 wb-rules[1752]: 	github.com/eclipse/paho.mqtt.golang@v1.3.5/router.go:169 +0x128
Mar 28 10:38:14 trailer-wb6 systemd[1]: wb-rules.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Mar 28 10:38:14 trailer-wb6 systemd[1]: wb-rules.service: Unit entered failed state.
Mar 28 10:38:14 trailer-wb6 systemd[1]: wb-rules.service: Failed with result 'exit-code'.
Mar 28 10:38:16 trailer-wb6 systemd[1]: wb-rules.service: Service hold-off time over, scheduling restart.
Mar 28 10:38:16 trailer-wb6 systemd[1]: Stopped MQTT Rule engine for Wiren Board.
Mar 28 10:38:16 trailer-wb6 systemd[1]: Started MQTT Rule engine for Wiren Board.
Mar 28 10:38:16 trailer-wb6 wb-rules[31835]: INFO: driver is created
Mar 28 10:38:16 trailer-wb6 wb-rules[31835]: INFO: [wbgo_mqtt] rules-trailer-wb6-31835: MQTT connection established
Mar 28 10:38:16 trailer-wb6 wb-rules[31835]: INFO: driver loop is started
Mar 28 10:38:16 trailer-wb6 wb-rules[31835]: INFO: wait for driver to become ready
Mar 28 10:38:17 trailer-wb6 wb-rules[31835]: INFO: driver is ready 
[cut]

Статистика по wb-rules. Остальные процессы - без изменений (нет роста).

pidstat -p `pgrep -x wb-rules` 3600
Linux 5.10.35-wb105 (trailer-wb6)       21.03.2022      _armv7l_        (1 CPU)

16:16:35      UID       PID    %usr %system  %guest    %CPU   CPU  Command
17:16:35        0      1752   10,70    9,44    0,00   20,14     0  wb-rules
18:16:35        0      1752   10,71    9,43    0,00   20,14     0  wb-rules
[cut]
05:38:17      UID       PID    %usr %system  %guest    %CPU   CPU  Command
06:38:17        0      1752    9,86   15,61    0,00   25,47     0  wb-rules
07:38:17        0      1752    9,90   15,64    0,00   25,54     0  wb-rules
08:38:17        0      1752    9,76   15,76    0,00   25,52     0  wb-rules
09:38:17        0      1752    9,87   15,71    0,00   25,57     0  wb-rules

для чистоты эксперимента все не стандартные удалял, проц был загружен на 100%

Так… А если удалить (перенести) системные правила? То есть содержимое /usr/share/wb-rules-system/rules/ и перезапустить движок - так же занимает CPU?

уже поздно об этом говорить, тк контроллер активно учувствует в жизнедеятельности, пришлось сносить все и заново конфигурить. Сейчас все работает с теми же правилами нормально.