WB5.8 стал крайне медленно работать

Добрый день,

Понимаю что Wirenboard 5 уже старое устройство, но работало хорошо, может поможете справиться с проблемой малыми усилиями.
В последнее время все стало просто дико медленно работать, правила либо не работают, либо работают с сильным опозданием. Перезагрузка не помогает. Задержки по несколько минут, но тем не менее работает, веб-интерфейс открывается, по SSH зайти могу. В вебе ошибок не вижу, а при логине по SSH, после нескольких минут ожидания пишет две ошибки:

Failed to generate wb_env cache in /var/run/wb_env.cache
Failed to obtain lockfile in 180 s, something is really wrong

Welcome to Wiren Board (s/n ACP6FPZO), release wb-2207 (as stable)
Linux wirenboard-ACP6FPZO 4.9.22-wb1 #2 Thu May 20 15:58:00 UTC 2021 armv5tejl GNU/Linux

Дальше реагирует на команды, но, например, apt update выполняется, наверное, час.
Поскажите куда копать, плз, что проверять.

Добрый день.
Посмотрите пожалуйста на нагрузку контроллера, какой объем памяти (RAM) занят, какие процессы выполняютcя.
Еще пришлите, пожалуйста, архив с диагностической информацией контроллера. Создание архива описано в документации.

Извиняюсь за долгое молчание, отвлекся на другую задачу.
В итоге по документации скачать архив не получилось: в интерфейсе System есть только обновление прошивки, а команда wb-diag-collect - command no found. Вероятно, у меня слишком старая версия контроллера - 5.8.
Но проблему я нашел, после перезагрузки wb-rules, скорость отклика контроллера вернулась в норму, на какое-то вермя, но правила не работают, в логах огромное кол-во вот таких сообщений, примерно по 20 раз в секунду:

May 6 18:46:36 wirenboard wb-rules[23164]: ERROR: queue handleMessage is almost filled! 2048/2048

Почитал форум, попробовал удалить вообще все правила, и перезапустить wb-rules, но увы. Характерное поведение - на странице с правилами крутится колесо около минуты и потом выдается сообщение:

Error listing the scripts: MQTT RPC request timed out MqttTimeoutError

Через минут 5 очередь queue handleMessage спадает до нормы, но доступ к страничке с правилами не появляется, а при перезагрузке wb-rules сразу же опять начинается переполнение очереди и непонятная мне ошибка, пока очередь не заполнится, в течение около 10 секунд, доступ к странице c правилами есть, а потом опять зависает:

Спойлер: Лог перезапуска wb-rules

root@wirenboard-ACP6FPZO:~# systemctl restart wb-rules
root@wirenboard-ACP6FPZO:~# cat /var/log/messages | grep wb-rules | tail
May 6 19:47:47 wirenboard wb-rules[1295]: ERROR: queue handleMessage is almost filled! 1798/2048
May 6 19:47:47 wirenboard wb-rules[1295]: ERROR: queue handleMessage is almost filled! 1797/2048
May 6 19:47:47 wirenboard wb-rules[1295]: ERROR: queue handleMessage is almost filled! 1796/2048
May 6 19:47:47 wirenboard wb-rules[1295]: ERROR: queue handleMessage is almost filled! 1795/2048
May 6 19:47:47 wirenboard wb-rules[1295]: ERROR: queue handleMessage is almost filled! 1794/2048
May 6 19:47:47 wirenboard wb-rules[1295]: ERROR: queue handleMessage is almost filled! 1793/2048
May 6 19:48:30 wirenboard wb-rules[1295]: INFO: queue handleMessage length back to normal: 1024/2048
May 6 19:59:53 wirenboard wb-rules[5953]: INFO: MQTT connection established
May 6 19:59:55 wirenboard wb-rules[5953]: ERROR: command ‘/bin/sh -c echo 3 > /sys/class/pwm/pwmchip0/export’ failed with exit status 1
May 6 20:00:10 wirenboard wb-rules[5953]: WARNING: queue handleMessage is half-filled: 1025/2048

Не понимаю в чем может быть дело.

У меня есть внешний MQTT брокер, но в целях исключения его влияния, я его остановил.

Попробовал обновить прошивку через веб-интерфейс вот отсюда, релиз обновился с wb-2207 на wb-2201 и это тоже не помогло. Причем как-то странно встала прошивка, вот это напрягло при обновлении:

Спойлер: Лог на странице обновления прошивки

Extracting files to new rootfs
/dev/shm/rootfs /
/
Recovering device certificates
mount: /dev/loop0 is write-protected, mounting read-only
mount: wrong fs type, bad option, bad superblock on /dev/loop0,
missing codepage or helper program, or other error
In some cases useful info is found in syslog - try
dmesg | tail or so.
WARNING: Failed to find certificates of device. Please report it to info@contactless.ru
Mount /dev, /proc and /sys to rootfs
Running post-install scripts
Processing /dev/shm/rootfs/usr/lib/wb-image-update/postinst/10update-u-boot
Skipping u-boot update (use factory reset to do it)
Unmounting /dev, /proc and /sys from rootfs
Unmounting new rootfs
Switching to new rootfs
Done, removing firmware image and rebooting
Removing FIT /mnt/data/uploads/0000000001

И вот такие ошибки были в логах:

May 6 19:30:07 wirenboard kernel: [ 2.040735] rtc-pcf8563 1-0051: pcf8563_probe: write error
May 6 19:30:07 wirenboard kernel: [ 2.046397] rtc-pcf8563: probe of 1-0051 failed with error -5
May 6 19:30:07 wirenboard kernel: [ 7.242232] EXT4-fs (mmcblk0p3): re-mounted. Opts: errors=remount-ro
May 6 19:30:07 wirenboard kernel: [ 12.633901] mxs-dcp: probe of 80028000.dcp failed with error -22

Вобщем, проблема осталась. Понимаю, что устройтво старое и тратить время не хочется, но учитывая одиозное поведение, даже без правил, прошу подсказать куда копать или по крайней мере понять, может проблема в железе, а не какой-то настройке.

Так, по описанию - известный баг с Wiren Board 6: Errata — Wiren Board

Ну и для диагностики - я бы убрал правила и добавлял по одному.
Дополнительно - целесообразно подписаться на весь брокер (mosquitto_sub -v -t "#") и посмотреть - нет ли подозрительно частых публикациий.

Вот тут обсуждалось, надо еще учитывать длину очередей.

в выводе dmesg - подозрительного нет?

Благодарю за дельные советы!
Изменение persistence false, казалось, решило проблему, однако через ~4 часа wb-rules снова завис с теми же симптомами.

В выводе dmesg есть вот такая повторяющаяся строка, возможно было при обновлении через apt-get, но может и не связано с этим:

[64664.012678] systemd-sysv-generator[28134]: [/etc/init.d/wb-mqtt-knx:6] Could not build name for facility $remote_fs,: Invalid argument

А вот подписка на весь брокер показала просто огромное кол-во сообщений BATTERY_CHARGING:

> /devices/wb-gpio/controls/BATTERY_CHARGING 1
> /devices/wb-gpio/controls/BATTERY_CHARGING 0
> /devices/wb-gpio/controls/BATTERY_CHARGING 0
> /devices/wb-gpio/controls/BATTERY_CHARGING 1
> /devices/wb-gpio/controls/BATTERY_CHARGING 0
> /devices/wb-gpio/controls/BATTERY_CHARGING 1
> /devices/wb-gpio/controls/BATTERY_CHARGING 0
> /devices/wb-gpio/controls/BATTERY_CHARGING 0
> /devices/wb-gpio/controls/BATTERY_CHARGING 0
> /devices/wb-gpio/controls/BATTERY_CHARGING 1

Напряжения батареи и питания, на всякий случай:

> /devices/wb-adc/controls/BAT 3.984
> /devices/wb-adc/controls/Vin 11.70

Сдохла батарейка?

И еще вот это появляется в логе wb-rules при презапуске, на всякий случай прикладываю:

May  7 16:02:22 wirenboard-ACP6FPZO wb-rules[5133]: WARNING: couldn't load /usr/share/wb-rules-system/rules/power-class-battery.js: Error: invalid rule definition
        anon /usr/share/wb-rules-system/scripts/lib.js:111
        anon /usr/share/wb-rules-system/rules/power-class-battery.js:133 preventsyield
May  7 16:02:27 wirenboard-ACP6FPZO wb-rules[5133]: INFO: MQTT connection established
May  7 16:02:28 wirenboard-ACP6FPZO wb-rules[5133]: ERROR: command '/bin/sh -c echo 3  > /sys/class/pwm/pwmchip0/export' failed with exit status 1

Прикладываю Вывод dmesg (скачать .txt файл)

Поскольку knx нету - то можно не обращать внимания, можно отключить сервис knx.

Высоковероятно - да. Попробуйте ее деконфигурировать.

Но, в общем тут надо глянуть на вывод top чтоб оценить что именно потребляет ресурсы. Аппаратных, насколько понимаю, проблем нету.

Как это сделать на WB5.8? В веб интерфейсе про батарейку есть только напряжение.

В поисках решения открыл контроллер и рискнул отключить модуль заряда АКБ, благо коннектор прямо под крышкой, публикации /devices/wb-gpio/controls/BATTERY_CHARGING прекратились, однако зависания продолжились.

Вот так выглядит лог между зависаниями, возможно, наведет на мысль что происходит. Страничка c правилами в веб-интерфейсе перестала открываться примерно в 03:10.

Лог wb-rules
< Перезагрузка wb-rules >
May 15 00:07:09 wirenboard-ACP6FPZO wb-rules[2621]: WARNING: couldn't load /usr/share/wb-rules-system/rules/power-class-battery.js: Error: invalid rule definition
        anon /usr/share/wb-rules-system/scripts/lib.js:111
        anon /usr/share/wb-rules-system/rules/power-class-battery.js:133 preventsyield
May 15 00:07:11 wirenboard-ACP6FPZO wb-rules[2621]: INFO: MQTT connection established
May 15 00:07:12 wirenboard-ACP6FPZO wb-rules[2621]: ERROR: command '/bin/sh -c echo 3  > /sys/class/pwm/pwmchip0/export' failed with exit status 1
May 15 00:12:09 wirenboard-ACP6FPZO wb-rules[2621]: INFO: reloading file: /etc/wb-rules/update-check.js
May 15 03:25:28 wirenboard-ACP6FPZO wb-rules[2621]: WARNING: MQTT connection lost
May 15 03:25:28 wirenboard-ACP6FPZO wb-rules[2621]: INFO: MQTT connection established
May 15 04:04:04 wirenboard-ACP6FPZO wb-rules[2621]: WARNING: MQTT connection lost
May 15 04:04:05 wirenboard-ACP6FPZO wb-rules[2621]: INFO: MQTT connection established
May 15 04:19:35 wirenboard-ACP6FPZO wb-rules[2621]: WARNING: queue Tokens is half-filled: 1025/2048
May 15 04:32:47 wirenboard-ACP6FPZO wb-rules[2621]: ERROR: queue Tokens is almost filled! 1793/2048
...
May 15 04:37:34 wirenboard-ACP6FPZO wb-rules[2621]: ERROR: queue Tokens is almost filled! 2047/2048
May 15 04:37:35 wirenboard-ACP6FPZO wb-rules[2621]: ERROR: queue Tokens is almost filled! 2048/2048
May 15 04:39:27 wirenboard-ACP6FPZO wb-rules[2621]: WARNING: queue handleMessage is half-filled: 1025/2048
May 15 04:40:51 wirenboard-ACP6FPZO wb-rules[2621]: ERROR: queue handleMessage is almost filled! 1793/2048
May 15 04:40:51 wirenboard-ACP6FPZO wb-rules[2621]: ERROR: queue handleMessage is almost filled! 1794/2048
...
May 15 04:41:19 wirenboard-ACP6FPZO wb-rules[2621]: ERROR: queue handleMessage is almost filled! 2047/2048
May 15 04:41:19 wirenboard-ACP6FPZO wb-rules[2621]: ERROR: queue handleMessage is almost filled! 2048/2048
May 15 04:45:15 wirenboard-ACP6FPZO wb-rules[2621]: WARNING: MQTT connection lost
May 15 04:45:15 wirenboard-ACP6FPZO wb-rules[2621]: INFO: MQTT connection established
May 15 04:45:15 wirenboard-ACP6FPZO wb-rules[2621]: ERROR: queue Tokens is almost filled! 2048/2048
May 15 04:45:35 wirenboard-ACP6FPZO wb-rules[2621]: WARNING: MQTT connection lost
May 15 04:45:35 wirenboard-ACP6FPZO wb-rules[2621]: INFO: MQTT connection established
May 15 04:46:15 wirenboard-ACP6FPZO wb-rules[2621]: WARNING: MQTT connection lost
May 15 04:46:15 wirenboard-ACP6FPZO wb-rules[2621]: INFO: MQTT connection established
...
May 15 06:06:42 wirenboard-ACP6FPZO wb-rules[2621]: WARNING: MQTT connection lost
May 15 06:06:42 wirenboard-ACP6FPZO wb-rules[2621]: INFO: MQTT connection established

< далее нет записей до момента перезагрузки wb-rules >
Вывод top сразу как только перестала открываться с правилами в веб-интерфейсе
Tasks: 131 total,   1 running, 126 sleeping,   0 stopped,   4 zombie
%Cpu(s):  7.5 us, 10.3 sy,  0.0 ni,  0.0 id, 81.2 wa,  0.0 hi,  0.9 si,  0.0 st
KiB Mem :   122908 total,     6528 free,    57996 used,    58384 buff/cache
KiB Swap:   262140 total,   262056 free,       84 used.    57272 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
 9552 root      20   0    6572   2916   2348 R  6.1  2.4   0:01.20 top
  589 root      20   0   17092   2728   1840 S  3.7  2.2 280:28.11 wb-homa-adc
 8553 mosquit+  20   0   10904   2592   1808 S  2.4  2.1 134:46.43 mosquitto
31913 root      20   0  882956  10096   6528 S  2.1  8.2   1:02.22 wb-rules
  535 root      20   0   20604   6136   3156 S  1.2  5.0  91:20.80 wb-mqtt-db
 8960 root      20   0   11832   5732   4972 S  0.9  4.7   0:03.30 sshd
 2533 root      20   0   26244   2616   1728 S  0.6  2.1  59:32.43 wb-homa-gpio
    3 root      20   0       0      0      0 S  0.3  0.0   9:16.02 ksoftirqd/0
  519 root      20   0  856568   4600   2520 S  0.3  3.7  20:44.98 wb-mqtt-confed
 9350 root      20   0    3912   2108   1420 D  0.3  1.7   0:00.81 wb-gsm
 9405 root      20   0    1860    544    484 D  0.3  0.4   0:00.73 sh
 9409 root      20   0    1860    484    424 D  0.3  0.4   0:00.74 sh
 9465 root      20   0    1860    484    424 D  0.3  0.4   0:00.66 sh
29338 root      20   0       0      0      0 S  0.3  0.0   0:01.36 kworker/u2:1
    1 root      20   0    9852   4988   3728 S  0.0  4.1  12:21.05 systemd
    2 root      20   0       0      0      0 S  0.0  0.0   0:00.29 kthreadd
    5 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kworker/0:0H
    7 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 lru-add-drain
    8 root      rt   0       0      0      0 S  0.0  0.0   0:04.74 watchdog/0
    9 root      20   0       0      0      0 S  0.0  0.0   0:04.46 kdevtmpfs
   11 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 netns
   12 root      20   0       0      0      0 S  0.0  0.0   0:00.68 khungtaskd
   13 root      20   0       0      0      0 S  0.0  0.0   0:00.00 oom_reaper
   14 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 writeback
   15 root      20   0       0      0      0 S  0.0  0.0   0:11.80 kcompactd0
   16 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 crypto
   17 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kintegrityd
   18 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   19 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kblockd
   20 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 watchdogd
   21 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 rpciod
   22 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 xprtiod
   23 root      20   0       0      0      0 S  0.0  0.0   0:08.44 kswapd0
   24 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 nfsiod
   48 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   49 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   50 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   51 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   52 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   53 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   54 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   55 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   59 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 ipv6_addrconf
   61 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   62 root      20   0       0      0      0 S  0.0  0.0   4:39.05 mmcqd/0
   63 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   64 root      20   0       0      0      0 S  0.0  0.0   0:00.01 mmcqd/0boot0
   65 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   66 root      20   0       0      0      0 S  0.0  0.0   0:00.01 mmcqd/0boot1
   67 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset
   68 root      20   0       0      0      0 S  0.0  0.0   0:00.00 mmcqd/0rpmb
   69 root      20   0       0      0      0 S  0.0  0.0   0:04.35 jbd2/mmcblk0p3-
   70 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 ext4-rsv-conver
   92 root      20   0   47840   7900   7460 S  0.0  6.4  17:54.01 systemd-journal
  142 root      20   0       0      0      0 S  0.0  0.0   0:00.00 spi32766
  149 root       0 -20       0      0      0 S  0.0  0.0   0:02.41 kworker/0:1H
Вывод top после нескольких часов в состоянии зависания
Tasks: 102 total,   1 running, 101 sleeping,   0 stopped,   0 zombie
%Cpu(s):  8.0 us, 10.9 sy,  0.0 ni, 77.6 id,  0.3 wa,  0.0 hi,  3.2 si,  0.0 st
KiB Mem :   122908 total,     8800 free,    50348 used,    63760 buff/cache
KiB Swap:   262140 total,   262056 free,       84 used.    64932 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND                                                                                                                                                          
30853 root      20   0    6468   2972   2440 R  5.0  2.4   0:01.16 top                                                                                                                                                              
29408 root      20   0  881988   8060   4240 S  3.7  6.6   4:43.82 wb-rules                                                                                                                                                         
  589 root      20   0   17092   2728   1840 S  3.1  2.2 279:08.30 wb-homa-adc                                                                                                                                                      
 8553 mosquit+  20   0   10904   2588   1808 S  3.1  2.1 133:45.53 mosquitto                                                                                                                                                        
  535 root      20   0   20604   6060   3080 S  0.9  4.9  90:56.23 wb-mqtt-db                                                                                                                                                       
30720 root      20   0   11828   5776   5020 S  0.9  4.7   0:01.30 sshd                                                                                                                                                             
   92 root      20   0   47840   7260   6820 S  0.6  5.9  17:46.25 systemd-journal                                                                                                                                                  
 2533 root      20   0   26244   2616   1728 S  0.6  2.1  59:16.66 wb-homa-gpio                                                                                                                                                     
    3 root      20   0       0      0      0 S  0.3  0.0   9:11.58 ksoftirqd/0                                                                                                                                                      
 1029 www-data  20   0   83824   4240   2368 S  0.3  3.4   3:27.15 nginx                                                                                                                                                            
30570 root      20   0       0      0      0 S  0.3  0.0   0:01.07 kworker/0:1                                                                                                                                                      
30710 root      20   0       0      0      0 S  0.3  0.0   0:00.04 kworker/u2:0                                                                                                                                                     
    1 root      20   0    9852   4964   3704 S  0.0  4.0  12:14.97 systemd                                                                                                                                                          
    2 root      20   0       0      0      0 S  0.0  0.0   0:00.29 kthreadd                                                                                                                                                         
    5 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kworker/0:0H                                                                                                                                                     
    7 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 lru-add-drain                                                                                                                                                    
    8 root      rt   0       0      0      0 S  0.0  0.0   0:04.71 watchdog/0                                                                                                                                                       
    9 root      20   0       0      0      0 S  0.0  0.0   0:04.43 kdevtmpfs                                                                                                                                                        
   11 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 netns                                                                                                                                                            
   12 root      20   0       0      0      0 S  0.0  0.0   0:00.68 khungtaskd                                                                                                                                                       
   13 root      20   0       0      0      0 S  0.0  0.0   0:00.00 oom_reaper                                                                                                                                                       
   14 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 writeback                                                                                                                                                        
   15 root      20   0       0      0      0 S  0.0  0.0   0:11.67 kcompactd0                                                                                                                                                       
   16 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 crypto                                                                                                                                                           
   17 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kintegrityd                                                                                                                                                      
   18 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   19 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kblockd                                                                                                                                                          
   20 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 watchdogd                                                                                                                                                        
   21 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 rpciod                                                                                                                                                           
   22 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 xprtiod                                                                                                                                                          
   23 root      20   0       0      0      0 S  0.0  0.0   0:08.26 kswapd0                                                                                                                                                          
   24 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 nfsiod                                                                                                                                                           
   48 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   49 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   50 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   51 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   52 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   53 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   54 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   55 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   59 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 ipv6_addrconf                                                                                                                                                    
   61 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   62 root      20   0       0      0      0 S  0.0  0.0   4:36.62 mmcqd/0                                                                                                                                                          
   63 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   64 root      20   0       0      0      0 S  0.0  0.0   0:00.01 mmcqd/0boot0                                                                                                                                                     
   65 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   66 root      20   0       0      0      0 S  0.0  0.0   0:00.01 mmcqd/0boot1                                                                                                                                                     
   67 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   68 root      20   0       0      0      0 S  0.0  0.0   0:00.00 mmcqd/0rpmb                                                                                                                                                      
   69 root      20   0       0      0      0 S  0.0  0.0   0:04.31 jbd2/mmcblk0p3-                                                                                                                                                  
   70 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 ext4-rsv-conver                                                                                                                                                  
  142 root      20   0       0      0      0 S  0.0  0.0   0:00.00 spi32766  
Вывод top в рабочем состоянии, после перезапуска wb-rules
Tasks: 101 total,   1 running, 100 sleeping,   0 stopped,   0 zombie
%Cpu(s):  9.6 us,  8.4 sy,  0.0 ni, 79.8 id,  0.0 wa,  0.0 hi,  2.2 si,  0.0 st
KiB Mem :   122908 total,    10932 free,    51708 used,    60268 buff/cache
KiB Swap:   262140 total,   262056 free,       84 used.    63624 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND                                                                                                                                                          
31913 root      20   0  881860  10060   6516 S  4.9  8.2   0:03.77 wb-rules                                                                                                                                                         
32019 root      20   0    6468   2916   2384 R  4.9  2.4   0:01.53 top                                                                                                                                                              
  589 root      20   0   17092   2728   1840 S  3.0  2.2 279:25.37 wb-homa-adc                                                                                                                                                      
 8553 mosquit+  20   0   10904   2592   1808 S  3.0  2.1 133:59.02 mosquitto                                                                                                                                                        
  535 root      20   0   20604   6136   3156 S  1.2  5.0  91:01.45 wb-mqtt-db                                                                                                                                                       
30720 root      20   0   11828   5776   5020 S  1.2  4.7   0:02.38 sshd                                                                                                                                                             
 2533 root      20   0   26244   2616   1728 S  0.6  2.1  59:20.01 wb-homa-gpio                                                                                                                                                     
   62 root      20   0       0      0      0 S  0.3  0.0   4:37.12 mmcqd/0                                                                                                                                                          
  519 root      20   0  856568   4608   2520 S  0.3  3.7  20:40.59 wb-mqtt-confed                                                                                                                                                   
30710 root      20   0       0      0      0 S  0.3  0.0   0:00.26 kworker/u2:0                                                                                                                                                     
    1 root      20   0    9852   4988   3728 S  0.0  4.1  12:16.53 systemd                                                                                                                                                          
    2 root      20   0       0      0      0 S  0.0  0.0   0:00.29 kthreadd                                                                                                                                                         
    3 root      20   0       0      0      0 S  0.0  0.0   9:12.20 ksoftirqd/0                                                                                                                                                      
    5 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kworker/0:0H                                                                                                                                                     
    7 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 lru-add-drain                                                                                                                                                    
    8 root      rt   0       0      0      0 S  0.0  0.0   0:04.72 watchdog/0                                                                                                                                                       
    9 root      20   0       0      0      0 S  0.0  0.0   0:04.43 kdevtmpfs                                                                                                                                                        
   11 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 netns                                                                                                                                                            
   12 root      20   0       0      0      0 S  0.0  0.0   0:00.68 khungtaskd                                                                                                                                                       
   13 root      20   0       0      0      0 S  0.0  0.0   0:00.00 oom_reaper                                                                                                                                                       
   14 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 writeback                                                                                                                                                        
   15 root      20   0       0      0      0 S  0.0  0.0   0:11.74 kcompactd0                                                                                                                                                       
   16 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 crypto                                                                                                                                                           
   17 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kintegrityd                                                                                                                                                      
   18 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   19 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 kblockd                                                                                                                                                          
   20 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 watchdogd                                                                                                                                                        
   21 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 rpciod                                                                                                                                                           
   22 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 xprtiod                                                                                                                                                          
   23 root      20   0       0      0      0 S  0.0  0.0   0:08.38 kswapd0                                                                                                                                                          
   24 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 nfsiod                                                                                                                                                           
   48 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   49 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   50 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   51 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   52 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   53 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   54 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   55 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 bioset                                                                                                                                                           
   59 root       0 -20       0      0      0 S  0.0  0.0   0:00.00 ipv6_addrconf  

В настройках, в /etc/wb-hardware.conf

Крайне похоже на Wb-rules - MQTT Error: Connection lost before Subscribe completed - #13 от пользователя alternative_4
Так что проанализируйте - что пишется в брокер.
Ну и традиционно, отключите все правила, включая системные - поведение меняется?

Там про батарейку ни одного раздела нет.
Еще посмотрел файл /etc/wbmz2-battery.conf - там указано "enable": false,
В документации указанго, что это модуль для WB6, но хоть у меня и 5.8 версия, попробовал поменять на true, появился блок информации об АКБ (этого блока информации у меня никогда не было), но все значения нулевые и выделены красным, возможно, потому что я физически отключил модуль заряда ранее. Поэтому вернул на false.

В брокер примерно раз в секунду пишется только это, кажется ничего необычного:

/devices/wb-adc/controls/A1 0.08
/devices/wb-adc/controls/A2 0.07
/devices/wb-adc/controls/A3 0.56
/devices/wb-adc/controls/A4 0.45
/devices/wb-adc/controls/R1 nan
/devices/wb-adc/controls/Vin 11.67
/devices/wb-adc/controls/BAT 3.992
/devices/wb-adc/controls/5Vout 4.94

Вобщем начал копать и экспериментовать дальше, нашел еще одну проблему, которая, помимо батарейки, может быть первопричиной: у меня установлен 3G модем, но в разделе конфигурирования модем отсутствует, доступные для выбора:
image

в логе обнаружил вот такой часто повторяющийся вывод:

May 17 15:14:21 wirenboard-ACP6FPZO wb-gsm[19257]: test_connection: (port:/dev/ttyGSM; timeout:5) => 1
May 17 15:14:23 wirenboard-ACP6FPZO wb-gsm[19266]: test_connection: /dev/ttyGSM is not free

А потом и вовсе вот так, каждые 30 сек:

May 17 17:31:07 wirenboard-ACP6FPZO pppd[3362]: Failed to open /dev/ttyGSM: No such file or directory

По /dev/ttyACM0 модем доступен:
Перезагрузка не помогла, а вот перезаливка прошивки и последующее обновление вернуло /dev/ttyGSM:

root@wirenboard-ACP6FPZO:~# gammu identify 
Device               : /dev/ttyGSM
Manufacturer         : SIMCOM_Ltd
Model                : unknown (SIMCOM_SIM5300E)
Firmware             : Revision:1551B03SIM5300E

Но на странице конфигурации GSM модем по-прежнему выбран как “None”, доступные для выбора опции те же, что и на скриншоте выше.
Смс можно отправить, оно почему-то приходит на телефон пустым, даже если латиницей написать, а также команда gammu getallsms не показывает свежие смс.

Вот еще непонятно:

root@wirenboard-ACP6FPZO:~# DEBUG=true wb-gsm restart_if_broken
DEBUG: main: Called from pid 5689 (bash)
DEBUG: guess_of_node: Got of_gsm_node: wirenboard/gsm
DEBUG: gsm_init: Connecting via uart; port: /dev/ttyGSM
Error in /usr/lib/wb-utils/wb-gsm-common.sh:92. '/usr/bin/timeout --signal=SIGKILL --preserve-status $2 /usr/sbin/chat -v TIMEOUT $2 ABORT "ERROR" ABORT "BUSY" "" AT OK "" > $1 < $1' exited with status 0
Call tree:
 1: /usr/lib/wb-utils/wb-gsm-common.sh:546 test_connection(...)
 2: /usr/bin/wb-gsm:29 restart_if_broken(...)
Exiting with status 1
DEBUG: test_connection: (port:/dev/ttyGSM; timeout:5) => 137
137
DEBUG: restart_if_broken: WARNING: connection test error!
DEBUG: switch_off: Modem is ON. Will try to switch off GSM modem
DEBUG: switch_off: Send power down command > /dev/ttyGSM

После этого висит бесконечно.
При этом если нажать Ctrl-C и сразу отправить смс, то на телефон смс приходит, хотя и без текста:

root@wirenboard-ACP6FPZO:~# gammu sendsms TEXT +7910xxxxxxxx -unicode -text 'HiWorld'
If you want break, press Ctrl+C...
Sending SMS 1/1....waiting for network answer..OK, message reference=84

Тут мне уже не хватает знаний понять почему так происходит, даже сразу после переустановки прошивки и может ли это быть причиной зависаний wb-rules.

Кстати… Для 5.8 самый новый - это https://fw-releases.wirenboard.com/fit_image/stable/58/latest_stretch.fit

Для всех контроллеров до 6.7 модем распаивался на основной плате. Не надо менять параметры.

Нет, не может.

Ну и еще раз - удалите все правила, системные тоже. Вывод в лог воспроизводится?

Поэкспериментировал - движок правил систематически зависает даже при отсутствии всех пользовательских правил (удалил все файлы в разеделе RULES) и удаленных настройках моста. Вывод в лог при этом сохраняется:

wb-rules[1248]: ERROR: queue Events is almost filled! 2048/2048

Подскажите, где находятся системные правила и как их удалить?

Покажите пожалуйста версии пакетов кстати. Вывод

dpkg -l

Ну и с какими параметрами сейчас запущен движок правил:

ps ax |grep wb-rules

параметр 2048 - как раз длина очереди ЕМНИП.

расположены в /usr/share/wb-rules-system/rules/
Достаточно переместить в другой каталог.

Вывод dpkg -l
ii  wb-adc-tools-mxs                 1.0                   armel                 Tools for working with ADC of a Wiren Board device based on i.MX23/28
ii  wb-configs                       2.3.4-wb103           all                   Default common config files for Wiren Board
ii  wb-configs-stretch               2.3.4-wb103           all                   Default stretch-specific config files for Wiren Board
ii  wb-dt-overlays                   1.6.0+wb1             all                   Device tree overlays for Wiren Board devices
ii  wb-essential                     1.5.0                 all                   Wirenboard essential packages
ii  wb-homa-adc                      1.14.6                armel                 Wiren Board Smart Home MQTT ADC driver (WB-specific) compatible with H
ii  wb-homa-gpio                     1.19.5                armel                 Wiren Board Smart Home MQTT generic sysfs GPIO driver compatible with
ii  wb-homa-ism-radio                1.17.3                all                   MQTT driver for WB HomA for RFM69 ISM radio
ii  wb-homa-w1                       1.10.1                armel                 Wiren Board Smart Home MQTT generic 1-wire (w1) driver compatible with
ii  wb-hwconf-manager                1.42.1+really1.41.2   all                   Provides infrastructure for hardware re-configuration via Device Tree
ii  wb-knxd-config                   1.1.1                 all                   knxd configurator for Wiren Board
ii  wb-mcu-fw-flasher                1.1.0                 armel                 Firmware update tool for Wiren Board Modbus devices (WB-M*)
ii  wb-mcu-fw-updater                1.5.1-wb102           all                   Wiren Board modbus devices firmware update tool (python 3)
ii  wb-mqtt-confed                   1.2.2                 armel                 Configuration Editor Backend
ii  wb-mqtt-dac                      1.1.2                 all                   wb-rules-based IIO DAC driver for WB MQTT
ii  wb-mqtt-db                       1.7.3                 armel                 Wiren Board database logger
ii  wb-mqtt-db-cli                   1.2.1-wb100           all                   CLI for wb-mqtt-db
ii  wb-mqtt-homeui                   2.5.7                 all                   Wiren Board Web UI web interface
ii  wb-mqtt-knx                      0.1.2                 armel                 Wiren Board MQTT to KNX gateway
ii  wb-mqtt-mbgate                   0.1.4                 armel                 Wiren Board MQTT to Modbus TCP gateway
ii  wb-mqtt-serial                   1.63.0                armel                 Wiren Board Smart Home MQTT serial protocol driver.
ii  wb-release-info                  1.0-stable~wb5+stretc all                   release information package for Wirenboard
ii  wb-rules                         1.7.1                 armel                 Wiren Board Rule Engine
ii  wb-rules-system                  1.8.1                 all                   Default system rules for Wiren Board
ii  wb-suite                         1.0                   all                   Wirenboard vendor software set
ii  wb-test-suite                    1.20                  all                   Wiren Board functional testing suite
ii  wb-update-manager                1.2.5-wb1             all                   Wirenboard software updates and release management tool
ii  wb-utils                         3.7.0-wb111           all                   Wiren Board command-line utils

apt update выдает All packages are up to date.

root@wirenboard-ACP6FPZO:~# ps ax |grep wb-rules
 6946 ?        Sl     3:23 /usr/bin/wb-rules -syslog -queue-len 2048 -editdir /etc/wb-rules /usr/share/wb-rules-system/rules/ /etc/wb-rules /usr/share/wb-rules/
23001 pts/1    S+     0:00 grep wb-rules

Системные правила убрал. Наблюдаю.