Ошибка загрузки списка сеансов и сервисов: Cannot read properties of null (reading '0')undefined

Не могу посмотреть логи в web ui (настройки → системный журнал), вылетает вышеупомянутая ошибка. Всё остальное вроде бы работает штатно.

Диагностический архив:

приложен диагностический архив, доступен только сотрудникам поддержки
(356,0 КБ)

Перезагрузка/обновление не помогает.
На контроллере не происходит ничего подозрительного:
image
Всё же в тот самый момент, когда я пытаюсь зайти в системный журнал, процесс systemd грузит CPU на 80%.

image

В root 48% свободного пространства.

На контроллере крутится HomeAssistant и NginxProxyManager, остановка этих контейнеров ситуацию не меняет.

С какого момента началась проблема - не известно. Но известно, что неделю назад всё было ок. С того момента контроллер никто не трогал, кроме…

Сегодня ночью была нештатная ситуация - на одном устройстве, подключенному к питанию 24v от rs485, случилось кз. Контроллер циклически перезагружатся несколько часов пока кз не было устранено. После этого всё ожило. Хочется верить, что аппаратная часть контроллера защищена от подобных вещей, и ошибка программная. Возможно, вызванная именно этой ситуацией.

Сразу отвечу на пару вопросов из соседней темы (хотя и не ясно, как ситуация разрешилась там):

root@wirenboard-AOAMRHYG:~# journalctl --list-boots
Failed to determine boots: No data available

Подпишитесь на топик mosquitto_sub -v -t /rpc/#
После этого выполните следующее: mosquitto_pub -t "/rpc/v1/wb_logs/logs/List/wb-mqtt-homeui-fortest" -m '{"id":4,"params":{}}'

Результат
root@wirenboard-AOAMRHYG:~# mosquitto_sub -v -t /rpc/#
/rpc/v1/confed/Editor/Save 1
/rpc/v1/confed/Editor/List 1
/rpc/v1/confed/Editor/Load 1
/rpc/v1/exp-check {"result": "not found"}
/rpc/v1/db_logger/history/get_values 1
/rpc/v1/db_logger/history/get_channels 1
/rpc/v1/wb-device-manager/bus-scan/Start 1
/rpc/v1/wb-device-manager/bus-scan/Stop 1
/rpc/v1/wb-device-manager/fw-update/GetFirmwareInfo 1
/rpc/v1/wb-device-manager/fw-update/Update 1
/rpc/v1/wb-device-manager/fw-update/ClearError 1
/rpc/v1/wb-device-manager/fw-update/Restore 1
/rpc/v1/wb_logs/logs/List 1
/rpc/v1/wb_logs/logs/Load 1
/rpc/v1/wb_logs/logs/CancelLoad 1
/rpc/v1/diag/main/diag 1
/rpc/v1/diag/main/status 1
/rpc/v1/wbrules/Editor/ChangeState 1
/rpc/v1/wbrules/Editor/List 1
/rpc/v1/wbrules/Editor/Load 1
/rpc/v1/wbrules/Editor/Remove 1
/rpc/v1/wbrules/Editor/Save 1
/rpc/v1/wb-mqtt-serial/config/Load 1
/rpc/v1/wb-mqtt-serial/config/GetSchema 1
/rpc/v1/wb-mqtt-serial/port/Load 1
/rpc/v1/wb-mqtt-serial/port/Setup 1
/rpc/v1/wb-mqtt-serial/ports/Load 1
/rpc/v1/wb_logs/logs/List/wb-mqtt-homeui-fortest {"id":4,"params":{}}
{
  "error": null,
  "id": 4,
  "result": {
    "boots": null,
    "services": [
      "apparmor.service",
      "apt-daily-upgrade.service",
      "apt-daily.service",
      "autovt@.service",
      "avahi-daemon.service",
      "bluetooth.service",
      "cgroupfs-mount.service",
      "console-getty.service",
      "container-getty@.service",
      "containerd.service",
      "cron.service",
      "cryptdisks-early.service",
      "cryptdisks.service",
      "dbus-fi.w1.wpa_supplicant1.service",
      "dbus-org.bluez.service",
      "dbus-org.freedesktop.Avahi.service",
      "dbus-org.freedesktop.hostname1.service",
      "dbus-org.freedesktop.locale1.service",
      "dbus-org.freedesktop.login1.service",
      "dbus-org.freedesktop.ModemManager1.service",
      "dbus-org.freedesktop.nm-dispatcher.service",
      "dbus-org.freedesktop.timedate1.service",
      "dbus.service",
      "debug-shell.service",
      "dnsmasq.service",
      "dnsmasq@.service",
      "docker.service",
      "e2scrub@.service",
      "e2scrub_all.service",
      "e2scrub_fail@.service",
      "e2scrub_reap.service",
      "emergency.service",
      "fcgiwrap.service",
      "fstrim.service",
      "getty-static.service",
      "getty@.service",
      "hostapd.service",
      "hostapd@.service",
      "hwclock.service",
      "ifup@.service",
      "ifupdown-pre.service",
      "ifupdown-wait-online.service",
      "initrd-cleanup.service",
      "initrd-parse-etc.service",
      "initrd-switch-root.service",
      "initrd-udevadm-cleanup-db.service",
      "kmod-static-nodes.service",
      "kmod.service",
      "knxd.service",
      "logrotate.service",
      "ModemManager.service",
      "modprobe@.service",
      "mosquitto.service",
      "netplug.service",
      "networking.service",
      "NetworkManager-dispatcher.service",
      "NetworkManager-wait-online.service",
      "NetworkManager.service",
      "nftables.service",
      "nginx.service",
      "nm-priv-helper.service",
      "ntp.service",
      "polkit.service",
      "procps.service",
      "quotaon.service",
      "rc-local.service",
      "rc.service",
      "rcS.service",
      "rescue.service",
      "rsync.service",
      "ser2net.service",
      "serial-getty@.service",
      "ssh.service",
      "ssh@.service",
      "sshd.service",
      "sudo.service",
      "syncthing@.service",
      "system-update-cleanup.service",
      "systemd-ask-password-console.service",
      "systemd-ask-password-wall.service",
      "systemd-backlight@.service",
      "systemd-binfmt.service",
      "systemd-bless-boot.service",
      "systemd-boot-check-no-failures.service",
      "systemd-boot-system-token.service",
      "systemd-exit.service",
      "systemd-fsck-root.service",
      "systemd-fsck@.service",
      "systemd-fsckd.service",
      "systemd-halt.service",
      "systemd-hibernate-resume@.service",
      "systemd-hibernate.service",
      "systemd-hostnamed.service",
      "systemd-hwdb-update.service",
      "systemd-hybrid-sleep.service",
      "systemd-initctl.service",
      "systemd-journal-flush.service",
      "systemd-journald.service",
      "systemd-journald@.service",
      "systemd-kexec.service",
      "systemd-localed.service",
      "systemd-logind.service",
      "systemd-machine-id-commit.service",
      "systemd-modules-load.service",
      "systemd-network-generator.service",
      "systemd-networkd-wait-online.service",
      "systemd-networkd.service",
      "systemd-poweroff.service",
      "systemd-pstore.service",
      "systemd-quotacheck.service",
      "systemd-random-seed.service",
      "systemd-reboot.service",
      "systemd-remount-fs.service",
      "systemd-resolved.service",
      "systemd-rfkill.service",
      "systemd-suspend-then-hibernate.service",
      "systemd-suspend.service",
      "systemd-sysctl.service",
      "systemd-sysusers.service",
      "systemd-time-wait-sync.service",
      "systemd-timedated.service",
      "systemd-tmpfiles-clean.service",
      "systemd-tmpfiles-setup-dev.service",
      "systemd-tmpfiles-setup.service",
      "systemd-udev-settle.service",
      "systemd-udev-trigger.service",
      "systemd-udevd.service",
      "systemd-update-utmp-runlevel.service",
      "systemd-update-utmp.service",
      "systemd-user-sessions.service",
      "systemd-volatile-root.service",
      "udev.service",
      "usb_modeswitch@.service",
      "user-runtime-dir@.service",
      "user@.service",
      "watchdog.service",
      "wb-cloud-agent-frpc.service",
      "wb-cloud-agent-frpc@.service",
      "wb-cloud-agent-telegraf.service",
      "wb-cloud-agent-telegraf@.service",
      "wb-cloud-agent.service",
      "wb-cloud-agent@.service",
      "wb-configs-early.service",
      "wb-configs.service",
      "wb-connection-manager.service",
      "wb-device-manager.service",
      "wb-diag-collect.service",
      "wb-gsm.service",
      "wb-homa-adc.service",
      "wb-homa-gpio.service",
      "wb-homa-w1.service",
      "wb-hwconf-manager.service",
      "wb-init.service",
      "wb-knxd-config.service",
      "wb-mqtt-adc.service",
      "wb-mqtt-confed.service",
      "wb-mqtt-db.service",
      "wb-mqtt-gpio.service",
      "wb-mqtt-iec104.service",
      "wb-mqtt-knx.service",
      "wb-mqtt-logs.service",
      "wb-mqtt-mbgate.service",
      "wb-mqtt-metrics.service",
      "wb-mqtt-nm-helper.service",
      "wb-mqtt-opcua.service",
      "wb-mqtt-serial.service",
      "wb-mqtt-w1.service",
      "wb-prepare.service",
      "wb-rules.service",
      "wb-systime-adjust.service",
      "wb-usb-otg.service",
      "wb-watch-update.service",
      "wd_keepalive.service",
      "wpa_supplicant-nl80211@.service",
      "wpa_supplicant-wired@.service",
      "wpa_supplicant.service",
      "wpa_supplicant@.service",
      "x11-common.service",
      "zigbee2mqtt.service",
      "dmesg"
    ]
  }
}

Не редактировался ли /etc/systemd/journald.conf ?

нет. Твердо и четко.

Factory reset еще не пробовал, хочу отложить на крайний случай.
Что еще можно посмотреть/попробовать/копнуть?

Добрый день.
Благгодарю за веря потраченное на описание, информации достаточно прямо в первом сообщени, это радует.

А при нормальном выполнении на запрос следует ответ, для примера:

/rpc/v1/wb_logs/logs/List/wb-mqtt-homeui-fortest {"id":4,"params":{}}
/rpc/v1/wb_logs/logs/List/wb-mqtt-homeui-fortest/reply {"error":null,"id":4,"result":{"boots":[{"hash":"835afff4ba85461787af87bb42316524","start":1734535513},{"end":1734535493,"hash":"0f053550599a46afbd3b081c2f00ff48","start":1734535334},{"end":1734535315,"hash":"3af454f0df2e4dcc8679be537a1d0e63","start":1734535098},{"end":1734535079,"hash":"2f700c9c07fd44c6aded42cdf9e40af5","start":1734493056},{"end":1685431463,"hash":"aa040f1d444e405584928d6da3f5bb2a","start":1685043072}],"services":["apt-daily-upgrade.service","apt-daily.service","autovt@.service","avahi-daemon.service","bluetooth.service","console-getty.service","container-getty@.service","cron.service","cryptdisks-early.service","cryptdisks.service","dbus-fi.w1.wpa_supplicant1.service","dbus-org.bluez.service","dbus-org.freedesktop.Avahi.service","dbus-org.freedesktop.hostname1.service","dbus-org.freedesktop.locale1.service","dbus-org.freedesktop.login1.service","dbus-org.freedesktop.ModemManager1.service","dbus-org.freedesktop.nm-dispatcher.service","dbus-org.freedesktop.timedate1.service","dbus.service","debug-shell.service","dnsmasq.service","dnsmasq@.service","e2scrub@.service","e2scrub_all.service","e2scrub_fail@.service","e2scrub_reap.service","emergency.service","fcgiwrap.service","fstrim.service","getty-static.service","getty@.service","hostapd.service","hostapd@.service","hwclock.service","ifup@.service","ifupdown-pre.service","ifupdown-wait-online.service","initrd-cleanup.service","initrd-parse-etc.service","initrd-switch-root.service","initrd-udevadm-cleanup-db.service","kmod-static-nodes.service","kmod.service","knxd.service","logrotate.service","ModemManager.service","modprobe@.service","mosquitto.service","netplug.service","networking.service","NetworkManager-dispatcher.service","NetworkManager-wait-online.service","NetworkManager.service","nftables.service","nginx.service","nm-priv-helper.service","ntp.service","polkit.service","procps.service","quotaon.service","rc-local.service","rc.service","rcS.service","rescue.service","rsync.service","serial-getty@.service","ssh.service","ssh@.service","sshd.service","sudo.service","system-update-cleanup.service","systemd-ask-password-console.service","systemd-ask-password-wall.service","systemd-backlight@.service","systemd-binfmt.service","systemd-bless-boot.service","systemd-boot-check-no-failures.service","systemd-boot-system-token.service","systemd-exit.service","systemd-fsck-root.service","systemd-fsck@.service","systemd-fsckd.service","systemd-halt.service","systemd-hibernate-resume@.service","systemd-hibernate.service","systemd-hostnamed.service","systemd-hwdb-update.service","systemd-hybrid-sleep.service","systemd-initctl.service","systemd-journal-flush.service","systemd-journald.service","systemd-journald@.service","systemd-kexec.service","systemd-localed.service","systemd-logind.service","systemd-machine-id-commit.service","systemd-modules-load.service","systemd-network-generator.service","systemd-networkd-wait-online.service","systemd-networkd.service","systemd-poweroff.service","systemd-pstore.service","systemd-quotacheck.service","systemd-random-seed.service","systemd-reboot.service","systemd-remount-fs.service","systemd-resolved.service","systemd-rfkill.service","systemd-suspend-then-hibernate.service","systemd-suspend.service","systemd-sysctl.service","systemd-sysusers.service","systemd-time-wait-sync.service","systemd-timedated.service","systemd-tmpfiles-clean.service","systemd-tmpfiles-setup-dev.service","systemd-tmpfiles-setup.service","systemd-udev-settle.service","systemd-udev-trigger.service","systemd-udevd.service","systemd-update-utmp-runlevel.service","systemd-update-utmp.service","systemd-user-sessions.service","systemd-volatile-root.service","udev.service","usb_modeswitch@.service","user-runtime-dir@.service","user@.service","watchdog.service","wb-cloud-agent-frpc.service","wb-cloud-agent-frpc@.service","wb-cloud-agent-telegraf.service","wb-cloud-agent-telegraf@.service","wb-cloud-agent.service","wb-cloud-agent@.service","wb-configs-early.service","wb-configs.service","wb-connection-manager.service","wb-device-manager.service","wb-diag-collect.service","wb-gsm.service","wb-homa-adc.service","wb-homa-gpio.service","wb-homa-w1.service","wb-hwconf-manager.service","wb-init.service","wb-knxd-config.service","wb-mqtt-adc.service","wb-mqtt-confed.service","wb-mqtt-db.service","wb-mqtt-gpio.service","wb-mqtt-iec104.service","wb-mqtt-knx.service","wb-mqtt-logs.service","wb-mqtt-mbgate.service","wb-mqtt-metrics.service","wb-mqtt-nm-helper.service","wb-mqtt-opcua.service","wb-mqtt-serial.service","wb-mqtt-w1.service","wb-prepare.service","wb-rules.service","wb-systime-adjust.service","wb-usb-otg.service","wb-watch-update.service","wd_keepalive.service","wpa_supplicant-nl80211@.service","wpa_supplicant-wired@.service","wpa_supplicant.service","wpa_supplicant@.service","x11-common.service","dmesg"]}}

Отввета нет даже через 15-20 секунд?

И да, из журнала сервиса wb-mqtt-logs:

Dec 21 14:13:21 wirenboard-AOAMRHYG wb-mqtt-logs[2017]: Failed to determine boots: No data available

Нужно проверить сдледующее:

  • корректность установки RTC. Если время при запуске и до синхронизации с NTP(подъема сети) неверное - тогда время запуска в журнал будет писаться "странное, чаще слишком раннее. Настройка даты и времени в контроллере Wiren Board — Wiren Board
  • Проверить журналы (файлы журналов) на корректность: journalctl --verify

Если какой-то из журналов поврежден - можно systemctl stop systemd-journald, удалить файл и снова запустить сервис.
Или просто почистить, например journalctl--vacuum-size=1M

Ответ был, он указан в описании, просто я этот JSON отформатировал (видимо-таки перестарался с оформлением :slight_smile: ).

  • корректность установки RTC.

Насколько я понимаю, всё нормально.

Подробности...
root@wirenboard-AOAMRHYG:~# timedatectl status
               Local time: Пн 2024-12-23 16:00:46 MSK
           Universal time: Пн 2024-12-23 13:00:46 UTC
                 RTC time: Пн 2024-12-23 13:00:46
                Time zone: Europe/Moscow (MSK, +0300)
System clock synchronized: yes
              NTP service: active
          RTC in local TZ: no
  • Проверить журналы (файлы журналов) на корректность: journalctl --verify

А вот тут беда. Огромное количество сообщений такого вида:

После этого сделал:

systemctl stop systemd-journald
journalctl --vacuum-size=1M
journalctl --vacuum-size=0M  # ну это,.. чтобы наверняка!
systemctl start systemd-journald

Эффект сразу не возымело. В UI журнал отказывался грузиться.
Перезагрузил контроллер - помогло :white_check_mark:

Насколько я понимаю, причина - повреждение файловой системы при внезапных отключениях питания (либо падение напряжения от кз, либо блок питания уходил в защиту)?