Здравствуйте. Вчера 26.08.2025 частично перестал откликаться wirenboard. При попытке подключиться к контроллеру по ssh, процесс зависал на долгое время, пока не сбросишь. При попытке открыть web, открытие происходило очень долго, и все дашборды пользовательские пропали, открывалась только вкладка “устройства” с очень долгим откликом и практически без возможности управления. Утром посмотрел, аптайм контроллера обнулился в полночь и сейчас он доступен. В логах выскочила ошибка systemd-journald.service: Watchdog timeout (limit 3min)! 26-08-2025 10:13:00
Диагностический архив приложил
приложен диагностический архив, доступен только сотрудникам поддержки
(409,5 КБ)
Добрый день.
Диагностический архив спустя две перезагрузки - бесполезен.
Но судя по описываемым симптомам регкомендую проверить сторонне ПО на потребление ресурсов. Вдел подобное при инекооректных функциях в NodeRed.
приложен диагностический архив, доступен только сотрудникам поддержки
(689,2 КБ)сегодня еще раз поймал данную особенность, только успел зайти по ssh и выгрузить логи за пару дней. 8:43 28.08.2025 посыпались варнинги и ошибки
Ну, судя по
Aug 28 08:43:32 WB-LP mosquitto[14509]: 1756359812: Client confed-WB-LP-15435 disconnected due to out of memory.
Aug 28 08:43:32 WB-LP wb-mqtt-confed[15435]: WARNING: [wbgo_mqtt] MQTT connection lost: read unix @->/var/run/mosquitto/mosquitto.sock: read: connection reset by peer
Aug 28 08:43:32 WB-LP wb-mqtt-confed[15435]: WARNING: [wbgo_mqtt] Cleaning up token queue
Aug 28 08:43:32 WB-LP wb-mqtt-confed[15435]: ERROR: [wbgo_mqtt] MQTT error: connection lost before Subscribe completed
Aug 28 08:43:33 WB-LP mosquitto[14509]: 1756359813: New connection from /var/run/mosquitto/mosquitto.sock:0 on port 0.
Aug 28 08:43:33 WB-LP mosquitto[14509]: 1756359813: New client connected from /var/run/mosquitto/mosquitto.sock:0 as confed-WB-LP-15435 (p2, c1, k30).
Aug 28 08:43:33 WB-LP wb-mqtt-confed[15435]: INFO: [wbgo_mqtt] confed-WB-LP-15435: MQTT connection established
Aug 28 08:43:33 WB-LP mosquitto[14509]: 1756359813: Client confed-WB-LP-15435 disconnected due to out of memory.
Aug 28 08:43:33 WB-LP wb-mqtt-confed[15435]: WARNING: [wbgo_mqtt] MQTT connection lost: read unix @->/var/run/mosquitto/mosquitto.sock: read: connection reset by peer
Aug 28 08:43:33 WB-LP wb-mqtt-confed[15435]: WARNING: [wbgo_mqtt] Cleaning up token queue
Aug 28 08:43:33 WB-LP wb-mqtt-confed[15435]: ERROR: [wbgo_mqtt] MQTT error: connection lost before Subscribe completed
Aug 28 08:43:35 WB-LP mosquitto[14509]: 1756359815: Connecting bridge (step 1) bridge (mqtt.lnt:1883)
Aug 28 08:43:35 WB-LP mosquitto[14509]: 1756359815: Connecting bridge (step 2) bridge (mqtt.lnt:1883)
Aug 28 08:43:35 WB-LP mosquitto[14509]: 1756359815: New connection from /var/run/mosquitto/mosquitto.sock:0 on port 0.
Aug 28 08:43:35 WB-LP mosquitto[14509]: 1756359815: New client connected from /var/run/mosquitto/mosquitto.sock:0 as auto-19A87EEB-0DC9-3707-0DAD-0A13C9C22B59 (p2, c1, k60).
Aug 28 08:43:35 WB-LP mosquitto[14509]: 1756359815: Client auto-19A87EEB-0DC9-3707-0DAD-0A13C9C22B59 disconnected.
Aug 28 08:43:35 WB-LP mosquitto[14509]: 1756359815: New connection from /var/run/mosquitto/mosquitto.sock:0 on port 0.
Aug 28 08:43:35 WB-LP mosquitto[14509]: 1756359815: New client connected from /var/run/mosquitto/mosquitto.sock:0 as confed-WB-LP-15435 (p2, c1, k30).
Aug 28 08:43:35 WB-LP wb-mqtt-confed[15435]: INFO: [wbgo_mqtt] confed-WB-LP-15435: MQTT connection established
Aug 28 08:43:35 WB-LP mosquitto[14509]: 1756359815: Client confed-WB-LP-15435 disconnected due to out of memory.
out of memory в брокере - скорее всего в память и упирается. А сколько ее, памяти занимали процессы? Я бы посмотрел по их размерам.
Да хотя бы можно для диагностики запустить в скрипте
free -m && ps -eo pid,ppid,cmd,%mem,%cpu,time --sort=-%mem
Предполагаю что сервис какой-то течет и память заканчивается.
Ну или буферы брокера забиваются, но это менее вероятно.