Ошибка получения данных: MQTT RPC request timed out MqttTimeoutError

Добрый день!
Контроллер WB 7.4.2
Требуется помощь,чтобы разобраться с перегрузкой процессора контроллера
Загрузка процессора (load average): 4+

Наступило само или совпало с обновлением модуля отправки метрик (переход с telegraf на wb-metrics)
На приветственной странице контроллера в облаке не отображались параметры загрузки и памяти.
количество модулей не менялось. изменения в конфигурацию не вносились.
Была выполнена команда, которую писал веб-интерфейс, для отправки метрик контроллера в облако WB

Сейчас:

  • метрики не выводятся по прежнему
  • попытка просмотра исторических данных в веб-интерфейсе приводит к ошибке “Ошибка получения данных: MQTT RPC request timed out MqttTimeoutError”

вывод htop

на шине RS485-2
wb-map12e - 5 шт
wb-mr6CU - 3 шт
wb-mrwm2 - 2 шт
на шине RS485-1 - пусто

TCP 192.168.100.31 (WB-MGE)
устройства отключены от шлюза

TCP 192.168.100.34 (WB-MGE)
WB-MWAC - 1 шт
wb-map12e - 2 шт
БП Mean Well - 1 шт сейчас не на связи

включение/выключение портов MGE на нагрузку не влияет
включение/выключение порта RS485-2 приводит к увеличению нагрузки на процессор

5 счетчиков это вроде как не сильно большая нагрузка и не должна приводить к проблеме “MQTT RPC request timed out MqttTimeoutError”

диагностический архив во вложении

приложен диагностический архив, доступен только сотрудникам поддержки
(512,8 КБ)

Добрый день.
Нагрузку можно посмотреть командами:
top - посмотреть нагрузку на процессор и оперативную память в разрезе загруженных программ
df -h - узнать, сколько свободного места на eMMC

все верно. Вывод указан указан в первом сообщении
Что сделать для решения проблемы:
Ошибка получения данных: MQTT RPC request timed out MqttTimeoutError
?

Большую часть процессов забирают:

wb-mqtt-serial - здесь надо проверить нет ли устройства с ошибками.
конкретно это перегружает сервис таймаутами<192.168.100.31:23> оно же и грузит wb-mqtt-db

первое - как я писал выше, выключение каналов (MGE) не уменьшает нагрузку. только выключение RS485
второе - отсутствуют метрики в облаке
третье - погасил “устройства с ошибками”. нагрузка прежняя. сколько wb-map12e может переварить контроллер?

равно стандарту Modbus т.е. 247 slave устройств

подскажите какой модуль обновляли?

Метрики появляются не сразу, подскажите сколько времени прошло?
проверьте что выводит команда
systemctl status wb-cloud-agent@wirenboard.cloud
systemctl status wb-cloud-agent-metrics@wirenboard.cloud

насколько понимаю был telegraf-cloud-agent (или как то так), теперь wb-cloud-agent
уведомление было в веб интерфейсе wirenboard.cloud
выводы:
Loaded: loaded (/lib/systemd/system/wb-cloud-agent@.service; enabled; vendor preset: enabled)
Active: active (running) since Tue 2026-05-19 10:30:37 MSK; 1h 1min ago
Main PID: 3878 (wb-cloud-agent)
Tasks: 3 (limit: 4790)
Memory: 18.7M
CPU: 44.445s
CGroup: /system.slice/system-wb\x2dcloud\x2dagent.slice/wb-cloud-agent@wirenboard.cloud.service
└─3878 /usr/bin/python3 /usr/bin/wb-cloud-agent run-daemon wirenboard.cloud

May 19 10:34:07 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Started metrics health monitor for provider wirenboard.cloud
May 19 10:34:07 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service monitor for wb-cloud-agent-metrics@wirenboard.cloud.service was restarted by a newer config update
May 19 10:44:08 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service wb-cloud-agent-metrics@wirenboard.cloud.service: error window 1/3 (4 errors)
May 19 10:54:08 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service wb-cloud-agent-metrics@wirenboard.cloud.service: error window 2/3 (4 errors)
May 19 11:02:07 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Applying metrics collector config for provider wirenboard.cloud
May 19 11:02:11 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Restarting metrics health monitor for provider wirenboard.cloud
May 19 11:02:11 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Started metrics health monitor for provider wirenboard.cloud
May 19 11:02:11 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service monitor for wb-cloud-agent-metrics@wirenboard.cloud.service was restarted by a newer config update
May 19 11:12:12 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service wb-cloud-agent-metrics@wirenboard.cloud.service: error window 1/3 (4 errors)
May 19 11:22:13 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service wb-cloud-agent-metrics@wirenboard.cloud.service: error window 2/3 (4 errors)
root@wirenboard-AABMZ5SZ:~#

Обновление произведено 15 мая

не все поместилось. Дублирую вывод команд

systemctl status wb-cloud-agent@wirenboard.cloud
● wb-cloud-agent@wirenboard.cloud.service - Wiren Board Cloud Agent (wirenboard.cloud)
Loaded: loaded (/lib/systemd/system/wb-cloud-agent@.service; enabled; vendor preset: enabled)
Active: active (running) since Tue 2026-05-19 10:30:37 MSK; 2h 42min ago
Main PID: 3878 (wb-cloud-agent)
Tasks: 4 (limit: 4790)
Memory: 17.6M
CPU: 1min 50.092s
CGroup: /system.slice/system-wb\x2dcloud\x2dagent.slice/wb-cloud-agent@wirenboard.cloud.service
├─ 3878 /usr/bin/python3 /usr/bin/wb-cloud-agent run-daemon wirenboard.cloud
└─31755 curl --connect-timeout 45 --retry 8 --retry-delay 1 --retry-all-errors --cert --key ATECCx08:00:02:C0:00 --engine ateccx08 --key-type ENG -D - -w |||{“code”:"%{re>

May 19 12:21:10 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service wb-cloud-agent-metrics@wirenboard.cloud.service: error window 2/3 (4 errors)
May 19 12:31:11 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service wb-cloud-agent-metrics@wirenboard.cloud.service: error window 3/3 (4 errors)
May 19 12:34:53 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Applying metrics collector config for provider wirenboard.cloud
May 19 12:34:57 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Started metrics health monitor for provider wirenboard.cloud
May 19 12:44:57 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service wb-cloud-agent-metrics@wirenboard.cloud.service: error window 1/3 (4 errors)
May 19 12:54:58 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service wb-cloud-agent-metrics@wirenboard.cloud.service: error window 2/3 (4 errors)
May 19 13:03:30 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Applying metrics collector config for provider wirenboard.cloud
May 19 13:03:33 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Restarting metrics health monitor for provider wirenboard.cloud
May 19 13:03:33 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Started metrics health monitor for provider wirenboard.cloud
May 19 13:03:33 wirenboard-AABMZ5SZ wb-cloud-agent[3878]: Metrics service monitor for wb-cloud-agent-metrics@wirenboard.cloud.service was restarted by a newer config update

systemctl status wb-cloud-agent-metrics@wirenboard.cloud
● wb-cloud-agent-metrics@wirenboard.cloud.service - metrics collector for Wiren Board Cloud (wirenboard.cloud)
Loaded: loaded (/lib/systemd/system/wb-cloud-agent-metrics@.service; enabled; vendor preset: enabled)
Active: active (running) since Tue 2026-05-19 13:03:33 MSK; 9min ago
Process: 27198 ExecCondition=/usr/bin/test -f /var/lib/wb-cloud-agent/providers/wirenboard.cloud/metrics_collector.py (code=exited, status=0/SUCCESS)
Main PID: 27199 (python3)
Tasks: 2 (limit: 4790)
Memory: 10.4M
CPU: 1.473s
CGroup: /system.slice/system-wb\x2dcloud\x2dagent\x2dmetrics.slice/wb-cloud-agent-metrics@wirenboard.cloud.service
└─27199 /usr/bin/python3 -u /var/lib/wb-cloud-agent/providers/wirenboard.cloud/metrics_collector.py

May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: File “/usr/lib/python3/dist-packages/mqttrpc/client.py”, line 124, in call
May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: raise err
May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: File “/usr/lib/python3/dist-packages/mqttrpc/client.py”, line 120, in call
May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: result = future.result(1e100 if timeout is None else timeout)
May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: File “/usr/lib/python3/dist-packages/mqttrpc/client.py”, line 49, in result
May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: raise TimeoutError()
May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: mqttrpc.client.TimeoutError
May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: 2026-05-19 13:11:41,486 INFO wb-cloud-metrics: Connecting to MQTT broker unix:///var/run/mosquitto/mosquitto.sock (client_id_prefix=wb-cloud-agent-metrics-BwjYZEUA)
May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: 2026-05-19 13:11:41,491 INFO wb-cloud-metrics: MQTT broker connected
May 19 13:11:41 wirenboard-AABMZ5SZ python3[27199]: 2026-05-19 13:11:41,492 INFO wb-cloud-metrics: MQTT/RPC client reconnected after metrics iteration failure
root@wirenboard-AABMZ5SZ:~#

конец

Для отправки метрик используется сервис wb-cloud-agent-telegraf@wirenboard.cloud
Можно проверить ещё и его командой:
systemctl status wb-cloud-agent-telegraf@wirenboard.cloud

Дополнительно можно обновить систему
apt update
apt upgrade
reboot

как раз он вроде и обновлен на metrics?
было telegraf-wb-cloud-agent стало wb-metrics. Нет?

Консоль:
systemctl status wb-cloud-agent-telegraf@wirenboard.cloud
Unit wb-cloud-agent-telegraf@wirenboard.cloud.service could not be found.

Обновление уже сделано несколько раз

apt update
apt upgrade

В том числе с проверкой пакетов

apt update
apt dist-upgrade

Сообщение о необходимости замены/обновления telegraf было в личном кабинете в облаке, при входе на страницу контроллера.

Сейчас:

  • метрики не выводятся по прежнему

  • попытка просмотра исторических данных в веб-интерфейсе приводит к ошибке “Ошибка получения данных: MQTT RPC request timed out MqttTimeoutError”

Сможете помочь разобраться?

Добрый день.
О проблеме разработчики уже знают, разбираются готовят фикс, сейчас можно сервис wb-cloud-agent-metrics@wirenboard.cloud.service перезагрузить и это должно помочь, если не помогло то нужно подождать решения, мы вас оповестим.

готовится фикс по метрикам мне сообщили.

А нагрузка на проц и проблема с историческими данными связана с метриками? или это отдельная проблема?

Предлагаю дождаться фикса, пока на данном этапе не ясно по зависимостям

Не должно, перепроверить бы пошагово как и что настраивали

Добрый день!

По фиксу есть ориентировочные сроки?

По загрузке настроек как таковых не вводилось.
правил нет, Панели выключал

загрузка не падает. не представляю куда дальше копать

Добрый день.

Пока сроки не известны.

Насколько критично сбросить контроллер до заводских последним fit образом стабильного релиза?

Сбросить не проблема. обнуляем и проверяем загрузку при том же обвесе?

Конфиги бэкапим или всё с нуля поднимаем?

Помогите правильно забэкапить конфиги для восстановления.

Я бы настраивал заново, внимательно по инструкциям, отслеживая в какой момент может повториться на том же железе.

На всякий случай конечно забэкапить.
Дополнительно инструкция как через консоль.