Отвалилось облако

Al-x · 09.Апрель.2025 18:43:06

Был сбой доступа в интернет, при чём буквально минут 10 длительностью, по причине отсутствия денег на счету, оператор закрыл доступ. Счёт пополнили, интернет восстановился, связь с облаком не восстановилась в течение минут 15-20. Дальше ждать надоело, полез разбираться. Доступ в интернет обечпечене через роутер с модемом сотового оператора

Интернет точно восстановился, потому что мой независимый VPN канал ожил и я смог зайти на контроллер, в том числе SSH.
PING c wirebboard.cloud шёл норм из строки SSH контроллера.
Перезапустил службу агента облака - завелось.
Архив в момент падения облака и до восстановления.

приложен диагностический архив, доступен только сотрудникам поддержки

(623,5 КБ)

В самой админке было написано, что облако в ошибке, с кодом ошибки 58.

Вывод моих попыток поиграть в сисадмина по SSH


root@wirenboard-AM75Z4F3:~# ping wirenboard.cloud
PING wirenboard.cloud (5.35.10.8) 56(84) bytes of data.
64 bytes from 5.35.10.8 (5.35.10.8): icmp_seq=1 ttl=53 time=46.2 ms
64 bytes from 5.35.10.8 (5.35.10.8): icmp_seq=2 ttl=53 time=44.0 ms
64 bytes from 5.35.10.8 (5.35.10.8): icmp_seq=3 ttl=53 time=54.0 ms
^C64 bytes from 5.35.10.8: icmp_seq=4 ttl=53 time=65.6 ms

--- wirenboard.cloud ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 16560ms
rtt min/avg/max/mdev = 44.015/52.461/65.630/8.469 ms
root@wirenboard-AM75Z4F3:~# nslookup agent.wirenboard.cloud
-bash: nslookup: command not found
root@wirenboard-AM75Z4F3:~# dig agent.wirenboard.cloud
-bash: dig: command not found
root@wirenboard-AM75Z4F3:~# systemctl status wb-cloud-agent
● wb-cloud-agent.service - Wiren Board Cloud Agent (default)
     Loaded: loaded (/lib/systemd/system/wb-cloud-agent.service; enabled; vendo>
     Active: active (running) since Sat 2025-02-15 17:54:23 MSK; 1 months 22 da>
   Main PID: 7011 (python3)
      Tasks: 3 (limit: 4676)
     Memory: 16.2M
        CPU: 6h 57min 22.826s
     CGroup: /system.slice/wb-cloud-agent.service
             ├─   7011 python3 /usr/bin/wb-cloud-agent --daemon --provider defa>
             └─2605854 curl --connect-timeout 45 --retry 8 --retry-delay 1 --re>

Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]: Traceback (most recen>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/pyth>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     make_event_reques>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/pyth>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     event_data, http_>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/pyth>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     result = subproce>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/pyth>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     raise CalledProce>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]: subprocess.CalledProc>
lines 1-21/21 (END)
● wb-cloud-agent.service - Wiren Board Cloud Agent (default)
     Loaded: loaded (/lib/systemd/system/wb-cloud-agent.service; enabled; vendor preset: enabled)
     Active: active (running) since Sat 2025-02-15 17:54:23 MSK; 1 months 22 days ago
   Main PID: 7011 (python3)
      Tasks: 3 (limit: 4676)
     Memory: 16.2M
        CPU: 6h 57min 22.826s
     CGroup: /system.slice/wb-cloud-agent.service
             ├─   7011 python3 /usr/bin/wb-cloud-agent --daemon --provider default
             └─2605854 curl --connect-timeout 45 --retry 8 --retry-delay 1 --retry-all-errors --cert                         >

Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]: Traceback (most recent call last):
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/python3.9/dist-packages/wb/cloud_agent/main.py", l>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     make_event_request(settings, mqtt)
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/python3.9/dist-packages/wb/cloud_agent/main.py", l>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     event_data, http_status = do_curl(settings=settings, method="ge>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/python3.9/dist-packages/wb/cloud_agent/main.py", l>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     result = subprocess.run(command, timeout=360, check=True, captu>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/python3.9/subprocess.py", line 528, in run
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     raise CalledProcessError(retcode, process.args,
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]: subprocess.CalledProcessError: Command '['curl', '--connect-timeout>
~
~
 ESCOC

; enabled; vendor preset: enabled)
; 1 months 22 days ago





 --provider default
try-delay 1 --retry-all-errors --cert                                               --key ATECCx08:00:02:C0:00 --engine atecc>

back (most recent call last):
e "/usr/lib/python3.9/dist-packages/wb/cloud_agent/main.py", line 319, in run_daemon
ake_event_request(settings, mqtt)
e "/usr/lib/python3.9/dist-packages/wb/cloud_agent/main.py", line 197, in make_event_request
vent_data, http_status = do_curl(settings=settings, method="get", endpoint="events/")
e "/usr/lib/python3.9/dist-packages/wb/cloud_agent/main.py", line 86, in do_curl
esult = subprocess.run(command, timeout=360, check=True, capture_output=True)
e "/usr/lib/python3.9/subprocess.py", line 528, in run
aise CalledProcessError(retcode, process.args,
ocess.CalledProcessError: Command '['curl', '--connect-timeout', '45', '--retry', '8', '--retry-delay', '1', '--retry-all-err>
~
~
 ESCOD
● wb-cloud-agent.service - Wiren Board Cloud Agent (default)
     Loaded: loaded (/lib/systemd/system/wb-cloud-agent.service; enabled; vendor preset: enabled)
     Active: active (running) since Sat 2025-02-15 17:54:23 MSK; 1 months 22 days ago
   Main PID: 7011 (python3)
      Tasks: 3 (limit: 4676)
     Memory: 16.2M
        CPU: 6h 57min 22.826s
     CGroup: /system.slice/wb-cloud-agent.service
             ├─   7011 python3 /usr/bin/wb-cloud-agent --daemon --provider default
             └─2605854 curl --connect-timeout 45 --retry 8 --retry-delay 1 --retry-all-errors --cert                         >

Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]: Traceback (most recent call last):
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/python3.9/dist-packages/wb/cloud_agent/main.py", l>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     make_event_request(settings, mqtt)
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/python3.9/dist-packages/wb/cloud_agent/main.py", l>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     event_data, http_status = do_curl(settings=settings, method="ge>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/python3.9/dist-packages/wb/cloud_agent/main.py", l>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     result = subprocess.run(command, timeout=360, check=True, captu>
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:   File "/usr/lib/python3.9/subprocess.py", line 528, in run
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]:     raise CalledProcessError(retcode, process.args,
Apr 09 21:27:04 wirenboard-AM75Z4F3 wb-cloud-agent[7011]: subprocess.CalledProcessError: Command '['curl', '--connect-timeout>
~
~

root@wirenboard-AM75Z4F3:~# systemctl restsrt wb-cloud-agent
Unknown command verb restsrt.
root@wirenboard-AM75Z4F3:~# systemctl restart wb-cloud-agent
root@wirenboard-AM75Z4F3:~# systemctl status wb-cloud-agent
● wb-cloud-agent.service - Wiren Board Cloud Agent (default)
     Loaded: loaded (/lib/systemd/system/wb-cloud-agent.service; enabled; vendor preset: enabled)
     Active: active (running) since Wed 2025-04-09 21:29:04 MSK; 4s ago
    Process: 2606910 ExecStartPre=/usr/lib/wb-cloud-agent/check-certs.sh (code=exited, status=0/SUCCESS)
    Process: 2607194 ExecStartPre=/usr/lib/wb-cloud-agent/activate-providers.sh (code=exited, status=0/SUCCESS)
   Main PID: 2607195 (python3)
      Tasks: 3 (limit: 4676)
     Memory: 12.8M
        CPU: 2.161s
     CGroup: /system.slice/wb-cloud-agent.service
             ├─2607195 python3 /usr/bin/wb-cloud-agent --daemon --provider default
             └─2607215 curl --connect-timeout 45 --retry 8 --retry-delay 1 --retry-all-errors --cert                         >

Apr 09 21:29:03 wirenboard-AM75Z4F3 systemd[1]: Starting Wiren Board Cloud Agent (default)...
Apr 09 21:29:04 wirenboard-AM75Z4F3 systemd[1]: Started Wiren Board Cloud Agent (default).
lines 1-15/15 (END)...skipping...
● wb-cloud-agent.service - Wiren Board Cloud Agent (default)
     Loaded: loaded (/lib/systemd/system/wb-cloud-agent.service; enabled; vendor preset: enabled)
     Active: active (running) since Wed 2025-04-09 21:29:04 MSK; 4s ago
    Process: 2606910 ExecStartPre=/usr/lib/wb-cloud-agent/check-certs.sh (code=exited, status=0/SUCCESS)
    Process: 2607194 ExecStartPre=/usr/lib/wb-cloud-agent/activate-providers.sh (code=exited, status=0/SUCCESS)
   Main PID: 2607195 (python3)
      Tasks: 3 (limit: 4676)
     Memory: 12.8M
        CPU: 2.161s
     CGroup: /system.slice/wb-cloud-agent.service
             ├─2607195 python3 /usr/bin/wb-cloud-agent --daemon --provider default
             └─2607215 curl --connect-timeout 45 --retry 8 --retry-delay 1 --retry-all-errors --cert                                               --key ATE>

Apr 09 21:29:03 wirenboard-AM75Z4F3 systemd[1]: Starting Wiren Board Cloud Agent (default)...
Apr 09 21:29:04 wirenboard-AM75Z4F3 systemd[1]: Started Wiren Board Cloud Agent (default).

Не знаю связано или нет, но где-то за час до этого запустил обновление пракетов, 3 каких-то пакета обновилось, не перезагружал, но проблем со связью и не было. Это чуть позже трафик закончился и отвалилось всё полностью)

Aleksandr_Khlebnikov · 10.Апрель.2025 09:15:43

Добрый день!

Проанализировал логи — вижу небольшую проблему, но её необходимо уточнить.

Прошу уточнить:
Контроллер после обновлений и окончания баланса сейчас уже на связи?

Если да, пришлите, пожалуйста, новый архив диагностики, чтобы я мог проверить, повторяется ли поведение агента постоянно или это был разовый сбой.

Al-x · 10.Апрель.2025 09:24:28

Архив смогу скинуть позже, но точно помню, что в прошлый раз после окончания баланса была такая же ситуация, но это было очень давно, поэтому данных не осталось.

Да, после перезапуска агента через командную строку как описал выше - всё восстановилось.

Al-x · 11.Апрель.2025 09:30:19

приложен диагностический архив, доступен только сотрудникам поддержки

(608,9 КБ)

Aleksandr_Khlebnikov · 11.Апрель.2025 09:41:45

Добрый день!

Судя по логам, зависла служба агента. Чтобы подтвердить, связано ли это с отсутствием баланса, прошу вас попробовать воспроизвести поведение ещё раз — при тех же условиях.

Если удастся воспроизвести: — зафиксируйте, через сколько времени служба “зависает” и пришлите диаг архив с временными промежутками проблемы

Al-x · 11.Апрель.2025 09:47:10

На самом деле сложно воспроизвести, это не мой оператор связи) я кстати не исключаю, что со временем он отвисает. Потому что по памяти такое уже случалось, но я ничего не делал. А тут мне нужно было дальше работать и не хотел ждать, поэтому перезапустил руками, минут через 10-20.
Если будет повторение, то напишу.

Aleksandr_Khlebnikov · 11.Апрель.2025 11:38:53

Добрый день!

Помечу тему как решённую.
Если проблема повторится — напишите, пожалуйста, в эту же тему или создайте новую, добавив ссылку на текущую для контекста.

Тема		Ответов	Просм.
Контроллер не мог присоединиться к облаку Web UI	15	62	09.12.2024
После перезагрузки слетает cloud Контроллеры Wiren Board	23	119	24.01.2025
Не подключается к облаку	7	23	13.02.2025
Потеря связи с контроллером	12	42	19.03.2025
После обновления нет доступа к cloud Контроллеры Wiren Board	10	55	07.10.2024

Отвалилось облако

Связанные темы