Внезапно завис ВБ, спустя 11 дней аптайма

Здравствуйте. Сегодня, 21 октября, судя по мониторингу ВБ-клауд, в 22.01 по местному времени (МСК+4часа, UTC получается 15-01) перестал выходить на связь ВБ. Находится черти где, через облако связь не работает. На месте при осмотре - индикатор зеленый не мигает. Сценарии не работают (рядом с контроллером несколько датчиков движения, по ним лампочки не включаются), ВБ виден в сети по мак-адресу, но не забирает ip у dhcp сервера.
В журнале последние разделы такие:
-1 dbd90df243f94017bb42a81ea9d7e987 Tue 2024-10-08 13:04:16 UTC?Mon 2024-10-21 16:02:22 UTC
0 8ebfba9462994b16a90457c2da0f8d74 Mon 2024-10-21 16:02:51 UTC?Mon 2024-10-21 16:35:36 UTC
то есть как будто он продолжал работать все это время, или я неправильно понимаю?

В журнале есть такие сообщения:
rcu: INFO: rcu_sched self-detected stall on CPU

Так же в логе есть ошибки по CRC, при этом после перезагрузки устройства они пропадают на 8 часов (как так, ошибки либо есть либо нет, как перезагрузка ВБ может влиять на это?) Вот ниже кусок лога - обратите внимание на промежуток между ошибками, если до этого они шли каждые пару минут, то после 23-02 (перезагрузка) отсутствуют больше 9 часов и первая появляется утром в 9.36

|22-10-2024 09:36:11.269 [wb-mqtt-serial]|WARNING: [modbus] failed to read 14 input(s) @ 270 of device modbus:27: Serial protocol error: malformed response: invalid crc|
|---|---|
|21-10-2024 23:02:02.208 [wb-mqtt-serial]|WARNING: [modbus] failed to read 1 input(s) @ 33 of device modbus:238: Serial protocol error: malformed response: invalid crc|

Вотчдог никак не отработал.

приложен диагностический архив, доступен только сотрудникам поддержки
(542,1 КБ)

В общем, моих знаний понять в какой момент повисло все не хватает И что стало причиной тоже. Прошу помочь. Диагностический архив прилагаю, support@wirenboard пригласил в облаке

Добрый день.
Судя по логам - выглядит как ошибка ядра, вызванная плохим модулем шифрования VPN.

Oct 21 13:56:22 wirenboard-AUVQ657K kernel: sun8i-ce 1c15000.crypto: Fallback for cbc-aes-sun8i-ce is cbc(aes-generic)
Oct 21 13:56:22 wirenboard-AUVQ657K kernel: sun8i-ce 1c15000.crypto: Fallback for cbc-aes-sun8i-ce is cbc(aes-generic)
Oct 21 14:41:33 wirenboard-AUVQ657K kernel: sun8i-ce 1c15000.crypto: Fallback for cbc-aes-sun8i-ce is cbc(aes-generic)
Oct 21 14:41:33 wirenboard-AUVQ657K kernel: sun8i-ce 1c15000.crypto: Fallback for cbc-aes-sun8i-ce is cbc(aes-generic)
Oct 21 15:00:41 wirenboard-AUVQ657K kernel: sched: RT throttling activated
Oct 21 15:01:01 wirenboard-AUVQ657K kernel: rcu: INFO: rcu_sched self-detected stall on CPU
Oct 21 15:01:01 wirenboard-AUVQ657K kernel: rcu:         0-....: (2114 ticks this GP) idle=f8e/1/0x40000004 softirq=33538910/33538912 fqs=1031 
Oct 21 15:01:01 wirenboard-AUVQ657K kernel:         (t=2100 jiffies g=61485577 q=7573)
Oct 21 15:01:01 wirenboard-AUVQ657K kernel: NMI backtrace for cpu 0

Характерные

Oct 21 15:36:00 wirenboard-AUVQ657K kernel: [<c0935b8c>] (xfrm4_rcv_encap) from [<c09357f4>] (xfrm4_udp_encap_rcv+0x188/0x1b4)
Oct 21 15:36:00 wirenboard-AUVQ657K kernel:  r8:c093566c r7:00000011 r6:0000006c r5:00000002 r4:c2b40780
Oct 21 15:36:00 wirenboard-AUVQ657K kernel: [<c093566c>] (xfrm4_udp_encap_rcv) from [<c0903910>] (udp_queue_rcv_one_skb+0x364/0x510)
Oct 21 15:36:00 wirenboard-AUVQ657K kernel:  r7:00000011 r6:c35ad844 r5:c35ad6c0 r4:c2b40780
Oct 21 15:36:00 wirenboard-AUVQ657K kernel: [<c09035ac>] (udp_queue_rcv_one_skb) from [<c0903cec>] (udp_unicast_rcv_skb+0x4c/0xdc)
Oct 21 15:36:00 wirenboard-AUVQ657K kernel:  r9:c1007adc r8:00000003 r7:c11415c0 r6:c44b1264 r5:00000011 r4:c2b40780
Oct 21 15:36:01 wirenboard-AUVQ657K kernel: [<c0903ca0>] (udp_unicast_rcv_skb) from [<c090510c>] (__udp4_lib_rcv+0x3e4/0xa0c)
Oct 21 15:36:01 wirenboard-AUVQ657K kernel:  r5:00000011 r4:c2b40780

udp_encap udp_unicast - используется какой-то (сторонний) pppoe?

Здравствуйте. Да, в связи с тем что на облако надежды нет до сих пор (даже ssh не работает, тикет заведен но ответа нет пока), был поднят стандартный xl2tpd+ipsec до нашего офиса, который капец как стабильно работает, и на него не грешили даже если честно. Если вы считаете что проблема в нем (а л2тпд думаю не обновлялся лет двести), тогда посоветуйте чем поднять доступ к вайрену, чтобы не уронить его второй раз. Спасибо, кстати, за оперативность

Смотрю трейсы - да, очень-очень похоже.

Сам использую openvpn, он стабильно работает, практически - и проблем не вызывает. Кстати,настраивается на контроллере при наличии ovpn конфига буквально в 4 команды.

Хорошо, попробуем, пока л2тп не повис через него поднять опенвпн. Эх, облака не хватает :frowning:
Спасибо

и ни ссылки, ни инструкции :slight_smile: А в энторнетах только и разговоров как настроить овпн сервер на дебиане, про коиента ни слова, тем более с овпн-конфигом :frowning:

на вб-вики тоже одна статья для вб6 да и та наполовину не отредактирована :frowning:

По вашей рекомендации остановлен xl2tpd и strongswan
поднят openvpn

Теперь снова нужна ваша помощь - если л2тп держал тоннель с задержками и потерей пакетов просто мертвой хваткой, и плевать ему на битые пакеты, то под опенвпн ситуация печальна и очень напоминает работу вашего облака - постоянные отвалы и реконнекты.
В ссш без screen -r вообще невозможно работать, хотя до этого на л2тп сутками висела связь, в веб-интерфейсе просто постоянные ошибки типа " Error listing the configs: MQTT client is not connected MqttConnectionError"

В общем, если бы л2тп не убивал совсем ВБ, цены ему нет на фиговых каналах.

Я кое как скачал диагностику, посмотрите, пожалуйста, стало ли лучше.
Спасибо.

приложен диагностический архив, доступен только сотрудникам поддержки
(548,6 КБ)

Веб-интерфейс требует довольно широкой линии, в него отправляются вообще все топики устройств. На плохих каналах - его использовать прямо невозможно.

А для чего используете? Возможно - если просто отдавать параметры вверх он и не нужен?

Да, сейчас нет ошибок.

Так канал вполне себе широкий, кино можно смотреть. Только вот из-за высокого лага в полторы секунды и относительно небольших потерь пакетов на этом канале не работает нормально ни ваше облако, ни опенвпн :frowning: будем поднимать л2тп на другом девайсе, и втыкать его во второй порт вайрена, видимо, раз ему так плохеет. Но уверенность удержания канала в л2тп тоннеле- моё уважение конечно

обнаружил, что прекрасно работает “Доступ к веб-приложениям домашней сети” от keenetic. Раньше тупо не пробрасывался web socket, а сейчас настраивается в 2 клика и работает отлично даже без внешнего IP

вдруг кому-то будет полезно это знание

Я вам больше скажу. У нас штук пять заказчиков, у которых на кинетиках подняты l2tp клиенты к нашему серверу, с целью если что помочь. Там аптаймы месяцами спокойно висят, если бы не отключения света или интернет не оплатили- аптайм бы годами считали. Но мне всегда везет, я нахожу глюки даже в стабильных годами релизах. Вот, в стабильном вб на дебиане нашел глюк с xl2tpd, и неспособность вб облака работать на соединениях с большой задержкой и небольшими потерями :slight_smile:

1 лайк

Добрый день, удалось ли решить вопрос?