Зависает консоль

Добрый день! Столкунлся с неприятной проблемой – через некоторое время после включения (от часов до дней) прекращает работу консоль. Симптомы: ssh сессия не отваливается, но никаких приглашений и возможности ввести команду нет; в debugUART-сессии тоже не появляется системного приглашения, реагирует только на Ctrl-SysRq; Nmap показывает открытые порты, с 22 портом telnet-соединение устанавливается, но в консоль ничего не выдается; web-интерфейс иногда работает, иногда нет. upgrade-update сделал несколько дней назад, не помогло. Похоже, что зависания не зависят от того, выполняются ли команды в консоли или нет: может постоять и зависнуть.
Куда копать?
Спасибо!

Добрый день.
У меня возникает похожая проблема. Сегодня я ее словил три раза за день!
В начале отваливается web интерфейс, а затем и ssh доступ.
ПРичем сделать ничего не возможно, кроме выключения кнопкой.
WB 3.5
У Вас последнее ядро? Батарейка, usb модем имеется?

У меня такое начинается без подключенного swap и при установке wb-mqtt-homeui.
Со swap и без нового интерфейса управление не отваливается.

Постарайтесь оставить с подключенной консолью и посмотреть, не выводится ли туда что-нибудь при зависании. Первый подозреваемый, как всегда - драйвер Wi-Fi.

polsh, а вот такого быть не должно. “и без нового интерфейса” - это новый образ и удалённый wb-mqtt-homeui, или прошлогодний образ, или что?

Образ sdcard_20140609.dd с последними обновлениями и linux-latest.
В консоль дополнительно ничего не выдает, просто перестает увеличиваться RX на wlan0 (TX увеличивается).
iwlist scan точки доступа видит нормально
Что можно сделать с драйвером wi-fi на первых версиях контролера 3.5?


Разобрался у себя - IP адрес контролера на dhcp сервере занимался китайским телефоном почему-то. К контролеру претензий нет.

Проблема с консолью возникает после выключения и включения роутера RTN10U (Tomatousb Version 1.28 by shibby). Линк от WB есть, но запросов на получение IP нет.
Wifi отрублен при загрузке системы, к usb подключен только 3g modem для смс.
Его даже с помощью СМС перезагрузить не получается, то момента отваливания сети работает.
К WB 3.5 подключена батарея, думаю проблемы с БП не будут влиять.

Итого у вас не “зависает консоль”, а WB не переполучает DHCP при выключении роутера? Если так, то смотрите в сторону настроек udhcpc или установки isc-dhcp-client вместо него. Это очень маргинальная ситуация, и проблема, если так можно выразиться, не является специфической для Wiren Board.

Либо ещё проще: пропишите фиксированный IP для Wiren Board в настройках вашего роутера (в разделе настройки DHCP).

Так все остальное получает IP нормально и работает. По проводам включен только WB и Cisco Aironet, остальное по wifi может подключаться. Так с ними проблем нет, только WB не получает IP и не пытается.
За dhcp отвечает dnsmasq, за все время использования томатой > 4лет с ней проблем не наблюдалось!
Еще хочу обратить внимание, что перестает работать управление через 3g модем, он должен выдать команду в консоль, но система на нее не реагирует!
Как сделать откат на старое ядро без создания новой флэшки?

брр.
Я вам предложил два варианта решения проблемы, даже несмотря на то, что проблема относится к администрированию Linux, а не к нашему железу или софту. Почему вы их не хотите хотя бы проверить?

Так все остальное получает IP нормально и работает. По проводам включен только WB и Cisco Aironet, остальное по wifi может подключаться. Так с ними проблем нет, только WB не получает IP и не пытается

т.е. всё остальное, кроме других компьютеров с Linux с Debian-based дистрибутивами.

За dhcp отвечает dnsmasq, за все время использования томатой > 4лет с ней проблем не наблюдалось!

Я очень рад, но я и не говорил, что с ним есть проблемы. Поставьте галочку в интерфейсе, чтобы оно запоминало нормально ассоциацию MAC и IP. Если оно запоминает, значит проблема в другом, но это хотя бы проверить же нужно!

Еще хочу обратить внимание, что перестает работать управление через 3g модем, он должен выдать команду в консоль, но система на нее не реагирует!

Абсолютно ничего не понятно. Какой 3G модем? Куда он подключен? Какая команда? Какое управление?
Если у вас наблюдается несколько проблем, то давайте их решать по-отдельности в разных топиках. Если одна, то значит я вас до сих пор не понял, потому что какая связь между 3G-модемом и перезагрузкой роутера (зачем его кстати перезагружать, если он 4 года работает?) я не понял пока.

Как сделать откат на старое ядро без создания новой флэшки?

Поставить пакет linux-image-3.13.0-imxv5-x0.1 , удалить пакет linux-image-3.19.0-imxv5-x0.1

Ubuntu 14.04 получает IP без проблем

Делал статику и на роутере и на WB, менял, комбинировал и т.д.

huawei e173, подключен в usb порт WB. на wb установлен sms3tools для обработки входящих сообщений + скрипт, который обрабатывает сообщения.
роутер перезагружается из-за отключений света, но блин в СНТ это иногда происходит. у WB стоит аккумулятор.

Там NetworkManager вместо ifupdown, работает в таких ситуациях лучше

Поставьте тогда пожалуйста статический IP на Wiren Board, чтобы исключить проблему с DHCP, потом будем разбираться дальше.

Далее, правильно ли я понял проблему: вы перезагружаете роутер, после этого у вас перестаёт работать выполнение вашей команды по СМС на Wiren Board? Вы это можете воспроизводить? Я имею в виду проверить, что всё работает, перезагрузить роутер, убедиться, что всё не работает. Если нет - то нужно научиться воспроизводить проблему, прежде чем двигаться дальше.

USB-UART у вас кстати есть?

.

Да, сделаю статику, но скорее всего только завтра вечером.
Она воспроизводиться, но надо проверить что влияет, перезагрузка или пропадание питания.
UART есть, он всегда на нем висит.

Добрый вечер.
Провел тестирование на отваливание сети. Проблема появляется только с dhcp настройкой сети на wb! Дальше буду еще наблюдать.
отключил питание роутера
статический адрес на WB
[72547.390000] smsc95xx 1-1.1:1.0 eth0: link down
[72548.000000] smsc95xx 1-1.1:1.0 eth0: hardware isn’t capable of remote wakeup
[72548.360000] smsc95xx 1-1.1:1.0 eth0: hardware isn’t capable of remote wakeup
[72548.370000] IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready
включил питание роутера
[72557.230000] IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[72557.260000] smsc95xx 1-1.1:1.0 eth0: link up, 100Mbps, full-duplex, lpa 0x45E

[72557.260000] smsc95xx 1-1.1:1.0 eth0: link up, 100Mbps, full-duplex, lpa 0x45E 1
[72577.330000] smsc95xx 1-1.1:1.0 eth0: kevent 4 may have been dropped
[72577.340000] smsc95xx 1-1.1:1.0 eth0: kevent 4 may have been dropped
[72577.370000] smsc95xx 1-1.1:1.0 eth0: link down
[72577.480000] smsc95xx 1-1.1:1.0 eth0: link down
[72578.040000] smsc95xx 1-1.1:1.0 eth0: hardware isn’t capable of remote wakeup
[72578.430000] smsc95xx 1-1.1:1.0 eth0: hardware isn’t capable of remote wakeup
[72578.440000] IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready
[72579.970000] smsc95xx 1-1.1:1.0 eth0: kevent 4 may have been dropped
[72579.970000] smsc95xx 1-1.1:1.0 eth0: kevent 4 may have been dropped
[72579.980000] smsc95xx 1-1.1:1.0 eth0: kevent 4 may have been dropped
[72579.990000] smsc95xx 1-1.1:1.0 eth0: kevent 4 may have been dropped
[72580.010000] IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[72580.100000] smsc95xx 1-1.1:1.0 eth0: link up, 100Mbps, full-duplex, lpa 0x45E1
[72580.180000] smsc95xx 1-1.1:1.0 eth0: link up, 100Mbps, full-duplex, lpa 0x45E1
сеть есть. но в логе появились такие ошибки [72579.970000] smsc95xx 1-1.1:1.0 eth0: kevent 4 may have been dropped

без перезагрузке wb поменял статику на dhcp
root@wirenboard:~# [72845.280000] smsc95xx 1-1.1:1.0 eth0: link down
[72845.900000] smsc95xx 1-1.1:1.0 eth0: hardware isn’t capable of remote wakeup
[72846.280000] smsc95xx 1-1.1:1.0 eth0: hardware isn’t capable of remote wakeup
[72846.290000] IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready
отключил питание роутера
[72861.580000] IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[72861.600000] smsc95xx 1-1.1:1.0 eth0: link up, 100Mbps, full-duplex,
[72881.690000] smsc95xx 1-1.1:1.0 eth0: link down
[72883.360000] smsc95xx 1-1.1:1.0 eth0: link up, 100Mbps, full-duplex, lpa 0x45E1
^C
роутер стартовал, но WB стал не доступен через веб морду и ssh
далее вывод ifconfig
root@wirenboard:~# ifconfig
eth0 Link encap:Ethernet HWaddr 00:86:41:00:bb:37
inet6 addr: fe80::286:41ff:fe00:bb37/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:276607 errors:0 dropped:31 overruns:0 frame:0
TX packets:266766 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:14905575 (14.2 MiB) TX bytes:30873597 (29.4 MiB)

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:1878735 errors:0 dropped:0 overruns:0 frame:0
TX packets:1878735 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:152627513 (145.5 MiB) TX bytes:152627513 (145.5 MiB)
lpa 0x45E1

после ручного рестарта, сеть появляется.
root@wirenboard:~# /etc/init.d/networking restart
Running /etc/init.d/networking restart is deprecated because it may not re-enable some interfaces …[73271.930000] w1_slave_driver 28-00043c91baff: Read failed CRC check
(warning).
Reconfiguring network interfaces…SIOCSIFHWADDR: Device or resource busy - you may need to down the interface
udhcpc: option -h NAME is deprecated, use -x hostname:NAME
udhcpc (v1.20.2) started
Sending discover…
Sending select for 192.168.1.29…
Lease of 192.168.1.29 obtained, lease time 86400
/etc/udhcpc/default.script: Resetting default routes
SIOCDELRT: No such process
/etc/udhcpc/default.script: Adding DNS 192.168.1.1
done.

повторяем на динамичесокм ip
[73359.550000] smsc95xx 1-1.1:1.0 eth0: link down
[73360.140000] smsc95xx 1-1.1:1.0 eth0: hardware isn’t capable of remote wakeup
[73360.520000] smsc95xx 1-1.1:1.0 eth0: hardware isn’t capable of remote wakeup
[73360.530000] IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready
[73368.830000] IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[73368.850000] smsc95xx 1-1.1:1.0 eth0: link up, 100Mbps, full-duplex, lpa 0x45E1
[73388.740000] smsc95xx 1-1.1:1.0 eth0: link down
[73390.400000] smsc95xx 1-1.1:1.0 eth0: link up, 100Mbps, full-duplex, lpa 0x45E1
wb недоступен!

ifdown eth0
ifdown: interface eth0 not configured
root@wirenboard:~# ifconfig
eth0 Link encap:Ethernet HWaddr 00:86:41:00:bb:37
inet6 addr: fe80::286:41ff:fe00:bb37/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:278910 errors:0 dropped:35 overruns:0 frame:0
TX packets:267671 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:15058659 (14.3 MiB) TX bytes:30984051 (29.5 MiB)

далее опять рестартим сеть, в логу роутера отображается запрос на адрес

Sep 6 19:18:52 tomato daemon.info dnsmasq-dhcp[1155]: DHCPDISCOVER(br0) 00:86:41:00:bb:37
Sep 6 19:18:52 tomato daemon.info dnsmasq-dhcp[1155]: DHCPOFFER(br0) 192.168.1.29 00:86:41:00:bb:37
Sep 6 19:18:52 tomato daemon.info dnsmasq-dhcp[1155]: DHCPREQUEST(br0) 192.168.1.29 00:86:41:00:bb:37
Sep 6 19:18:52 tomato daemon.info dnsmasq-dhcp[1155]: DHCPACK(br0) 192.168.1.29 00:86:41:00:bb:37 WirenBoard

на статике из двух попыток не было проблемы

Угу, понятно тогда. Судя по логам, роутер при старте поднимает линк, потом опускает, потом снова поднимает. Бывают такие кривые прошивки.
От этого видимо сходит с ума связка netplugd + udhcpc, причём с большой вероятностью первый. Исправлять - никак. Вот в ubuntu это исправили написанием NetworkManager, но мы его по очевидным причинам перетянуть в Wiren Board не можем.
В общем обходить это нужно статикой, сменой роутера, либо можно попытаться пошаманить со скриптами netplugd. Мы, по крайней мере пока, на это тратить ресурсы не будем, т.к. ситуация редкая.

Тогда стоит это пометить в wiki, что бы владельцы роутеров это учитывали.

Проверка на влияние Wi-FI прошла успешно – 16 дней аптайма, после ifconfig wlan0 down CLI не отваливается. Пользуюсь проводным интерфейсом. Я не менял настроек Wi-Fi – устройство было сконфигурирован как точка доступа по умолчанию. Как в этом случае можно исправить ситуацию, чтобы Wi-Fi не мешал работе устройства? Про кривые драйверы в курсе.

12 дней работает нормально. Изменение на статический адрес помогло!

Добрый вечер.
Обновил до последней версии wb-mqtt-homeui, на установке остальных пакетов повисла консоль.
Если пытаться подключиться к WB, то никаких ошибок не выдает, но при этом не подключается.
Подцепился UART кабелем, но там тоже тишина, просто черный экран без сообщений, подключение правильное.
Не успел настроиться вот этот пакет libldap-2.4-2:armel (2.4.31-2+deb7u1), передним была установка tzdata.