Антон, я окончательно запутался. Вот вы, например, сначала пишете про ошибку в 20мс, а потом пишете, что задали куда-то смещение в -0.021. Может это как-то связано?
Предлагаю очень простой эксперимент: сбросить наш контроллер через factory reset к заводской прошивке, настроить строго по инструкции: без сдвигов, других серверов, других конфигов и всего остального. И посмотреть, что будет в выводе ntpq.
В общем, мне от вас нужно, чтобы вы подготовили минимальную конфигурацию, воспроизводящую проблему. И очень чётко сформулировали, в чём, собственно, проявляется проблема. Дальше мы попробуем это понять, разобраться, воспроизвести у себя.