Давайте немного уточним. Вдруг первоначальный вопрос не так мной понят.
Здесь подразумеваете, что к контроллеру будут подключены устройства с “отличным от стандартного modbus протоколом”? Если да, то я верно вас понял.
Я думаю, немного не так. Так было б, если протокол уже описан в драйвере wb-mqtt-serial.
А если протокола нет, то писать самим. Посмотрите пример реализации на wb-rules Шаблон для электрокарниза - #6 от пользователя BrainRoot