SD-WAN BI.ZONE часть 4 — здесь обсудим процесс онбординга. Как это происходит, детали, какие есть сложности. И прочие связанные моменты.
Забегая вперед скажу, если свести все результаты в одно предложение, то получится:
Гладко было на бумаге, да забыли про овраги.
Версия 1.4 таки вышла, но обещанного функционала VRRP там нет. По слухам VRRP будет "нечестный", связность можно установить только между CPEs, а с другим оборудованием нельзя.
Помимо этого из-за незнания допустил в первой части ряд ошибок (уже исправил). На этих моментах буду заострять внимание.
Подготовка настроек для CPE
Все операции выполняются в GUI контроллера.
Сайт
Сначала идём в Geography - Cites и заводим там новый сайт:
Далее жмакаем Geo location:
В строке можно ввести координаты, но не ищет. И так пробовал, и сяк (подключение к нету у контроллера ессно есть). Поэтому только Choose on map, выбрать точку на карте, тогда загорится кнопка Save.
CPE
Теперь идём Networking - Edge CPEs и заводим новую шпешку:
Нужно задать имя, привязать к сайту, тип (HUB/SPOKE), указать модель устройства. Для определённости выбираю HUB, модель SDWAN-CPE500-4T4XS (из выпадающего списка). Это высокоуровневая CPE с четырьмя 10-гигабитными портами.
Последний шаг тут — настройка параметров WAN каналов. Выбираю следующие параметры:
- WAN1 адрес CPE 10.1.0.10/28, GW 10.1.0.1
- WAN2 адрес CPE 10.2.0.10/28, GW 10.2.0.1
После чего CPE можно сохранять. Сразу откроется дашборда сохранённого CPE:
Здесь можно и нужно отредактировать остальные параметры. На закладке General уже всё заполнили. Вкладка Networking:
Тут тыкаем в WAN1 и проваливаемся в низлежащее меню. Здесь интересуют вкладки Ports mapping и Routing (на вкладке General уже введённая нами информация).
Ports Mapping
По умолчанию Port 1 и Port 2 привязаны к WAN1 и WAN2 соответственно. А остальные порты привязаны к LAN:
У нас первые четыре порта 10-гигабитники. Такая мощь никогда не понадобится для WAN трафика, поэтому нужно привязать ваны к гигабитным портам. Это медные порты 5 - 8. Но для этого сначала их необходимо отвязать от LAN. Для этого возвращаемся в вышележащее меню, проваливаемся в настройки LAN, отвязываем порты. Настройка портов LAN вообще не важна на этапе онбординга. Задача чтобы CPE достучалось до контроллера. И тут первый момент, который обещал подсветить:
Любой логический интерфейс WAN1/WAN2/LAN можно привязать к любому физическому порту.
Сделали. Теперь закладка Routing для WAN1. Тут необходимо добавить маршруты, чтобы CPE со своего WAN1 смогла приконнектиться к контроллеру:
Адрес 10.1.0.9 — это адрес роутера, за которым контроллер. На вкладке Bandwidth задаём ширину канала нашего WAN1. Этот параметр при кажущейся простоте влияет на прохождения трафика, в частности на балансировку по WAN каналам (подробнее в пятой части).
Всё. Теперь те же операции надо повторить для WAN2.
ZTP
Готово. Идём на закладку General для CPE. Нажимаем Get provision link. С этого момента CPE переходит в режим Readonly. Чтобы вернуться к настройкам, нужно здесь же на закладке General нажать Revert to edit config. Прикол в том, что возможно это только из под встроенного админа. Удалить такую CPE ессно тоже.
Получаем длинную шифрованную ссылку для Zero-Touch Provisioning (ZTP):
Версия 4 BCMP нерабочая для версии 1.4 контроллера (проверял). Подсвечиваю второй момент:
CPE не стягивает настройки с контроллера (как изначально ошибочно предполагал). Абсолютно все настройки, которые мы сделали, находятся в этой строке.
И тут у нас есть две возможности:
One-click CPE activation, без вывода какой-либо информации со стороны CPE;Verify settings on CPE before activation(по умолчанию), соответственно с выводом настроек для проверки.
Делаем с проверкой настроек. Берём ссылку, топаем к железке.
Процесс активации
Как уже сказал, с завода порты 3 - 8 назначены для LAN. Там работает DHCP, а у самой железки адрес 192.168.2.1/24. Подтыкаемся ноутбуком в LAN порт и проверяем доступность 192.168.2.1. У меня такая доступность была через раз. То адрес выдаётся, то нет. И пару раз маска была 16. Вот такой прикол.
Если всё норм, 192.168.2.1 пингуется, а в браузере по адресу http://192.168.2.1 картинка:
Дальше вставляем туда нашу ссылку. Если опять же всё нормально, будет выведена страница настроек и кнопка Activate. Cмело жмакаем.
Вроде бы, если активация не завершилась успешно в течение некоторого времени, CPE переходит снова в pre provision. Так это на самом деле или нет и какова величина таймаута, сказать не могу.
Траблы
Куда же без них. Про DHCP рассказал. Ещё 10-гигабитные SFP модули (те что у меня были) отказались работать в портах 3 - 4, а в портах 1 - 2 работали. Хотя все порты 1 - 4 по спецификации 10-гигабитные.
При вставленных SFP модулях и переходу по ссылке провижининга получил Fetching Error. Большая красная блямба. Только один раз и только на одной цпешке. На второй в такой же позиции всё было ok. Вынул модули, сбросил CPE на дефолт, страница настроек и активации загрузилась.
Активация
Потратил где-то часов 7 и ни одну из двух цпешек не смог активировать. Да, вот такой бедолага. 🙂 Не боюсь говорить о неудачах, потому что уверен в окончательной победе.
Рассказываю, на самом деле для WAN1/WAN2 наметили порты 3 - 4. Это не я придумал, так запланировали. Если вставляешь SFP на медь, то со стороны коммутатора порты в апе, со стороны CPE без индикации. И MAC адреса на коммутатор не прилетают. Если SFP на оптику, со стороны CPE порты радостно мигают, со стороны коммутатора порты в дауне. Пробовал разные LX, SX, бегал патчкорды искал.. Картина не меняется. С десяток раз сбрасывал CPE на заводские. Сзади там есть утопленная кнопка, зажимаешь буквально на 10 сек, кнопка включения краснеет, БП начинают мигать. Ресет на завод прошёл значит. Ничего не помогает.
Рекомендации BI.ZONE:
- Подключиться к CPE консольным кабелем, зайти в cli (логин
admin, пароль по умолчаниюbi.zone) и сбросить конфигурацию CPE, выполнив последовательно команды:
request factory-reset request reboot
- На контроллере удалить CPE и дождаться успешного завершения процесса удаления;
- На контроллере создать CPE заново;
- Активировать CPE.
Скорость консоли 115200, дополнительное есть полезная команда help. Пока не пробовал. Также предварительно попробую переделать WAN1/WAN2 на медные порты.
Ещё момент, говорил, повторю. Для связности железки и контроллера на железку должны быть предварительно загружены ключи. Иначе железка не сможет расшифровать ссылку. При сбросе железки (любом) ключи не страдают.
Мониторинг CPEs
Производится на карте в главной дашборде контроллера (начальная страница) и в дашборде CPE. Красный цвет — CPE offline, зелёный online. Задумка хорошая. Что с реализацией?
Выглядит примерно так:
Когда на сайте одно CPE, вопросов нет. Если же на сайт (а локация именно по сайту) привязывается несколько, то цпешки сольются в один значок синего цвета с указанием количества CPEs. Можно сколько угодно приближать карту, один значок. Нажимаешь на него, всплывает окошко уже со статусом и названием CPEs. Такое..
Update 26.06.23
Последняя инфа следующая:
- SFP на медь всё-таки не работают с железками (по крайней мере с 500 моделью);
Поэтому на второй цпешке пришлось перенести WAN1/WAN2 на медные порты 5 - 6. И всё завелось (как и предполагал). Так сделано по причине того, что со стороны коммутатора не осталось свободных портов под оптику.
Далее пришёл босс и разрулил остальное:
- Порты 3 - 4 для 500 модели только гигабитные SFP;
На других площадках ситуация аналогичная. Думаю не аппаратное ограничение платформы железки. Что заказали, то и сделали. Скорее это баг текущей версии прошивки (1.4.0-4685, она бьёт с версией контроллера).
- Для SFP на оптику необходимо со стороны коммутатора на порту прописать:
speed nonegotiate
Доступно на пустом порту либо при вставленном SFP (на оптику). Если вставлен модуль на медь, то команда отсутствует. После прописывания CISCO SX заработали на первой цпешке, SNR LX так и не подожглись.
Результаты онбординга
По завершении успешного онбординга железка поднимает управляющие (WGC) и дата туннели (WGD). Выглядит так:
Сразу два управляющих туннеля не нужно, достаточно через основной канал (WAN1 считается основным). А вот дата через оба канала. Если WAN1 ляжет, то DIA и WGC поднимутся через WAN2.
Заключение
Фото железки из первых рук (пятисотая модель внешне точно такая же):
Приглашаю поделиться мнением в Tелеграм канал