Развертывание ИИ на основе периферии с помощью Kria SoM

Одна из важнейших технологий, лежащих в основе Индустрии 4.0, - это возможность реализовать логический вывод машинного обучения на периферии. В зависимости от потребностей приложения логический вывод машинного обучения может анализировать телеметрию для моделирования профилактического обслуживания, чтобы предотвратить ситуацию остановки линии. В качестве альтернативы приложение может проверять изготовленные или упакованные товары на производственной линии.

Для возможности визуального осмотра изделий на производственной линии требуется высокопроизводительная система, способная запускать алгоритмы обработки изображений и машинного обучения с высокой частотой кадров (> 30 кадров в секунду). Возможность реализовать решение, способное выполнять такую ​​обработку, также требует значительных затрат. Здесь могут помочь такие продукты, как система на модуле (SoM) Xilinx ® Kria ™ K26 и стартовый комплект KV260 Vision AI от Xilinx.

Xilinx ® Kria ™ K26 SoM и его KV260 Зрение AI Starter Kit позволит быстро создавать прототипы видения и алгоритмов искусственного интеллекта. Kria K26 SoM предоставляет инженерам-разработчикам высокопроизводительную гетерогенную систему, сочетающую в себе как высокопроизводительные процессоры Arm ® , так и передовую программируемую логику. Эта комбинация позволяет оптимально реализовать приложения либо в системе обработки, либо в программируемой логике. Результатом этого объединения является решение на базе периферии, которое предлагает гибкое, детерминированное и энергоэффективное решение.

Kria отличается от традиционных предложений Xilinx тем, что поставляется как SoM. SoM объединяет не только интегральную схему, но также включает в себя необходимую вспомогательную энергозависимую и энергонезависимую память, часы и источники питания. Kria K26 SoM состоит из SoC (XCK26) вместе с памятью DDR4 4 ГБ, eMMC 16 ГБ, QSPI 512 МБ, модулем безопасности TPM и необходимой инфраструктурой питания . Двойные 240-контактные разъемы, которые обеспечивают 245 входов / выходов, упрощают взаимодействие с вашим приложением.

Чтобы помочь инженерам-конструкторам начать работу и приступить к работе, Xilinx предлагает стартовый комплект Kria KV260 Vision AI . Стартовый комплект Kria KV260 Vision AI включает несущую карту для SoM, которая предоставляет следующие интерфейсы:

3 интерфейса MIPI

USB 3

HDMI

Дисплейный порт

Гб Ethernet

Pmod

Эти интерфейсы позволяют инженерам-конструкторам создавать сложные ИИ-решения на основе технического зрения. Решения могут поддерживать ряд источников и приемников видео от MIPI до USB-камер и протокол потоковой передачи в реальном времени Ethernet (RTSP), а также традиционные приемники HDMI и DisplayPort.

В этот стартовый набор также входит ряд приложений, которые показывают, насколько легко начать разработку приложений искусственного интеллекта на основе машинного зрения. Эти приложения включают интеллектуальные камеры, которые могут обнаруживать лица; многопотоковое отслеживание и идентификация; обнаружение дефектов; и обработка естественного языка. Одна из приятных особенностей готовой архитектуры Kria - это возможность перекомпилировать другую сеть и заменить примерную сеть.

Инженеры-проектировщики могут использовать Vitis ™ AI для использования широко используемых сред разработки AI, таких как Caffe, TensorFlow и Pytorch. Vitis AI позволяет ускорять алгоритмы логического вывода ИИ как на границе, так и в облаке. Стек технологий Vitis AI поддерживает обычно используемые структуры и предоставляет все необходимое для разработки и развертывания алгоритмов ML / AI на устройствах Xilinx, включая Kria K26 SoM.

В основе стека Vitis AI лежит процессор глубокого обучения Xilinx (DPU), который реализован в программируемой логике и оптимизирован для реализации сверточных нейронных сетей . Его можно использовать для реализации таких сетей, как VGG, ResNet, GoogLeNet, YOLO, SSD, MobileNet и FPN.

Чтобы использовать параллельный характер программируемой логики, DPU запускает сети, которые были квантованы до int-8 с помощью AI Quantizer.

После того, как модель DPU будет реализована в оборудовании, а сеть обучена и скомпилирована с использованием Vitis AI, программное обеспечение может быть разработано с использованием Vitis для создания полного окончательного решения

Пример использования производственного приложения

Давайте подробнее рассмотрим, как Xilinx Kria SoM можно использовать в производственных приложениях. Создание производственного приложения не обязательно требует разработки какой-либо программируемой логики. Однако для этого потребуется разработка программного обеспечения и способность обучать и компилировать новую модель машинного обучения с использованием Vitis AI от Xilinx.

Kria K26 SoM и KV260 Vision Starter Kit идеально подходят для приложений, где требуется быстрая обработка изображений, например для определения того, правильно ли наклеена этикетка на транспортную коробку на производственной линии. В этом примере инженер-конструктор использует SoM Kria K26 для проверки упаковок на производственной линии и правильного определения местоположения этикетки на коробке через сеть Mobilenet. Эту сеть можно обучить на основе набора данных изображений, содержащих как правильные, так и неправильные местоположения меток

После обучения эту сеть можно развернуть на SoM Kria K26 в сочетании с поддержкой Linux GStreamer для проверки пакетов на производственной линии в режиме реального времени. Развернутое приложение может принять соответствующий ответ, если обнаружит поле с неправильной маркировкой.

Заключение

Производственные линии представляют собой динамично развивающуюся среду. Способность обнаруживать производственные дефекты или дефекты упаковки перед отправкой имеет решающее значение для улучшения доставки и удовлетворенности клиентов. Однако автоматизированное контрольно-измерительное оборудование должно обрабатывать и принимать решения без замедления производственной линии. Такие продукты, как Xilinx Kria K26 SoM и Kria KV260 Vision AI Starter Kit, могут помочь.

Инженеры-конструкторы могут использовать стартовый комплект Kria KV260 Vision AI, чтобы быстро приступить к разработке решений для машинного зрения и прототипирования искусственного интеллекта, а также к демонстрации доказательств концепций. SoM Kria K26 обеспечивает переносимость конструкции от концепции, прототипирования до окончательного проектного решения с минимальными необходимыми изменениями, за исключением, возможно, интерфейса с несущей картой.

Стоимость разработки и риски, связанные с созданием встраиваемого системного решения со сложными разнородными ПЛИС, памятью и архитектурами питания, можно снизить с помощью Kria K26 SoM. Комбинируя стек Vitis AI и готовые решения, Kria K26 SoM позволяет команде разработчиков создавать комплексное видение и решения на основе искусственного интеллекта, используя высокопроизводительный характер программируемой логики без необходимости быть программируемой логической схемой. специалист.