SmartCamera¶
SmartCamera подключает камеры к ROS 2 и даёт веб-интерфейс для просмотра, записи, калибровки и распознавания. Через один сервер можно работать с обычными USB-камерами, Intel RealSense и изображениями, которые уже публикует другой ROS-узел.
В этом руководстве установка разобрана с первого запуска. Для действий в браузере указаны названия разделов и кнопок. Команды терминала можно скопировать кнопкой в правом верхнем углу блока.
Страница «Обзор»: состояние компьютера, ROS 2, подключённых камер и версии библиотек.
С чего начать¶
| Что нужно сделать | Где описано |
|---|---|
| Установить проект на новый компьютер | Установка через CLI |
| Увидеть первый кадр | Первый запуск |
| Подключить USB-камеру, RealSense или ROS-топик | Камеры |
| Записать снимки, видео или ROS bag | Запись и материалы |
| Распечатать мишень и определить параметры объектива | Калибровка камеры |
| Определить положение камеры относительно робота | HandEye |
| Запустить YOLO на видеопотоке | Модели, затем запуск на камере |
| Подготовить свои изображения и обучить модель | Датасеты, обучение |
| Подключить программу на Python или другой ROS-узел | ROS 2, Python-клиент |
Как связаны части программы¶
Драйвер получает изображения с устройства и публикует их в ROS. Веб-сервер подписывается на эти изображения. Браузер получает предпросмотр от веб-сервера, поэтому на компьютере с браузером устанавливать ROS не нужно.
Распознавание выполняется в отдельном процессе Python. У модели есть запись в библиотеке, а у её подключения к камере — собственный запуск с FPS, устройством вычисления и порогами. Одни веса можно использовать на нескольких камерах; каждый такой запуск имеет собственное состояние.
ROS-команды и веб-панель обращаются к одним настройкам. Если модель включена через сервис, она также будет включена в карточке камеры. Закрытие вкладки браузера не выключает сервер, запись или запущенное распознавание.
Что понадобится¶
Рабочая среда проекта — Linux с ROS 2 Jazzy и Python 3.12. Для обычной камеры достаточно CPU; GPU нужен, когда выбранной модели или частоте обработки не хватает производительности процессора. Для просмотра интерфейса используйте современный браузер. Точные зависимости и порядок подключения окружений приведены в установке через CLI.
В примерах адрес сервера — http://127.0.0.1:8000. При подключении с другого
компьютера вместо 127.0.0.1 укажите адрес компьютера, на котором работает SmartCamera.
Пути к устройствам и каталогам относятся к серверу. Например, /dev/video0 —
камера Linux-сервера, а не веб-камера ноутбука, с которого открыт браузер.
Об иллюстрациях¶
Скриншоты сделаны с интерфейса этой версии SmartCamera. Камеры с подписью «пример» показывают синтетическое изображение, а записи модели и датасета подготовлены для демонстрации расположения элементов. Эти изображения не показывают качество работы YOLO или результат реальной калибровки. Числа загрузки компьютера, FPS и идентификаторы в вашей установке будут другими.
В руководстве сохранены названия кнопок из русской версии интерфейса.