Exemplos do Módulo Vision¶

Exemplos funcionais dos drivers de câmera e do processamento de imagem do módulo Vision.

Todos os scripts usam flags de argparse (não --ros-args -p). Rode com python3 <script>.py [flags]. Alguns scripts também são instalados como executáveis ROS 2 (ros2 run nectar <script>.py -- [flags]): camera_example.py, depth_example.py, t265_example.py, collect_photos.py. Use python3 para optical_flow_example.py (não instalado como executável).

Exemplo de Câmera¶

Captura de câmera usando ImageHandler com backends configuráveis.

Uso¶

Rode com a webcam padrão, ou passe qualquer --camera-type de Tipos de Câmera Suportados; adicione --no-show para rodar sem interface.

python3 camera_example.py
python3 camera_example.py --camera-type realsense

Argumentos¶

Tipos de Câmera Suportados¶

Exemplo de Profundidade¶

Demonstra o uso de câmera de profundidade com medição de distância interativa.

Uso¶

Funcionalidades¶

• Exibição RGB: imagem de cor com mira no pixel selecionado
• Colormap de Profundidade: visualização com colormap Plasma (faixa de 0,1 m - 3,0 m)
• Seleção Interativa: clique na imagem de cor para selecionar o ponto de medição
• Exibição de Distância: distância em tempo real, em metros, no pixel selecionado

Controles de Teclado¶

Tracking do T265¶

Pose/odometria da câmera de tracking RealSense T265, pelo SDK direto ou por tópicos ROS.

Roda em modo SDK direto por padrão; veja os argumentos abaixo para o modo ROS e a opção de profundidade.

python3 t265_example.py
python3 t265_example.py --mode ros

Optical Flow¶

Optical flow esparso (Lucas-Kanade) ou denso (Farneback). Com --focal/--altitude também decodifica a taxa angular (rad/s) e a velocidade horizontal (m/s), como o pipeline OPTICAL_FLOW do ArduPilot.

Coleta de Fotos¶

Captura frames em um intervalo configurável e os salva em uma estrutura de diretórios organizada. Útil para construir datasets de treinamento — voe o drone via rádio (RC) ou pela interface do Nectar enquanto este nó grava os frames.

Uso¶

Argumentos¶

Estrutura de Saída¶

~/hook_photos/
├── flight_01_low_alt/
│   ├── frame_00001.jpg
│   ├── frame_00002.jpg
│   └── ...
├── flight_02_high_alt/
│   ├── frame_00001.jpg
│   └── ...
└── 20260416_143022/          # auto-named when run_name is empty
    └── ...

Solução de Problemas¶

Câmera Não Encontrada¶

ValueError: Unknown camera source type: xyz

Verifique os tipos de câmera registrados:

from nectar.vision.camera import CameraFactory

# Registered: webcam, opencv, realsense, t265, oakd, c920, imx219, ros, ros_depth, file

Erro de Importação do RealSense¶

RuntimeError: pyrealsense2 is not installed

Instale o librealsense e o realsense-ros (builda o pyrealsense2 correspondente a partir do código-fonte):

make realsense

# T265 (Humble only): LIBREALSENSE_VERSION=v2.53.1 REALSENSE_ROS_TAG=4.51.1 make realsense

Ou use o modo de tópico ROS (realsense_ros / ros_depth) com o realsense2_camera já em execução.

Erro de Importação do OAK-D¶

ModuleNotFoundError: No module named 'depthai'

Instale o DepthAI:

pip install depthai

FPS Baixo / Frames Perdidos¶

Ajuste as configurações de buffer e threading:

config = OpenCVConfig(
    buffer_size=2,    # Increase if dropping frames
    threaded=True,    # Enable background capture
)

Exibição Não Funciona¶

cv2.error: The function is not implemented

Build headless do OpenCV. Opções:

• Instale opencv-python em vez de opencv-python-headless
• Desabilite a exibição: show_result=None

Dependências¶