Pixy CMUcam5 Камера компьютерного зрения

Технические характеристики

• Процессор: двухядерный 32-битный NXP LPC4330 на базе ARM Cortex-M4 и ARM Cortex-M0
• Тактовая частота: 204 МГц
• Питание: 5 вольт от USB, 6-10 вольт от внешнего источника
• Потребляемый ток: 140 мА
• RAM-память: 264 Кбайт
• Flash-память: 1 МБайт
• Датчик изображения: Omnivision OV9715, матрица 1/4", разрешение до 1280х800 точек
• Угол обзора: 75 градусов по горизонтали, 47 градусов по вертикали
• Тип линзы: стандартная М12
• Поддержка языков: C/C++  и Python
• Интерфейсы вывода данных: последовательный UART, SPI, I2C, USB, цифровой, аналоговый
• Встроенный источник освещения, яркость примерно 20 люменов
• Размеры: 53 х 51 х 35 мм
• Вес: 27 гр
• Модель: Pixy R1.3

Руководство по началу работы

Самое подробное руководство по всем продуктам PixyCam вы найдёте в нашем разделе "PIXYCAM документация" (в разработке*). Репозиторий содержит в себе всю необходимую документацию по подключению Pixy к разным микроконтроллерам и взаимодействию. В информационном разделе расположены инструкции по предварительной настройке вашего компьютера для разных ОС, по установке совместимого ПО, требуемого для написания пользовательского кода, большое количество примеров программ, советы по устранению неполадок и многое другое.

Как появилась Pixy

Появление Pixy CMUcam5 обусловлено совместной дружбой между Институтом робототехники им. Карнеги-Меллона (Carnegie Mellon Robotics Institute) и научно-технической лабораторией Charmed Labs. Pixy принадлежит к длинной линейке разнообразных моделей камер семейства CMUcam, её реальная разработка началась с компании на Кикстартер. Успех во всём мире пришёл к Pixy в марте 2013 года. И по сей день, эта платформа находится на волне самых популярных систем машинного зрения в истории! Финансирование Pixy осуществляется исключительно через продажи, поэтому разработчики благодарят своих покупателей за помощь в поддержке Pixy.

Что на обратной стороне Pixy?

Зрение как сенсор

Если вы хотите, чтобы ваш робот выполнял такие задачи, как взятие предмета, преследование за мячом, поиск зарядной станции и т.д., и вы ищете полноценное устройство, способное помочь в осуществлении всех поставленных целей, тогда зрение — это ваш сенсор. Датчики зрения (изображения) крайне полезны, потому что они очень гибкие. При правильном алгоритме, датчик изображения может воспринимать или обнаруживать практические всё, что угодно. Стоит понимать, что сами датчики изображений имеют пару недостатков. Во первых, они выдают сразу много данных, измеряемых мегабайтами в секунду. Во вторых, обработка огромного количества данных может перегружать большинство процессоров. Если же процессор успевает обрабатывать данные, то большая часть его вычислительной мощности будет не доступна для других задач.

Pixy помогает решить подобные проблемы, так как объединяет в своей конструкции датчик изображения и выделенный процессор, передавая на ваш контроллер только полезную информацию (например, фиолетовый динозавр, обнаруженный по координатам x=54 и y=103). И делает это с частотой до 50 кадров в секунду. Передаваемая информация доступна из нескольких интерфейсов: последовательный UART, SPI, I2C, USB или цифровой/аналоговый выход. Таким образом, ваш Ардуино или другой микроконтроллер способен легко общаться с Pixy, и иметь при этом достаточно свободных процессорных ресурсов для других задач.

К вашему микроконтроллеру можно одновременно подцепить до нескольких камер Pixy — например, робот с четырьмя камерами, обозревающий пространство вокруг себя на 360 градусов. Или использовать Pixy без микроконтроллера, самостоятельно управляя переключателями или сервомоторами при определённом событии.

Основные преимущества

• Небольшая, быстрая, простая в использовании, недорогая, легкодоступная система технического зрения
• Способна определять предметы, которым вы её учите
• Выводит информацию о том, что обнаруживает 50 раз в секунду
• Подключается к Arduino с помощью прилагаемого кабеля, также работает с Raspberry Pi, BeagleBone и аналогичными контроллерами
• В репозитории Pixy располагаются все библиотеки для Arduino, Raspberry Pi и др.
• Инструмент конфигурирования Pixy работает на Windows, MacOS и Linux
• Всё пользовательское/фирменное программное обеспечение имеет открытый исходный код по лицензии GNU
• Вся документация по аппаратной части, включая схемы, спецификации, разводка печатных плат и т.д, доступны в репозитории Pixy

• Поддержка контроллеров

  Pixy легко подключаться ко множеству популярных микроконтроллеров, для этих целей она оснащена различными вариантами интерфейсов: последовательный UART, SPI, I2C, USB или аналоговый/цифровой выход. Первый опыт в коммуникации Pixy получила от общения с модулями Ардуино. Разработчиками Pixy добавлена поддержка Arduino Due, Raspberry Pi и BeagleBone Black. Для всех вышеперечисленных платформ предоставляются готовые библиотеки программного обеспечения, поэтому вы можете быстро приступить к работе с ней. Кроме того, в модель Pixy был включён программный интерфейс языка Python, если предполагается использование контроллеров на основе Linux.

  Фиолетовые динозавры (и другие вещи)

  Определение объектов в Pixy реализовано на основе алгоритма цветовой фильтрации. Подобные методы популярны, эффективны и достаточно надёжны. Большинство из нас знакомы с аббревиатурой "RBG" (красный, зелёный и синий), применяемой в представлении цветов. Pixy рассчитывает цвет (оттенок) и насыщенность каждого пикселя RGB, передаваемые датчиком изображения, после чего использует полученные параметры в качестве основы при выполнении алгоритма фильтрации. Цветовой оттенок объекта в значительной степени остаётся неизменным при изменяемых освещении и экспозиции. Алгоритм фильтрации Pixy надёжен в тех случая, когда речь идёт об возможных изменениях освещения и экспозиции, способных негативно повлиять на метод определения в аналогичных устройствах.

  Цветовые метки
  

  Pixy запоминает до семи различных цветовых меток. У алгоритма цветной фильтрации Pixy не возникнет проблем с идентификацией объектов, имеющие уникальные цветовые метки. В тех случаях, когда требуется распознавать более семи предметов, применяются цветовые коды (см. ниже).

  Сотни объектов

  Ваша камера компьютерного зрения, в буквальном смысле, может обнаружить одновременно сотни объектов. Определение положения каждого предмета в пространстве основано на алгоритме связанных компонентов, помогающий Pixy понимать, где один объект начинается, а другой заканчивается. Затем, Pixy компилирует размеры и местоположения каждого объекта, и передаёт данные о них через один из интерфейсов (например, SPI).

  50 кадров в секунду

  Что подразумевается под понятием "50 кадров секунду"? Говоря коротко, Pixy достаточно быстро успевает обрабатывать каждый кадр изображения в разрешении 640х400, на один такой кадр тратится всего 1/50 секунды (20 миллисекунд). Вы получаете обновлённую информацию о новом положении обнаруженных объектов каждые 20 миллисекунд. При такой скорости, становиться возможным отслеживание траектории прыгающего мяча. Например мяч, двигающийся со скорость около 30 миль (приблизительно 48 км) в час, перемещается на расстояние менее 1 фута (30,5 см) за 20 миллисекунд.

  Как научить Pixy распознавать определённые предметы

  Уникальность Pixy заключается в абсолютно простом методе запоминания интересующих вас объектов. Фиолетовый динозавр? Поместите динозавра перед камерой Pixy и нажмите кнопку. Оранжевый мяч? Поместите мяч перед камерой Pixy и нажмите кнопку. Как видите, ничего сложного.

  Говоря более конкретно, вы обучаете Pixy простым удерживанием объекта перед объективом камеры, одновременно нажимая расположенную сверху кнопку. Находящийся под объективом RGB светодиод отображает цвет объекта, на который смотрит камера. Например, светодиод становится оранжевым, когда перед Pixy размещается оранжевый шарик. Отпустите кнопку, и Pixy создаст статическую модель цветов, содержащихся в объекте, после чего сохранит модель в своей флеш-памяти. С этого момента, модель будет задействована в поиске объектов с аналогичным цветовыми идентификаторами.

  Pixy способна запоминать до семи цветовых идентификаторов, пронумерованных 1-7. По умолчанию, цветовому идентификатору присваивается номер 1. Запоминание других цветовых идентификаторов (2-7) выполняется простой последовательностью нажатий кнопок.

  PixyMon покажет вам, что видит Pixy

  PixyMon — удобное пользовательское приложение, совместимое с ОС Windows, MacOs и Linux. Оно позволяет вам видеть всё, что видит объектив камеры Pixy. Отображаемое в реальном времени, изображение выводится на экран в виде необработанного или обработанного видео. Оно помогает правильно настраивать Pixy, устанавливать порт вывода данных и управлять цветовыми идентификаторами. PixyMon связывается с Pixy через стандартный кабель mini-USB.

  PixyMon отлично подходит для отладки вашего проекта. Когда Pixy соединена с Arduino или другим микроконтроллером, вы можете подключить USB-кабель к обратной стороне Pixy и запустить PixyMon для вывода изображения на экран, чтобы понимать происходящее. При этом не нужно ничего отключать от микроконтроллера.

  Приложение PixyMon распространяется с открытым исходным кодом, как и все остальное ПО.