RedEye, новая технология от Rice’s Efficient Computing Group, представленная сегодня на конференции Международного симпозиума по компьютерной архитектуре (ISCA 2016) в Сеуле, Южная Корея, может предоставить компьютерам непрерывное зрение — первый шаг к тому, чтобы устройства могли видеть, что они владельцы видят и следят за тем, что им нужно запомнить.«Идея состоит в том, чтобы позволить нашим компьютерам помогать нам, показывая им то, что мы видим в течение дня», — сказал руководитель группы Линь Чжун, профессор электротехники и компьютерной инженерии в Rice и соавтор нового исследования RedEye. «Это как иметь личного помощника, который может вспомнить кого-то, кого вы встретили, где вы их встретили, что они сказали вам, и другую конкретную информацию, такую как цены, даты и время».
Чжун сказал, что RedEye является примером технологии, которую разрабатывает компьютерная индустрия для использования с носимыми, не требующими громкой связи, постоянно включенными устройствами, которые предназначены для поддержки людей в их повседневной жизни. Тенденция, которую иногда называют «повсеместными вычислениями» или «окружающим интеллектом», сосредоточена на технологиях, которые могут распознавать и даже предвидеть то, что кому-то нужно, и сразу же предоставлять это.«Движение повсеместных вычислений предполагает устройства, которые являются личными помощниками, которые помогают нам в большом и малом смысле почти в каждый момент нашей жизни», — сказал Чжун. «Но ключевым фактором, обеспечивающим эту технологию, является оснащение наших устройств так, чтобы они могли видеть то, что мы видим, и слышать то, что мы слышим. Обоняние, вкус и прикосновение могут появиться позже, но зрение и звук будут исходными сенсорными входами».
Чжун сказал, что узким местом для непрерывного зрения является потребление энергии, потому что современные камеры для смартфонов, хотя и относительно недорогие, убивают заряд батареи, особенно когда они обрабатывают видео в реальном времени.Чжун и бывший аспирант Райс Роберт ЛиКамва начали изучать проблему летом 2012 года, когда они работали в исследовательской группе Microsoft Research по мобильности и сетевым технологиям в Редмонде, штат Вашингтон, в сотрудничестве с директором группы и выдающимся ученым Microsoft Виктором Бахлом. ЛиКамва сказал, что команда измерила энергетические профили имеющихся в продаже датчиков изображения и определила, что существующая технология должна быть примерно в 100 раз более энергоэффективной, чтобы непрерывное зрение стало коммерчески жизнеспособным. Это было мотивацией для докторской диссертации ЛиКамВа, которая посвящена программной и аппаратной поддержке эффективного компьютерного зрения.
Год спустя в отмеченной наградами статье LiKamWa, Zhong, Bahl и его коллеги показали, что они могут в десять раз улучшить энергопотребление стандартных датчиков изображения, просто оптимизируя программное обеспечение.«RedEye выросла из этого, потому что нам все еще нужно было еще десятикратное повышение энергоэффективности, и мы знали, что для этого потребуется переработать как аппаратное, так и программное обеспечение», — сказал ЛиКамВа.Он сказал, что энергетическим узким местом является преобразование изображений из аналогового в цифровой формат.«Реальные сигналы являются аналоговыми, и преобразование их в цифровые сигналы требует больших затрат энергии», — сказал он. «Существует физический предел экономии энергии, которую вы можете достичь при таком преобразовании.
Мы решили, что лучшим вариантом может быть анализ сигналов, пока они еще аналоговые».По словам ЛиKamWa, главный недостаток обработки аналоговых сигналов и причина, по которой цифровое преобразование является стандартным первым шагом для большинства систем обработки изображений сегодня, заключается в том, что аналоговые сигналы изначально зашумлены. Чтобы сделать RedEye привлекательным для производителей устройств, команде нужно было продемонстрировать, что он может надежно интерпретировать аналоговые сигналы.
«Нам нужно было показать, что мы можем отличить кошку от собаки, например, или стол от стула», — сказал он.Аспирант Райс Юньхуэй Хоу и студенты Миа Полански и Юань Гао также были членами команды, которая решила решить проблему, используя комбинацию новейших методов машинного обучения, системной архитектуры и схемотехники. В случае машинного обучения RedEye использует технику, называемую «сверточной нейронной сетью», алгоритмической структурой, вдохновленной организацией зрительной коры головного мозга животных.
ЛиКамва сказал, что Хоу принес с собой новые идеи, связанные с проектированием схем системной архитектуры, основанные на предыдущем опыте работы со специализированными процессорами, называемыми аналого-цифровыми преобразователями, в Гонконгском университете науки и технологий.«Мы обменивались идеями относительно архитектуры и проектирования схем, и мы начали понимать возможности выполнения ранней обработки для сбора ключевой информации в аналоговой области», — сказал ЛиКамВа.«Обычные системы извлекают все изображение через аналого-цифровой преобразователь и производят обработку изображения в цифровом файле», — сказал он. «Если вы сможете перенести эту обработку в аналоговую область, тогда у вас будет гораздо меньшая полоса пропускания данных, которую вам нужно будет передать через это узкое место АЦП».ЛиКамва сказал, что сверточные нейронные сети — это современный способ распознавания объектов, и сочетание этих методов с обработкой аналоговой области дает RedEye некоторые уникальные преимущества конфиденциальности.
«В результате мы можем распознавать объекты — например, кошек, собак, ключи, телефоны, компьютеры, лица и т. Д. — даже не глядя на само изображение», — сказал он. «Мы просто смотрим на аналоговый выход датчика технического зрения. У нас есть понимание того, что там, без реального изображения.
Это повышает энергоэффективность, потому что мы можем выбрать оцифровку только тех изображений, на создание которых стоит потратить энергию. также может помочь с последствиями для конфиденциальности, потому что мы можем определить набор правил, по которым система будет автоматически отбрасывать необработанное изображение после того, как оно завершит обработку. Это изображение никогда не будет восстановлено. Итак, если есть время, места или определенные объекты, которые пользователь не делает Мы не хотим записывать — и не хотим, чтобы система запоминала — мы должны разработать механизмы, гарантирующие, что фотографии этих вещей никогда не будут созданы ».Чжун сказал, что исследования RedEye продолжаются.
Он сказал, что команда работает над компоновкой схемы для архитектуры RedEye, которую можно использовать для тестирования проблем компоновки, несоответствия компонентов, перекрестных помех сигналов и других проблем с оборудованием. По его словам, также ведется работа по повышению производительности в условиях низкой освещенности и других условиях с низким отношением сигнал / шум.