Наш мозг также намного лучше компьютеров справляется с такими задачами, как распознавание изображений и навигация в незнакомых местах. Хотя точный механизм, с помощью которого наш мозг выполняет эти задачи, до сих пор неизвестен, мы знаем, что визуальная информация обрабатывается параллельно и согласованно миллионами нейронов, связанных синапсами. Каждый нейрон реагирует на визуальные стимулы просто, по требованию, но их коллективные ответы могут дать когнитивный результат, который в настоящее время не может быть легко описан простой математической моделью. Эти модели, по сути, являются основой современного программного обеспечения для обработки изображений, выполняемого в традиционных вычислительных системах.
Все вычислительные системы с 1940-х годов — от смартфонов до суперкомпьютеров — были построены по одной и той же схеме, называемой архитектурой фон Неймана, которая опирается на математические модели для выполнения линейных последовательностей инструкций.Дизайн фон Неймана также привел вычисления к нынешним пределам эффективности и охлаждения. По мере того, как инженеры создавали все более сложные микросхемы для более быстрого и быстрого выполнения последовательных операций, более быстрые микросхемы также производили больше отходящего тепла.
Осознавая, что современные вычисления не могут продолжаться по этой траектории, ряд компаний обращаются к мозгу в поисках вдохновения и разрабатывают «нейроморфные» чипы, которые обрабатывают данные так, как это делает наш разум. Одной из таких технологий является нейросинаптическая система TrueNorth от IBM.
Хотя нейроморфные вычисления все еще находятся в зачаточном состоянии, исследователи из отдела вычислительных исследований (CRD) Национальной лаборатории Лоуренса Беркли Министерства энергетики США (Лаборатория Беркли) надеются, что эти крошечные маломощные вычислительные системы, вдохновленные мозгом, могут однажды помочь решить некоторые проблемы науки с большими данными. При финансовой поддержке программы лабораторных исследований и разработок (LDRD) две группы исследователей изучают, как наука может извлечь выгоду из этой новой технологии.Одна группа исследователей CRD изучает, как нейроморфные чипы могут обеспечить маломощную обработку данных в реальном времени для отслеживания заряженных частиц в экспериментах по физике высоких энергий и прогнозирования движения на основе нейронных сигналов для интерфейсов мозга и машины. Поэтому они работают над внедрением фильтров Калмана на чипах TrueNorth, эффективно расширяя использование этой нейроморфной технологии для решения любых вычислительных задач, получающих выгоду от непрерывного отслеживания или контроля в реальном времени.
Между тем, другое сотрудничество исследователей из CRD и отдела молекулярной биофизики и интегрированного биоимиджинга (MBIB) рассмотрело возможность применения сверточных нейронных сетей (CNN) на IBM TrueNorth для классификации изображений и извлечения характеристик из экспериментальных наблюдений, созданных на объектах DOE. Основываясь на своих первоначальных результатах, команда в настоящее время работает над выявлением проблем в областях структурной биологии, материаловедения и космологии, которым эта установка может принести пользу.«Область нейроморфных вычислений является очень новой, поэтому трудно однозначно сказать, выиграет ли она от нее.
Но с точки зрения физики элементарных частиц идея крошечного процессора, который является автономным и бесконечно воспроизводимым, очень захватывающая, "говорит Паоло Калафиура, программист вычислительный менеджер для эксперимента ATLAS на Большом адронном коллайдере и ученый CRD.Он добавляет: «По той или иной причине — будь то ввод / вывод (ввод / вывод), ЦП (компьютерный процессор) или память — каждая вычислительная платформа, с которой мы сталкивались до сих пор, не могла масштабироваться. для удовлетворения наших потребностей в обработке данных.
Но если вы сможете воспроизвести ту же крошечную единицу обработки 10 миллионов или более раз, как это делают нейроморфные вычисления, и найти правильный баланс между потребляемой мощностью и скоростью обработки, это звучит так, как будто это будет соответствовать нашим потребности ".Почему нейроморфные вычисления?
В традиционном дизайне фон Неймана компьютеры состоят в основном из двух компонентов: ЦП, который обрабатывает данные, и оперативной памяти (ОЗУ), в которой хранятся данные и инструкции о том, что с ними делать. ЦП извлекает свою первую инструкцию из памяти, а затем данные, необходимые для ее выполнения.
После выполнения инструкции результат отправляется обратно в память, и цикл повторяется.Вместо того, чтобы переключаться между процессором и памятью, чип TrueNorth представляет собой автономную вычислительную систему, в которой размещены блоки обработки и память. Каждый чип содержит 4096 нейросинаптических ядер, которые содержат 1 миллион программируемых нейронов и 256 миллионов конфигурируемых синапсов, связанных между собой внутренней сетью.
Нейроны передают, принимают и накапливают сигналы, известные как шипы. Нейрон производит всплеск всякий раз, когда накопленные входные данные достигают запрограммированного порога активации.
Они взвешиваются и перенаправляются синапсами, которые соединяют разные слои нейронов для сопоставления ввода и вывода.Чипы TrueNorth изначально размещаются в двух измерениях, используя внутреннюю сеть, что позволяет системе легко масштабироваться до любого размера.
Поскольку синапсы выполняют двойную функцию — памяти и ЦП, нейроморфные чипы заключают в себе большую вычислительную мощность на крошечной площади и потребляют значительно меньше энергии. Например, TrueNorth потребляет около 70 милливатт электроэнергии во время работы и имеет удельную мощность 20 милливатт на квадратный сантиметр — почти 1/10 000 мощности большинства современных микропроцессоров.
«Низкое энергопотребление и компактный размер — вот некоторые из причин, по которым мы заинтересованы в нейроморфных вычислениях», — говорит Чао Янг, математик-прикладник из CRD лаборатории Беркли. «Мы ожидаем, что благодаря этим миниатюрным вычислительным системам вскоре научные инструменты станут более интеллектуальными за счет проведения анализа в реальном времени по мере сбора информации детекторами».По словам ученого из CRD Даниэлы Ушизима, включение этих нейроморфных чипов в детекторы может означать огромную экономию вычислений для средств визуализации.
Вместо того, чтобы отправлять необработанные данные непосредственно в хранилище, а затем выяснять после получения, актуальна ли собранная информация, хорошего качества или включает ли она интересующий объект, исследователи могут просто провести это исследование на месте по мере сбора данных.Размер чипов также открывает новые возможности для ношения и протезирования. «В нашей работе над временными рядами мы изучаем потенциал этой технологии для людей, которым имплантированы протезы в мозг для восстановления движений», — говорит Кристофер Бушар, вычислительный нейробиолог из лаборатории Беркли. «Несмотря на то, что современные суперкомпьютеры являются мощными, для кого-то нереально использовать их в повседневной жизни.
Но если у вас есть те же вычислительные возможности, упакованные во что-то размером с почтовую марку, это открывает целый ряд новых возможностей».Перевод научных методов: от фон Неймана к нейроморфнымПоскольку нейроморфные чипы сильно отличаются от сегодняшних микропроцессоров, первым шагом для обоих проектов является перевод научных методов, разработанных для современных компьютеров, в основу для архитектуры TrueNorth.
Вот более подробный взгляд на эти два проекта.Физика элементарных частиц и интерфейс мозг-машина
Соруководители: Кристофер Бушар и Паоло КалафиураВ экспериментах по физике элементарных частиц исследователи разбивают пучки протонов в центре детекторов и измеряют энергию и импульс убегающих частиц. Отслеживая траекторию выхода материала с помощью алгоритмов, называемых фильтрами Калмана, физики могут сделать вывод о существовании массивных частиц, которые были созданы или распались сразу после столкновения.Фильтры Калмана по сути являются оптимальными оценками.
Они могут относительно точно вывести представляющие интерес структуры на основе серии измерений, выполненных с течением времени в сложных условиях, которые производят данные со статистическим шумом и другими неточностями. Поскольку эти алгоритмы рекурсивны, новые измерения могут обрабатываться в реальном времени, что делает их удобными для онлайн-обработки. Помимо физики элементарных частиц, фильтры Калмана также широко используются для навигации, обработки сигналов и даже моделирования управления движением центральной нервной системы.В настоящее время Бушар и Калафиура работают над созданием своей научной основы на архитектуре TrueNorth.
Они реализовали фильтры Калмана с использованием языка программирования IBM TrueNorth Corelet и исследовали сильные и слабые стороны различных схем перекодирования TrueNorth, которые преобразуют входящие данные в пики. После полного тестирования этот фильтр Калмана TrueNorth будет широко применим к любой исследовательской группе, заинтересованной в последовательной обработке данных с архитектурой TrueNorth.«Поскольку эти схемы перекодирования имеют разные сильные и слабые стороны, будет важно изучить, как схема перекодирования влияет на производительность в разных областях.
Возможность переводить любой входной поток в пики будет широко применима к любой исследовательской группе, заинтересованной в экспериментах с Архитектура TrueNorth », — говорит Калафиура.«Интерфейсы мозг-машина (ИМТ) для восстановления утраченных поведенческих функций влекут за собой запись сигналов мозга и их преобразование для конкретной задачи. Вычисления, необходимые для ИМТ, должны выполняться в режиме реального времени, поскольку задержки могут вызвать нестабильность в системе», — говорит Бушар. . «Сегодня большинство современных ИМТ используют некоторые вариации фильтра Калмана для преобразования наблюдаемых сигналов мозга в предсказание предполагаемого поведения».
После того, как команда успешно настроит свой рабочий процесс на TrueNorth, они обучат свои фильтры Калмана нейронной сети на реальных нейронных записях, взятых непосредственно с кортикальной поверхности нейрохирургических пациентов, собранных доктором Эдвардом Чангом из Калифорнийского университета в Сан-Франциско. Он состоит из нейронных записей от 100–256 электродов с частотой сигнала ~ 400 Гц, что вполне соответствует ограничениям одной системы TrueNorth.
Команда также обучит свои реализации на данных физики высоких энергий, собранных на Большом адронном коллайдере в Женеве, Швейцария, и камерах обработки времени с жидким аргоном в FermiLab.Анализ изображений и распознавание образовСо-лидеры: Чао Ян, Ник Саутер и Дани Ушизима.Сверточные нейронные сети чрезвычайно полезны для распознавания и классификации изображений.
Фактически, такие компании, как Google и Facebook, используют CNN для идентификации и категоризации лиц, местоположений, животных и т. Д., Используя миллиарды изображений, загружаемых в Интернет каждый день. Пользователи по существу помогают «обучать» эти CNN каждый раз, когда они отмечают местоположение или друга на картинке. CNN учатся на основе этих тегов, поэтому в следующий раз, когда кто-то попытается пометить лицо на загруженном изображении, система может предложить предложения, основанные на том, что было изучено.Поскольку конструкция CNN возникла в результате ранних исследований зрительной коры головного мозга и того, как нейроны передают информацию через сложные клеточные организации, Ян и его коллеги подумали, что этот алгоритм может хорошо подходить для нейроморфных вычислений.
Поэтому они исследовали ряд архитектур CNN, ориентируясь на данные на основе изображений, которые требуют трудоемкого извлечения и классификации признаков. Учитывая широкий интерес лаборатории Беркли к области структурной биологии, материаловедения и космологии, разные ученые собрались вместе, чтобы выбрать подходящие задачи, которые можно эффективно обрабатывать на архитектуре TrueNorth.Рентгеновская кристаллография
В биологии и материаловедении рентгеновская кристаллография — популярный метод определения трехмерной атомной структуры солей, минералов, органических соединений и белков. Когда исследователи касаются кристаллических атомов или молекул рентгеновским лучом, свет рассеивается во многих направлениях. Измеряя углы и интенсивность этих дифрагированных лучей, ученые могут создать трехмерную картину плотности электронов внутри кристаллов.Одним из ключевых шагов в рентгеновской кристаллографии является идентификация изображений с четкими пиками Брэгга, которые по сути являются яркими пятнами, возникающими при конструктивном взаимодействии световых волн.
Ученые обычно сохраняют изображения с пиками Брэгга для дальнейшей обработки и отбрасывают те, которые не имеют этих характеристик. Хотя опытный ученый может легко обнаружить эти особенности, текущее программное обеспечение требует большой ручной настройки, чтобы идентифицировать эти особенности.
Команда Янга предложила использовать набор ранее собранных и помеченных дифракционных изображений, чтобы обучить CNN стать машинным классификатором. Помимо отделения хороших изображений от плохих, CNN также можно использовать для сегментации пятен Брэгга для последующего анализа и индексации.
«Наши детекторы производят изображения со скоростью примерно 133 кадра в секунду, но в настоящее время нашему программному обеспечению требуется две секунды процессорного времени для вычисления ответа. Поэтому одна из наших задач — быстро проанализировать наши данные», — говорит Николас Заутер, структурный биолог из лаборатории молекулярной биологии Беркли. Отдел биофизики и интегрированного биоимиджинга. «Мы можем купить дорогие параллельные вычислительные системы, чтобы соответствовать требованиям обработки, но мы надеемся, что IBM TrueNorth потенциально может предоставить нам способ сэкономить деньги и электроэнергию, установив специальный чип на задней панели детектора, который будет иметь CNN, которая может быстро выполнить ту работу, которую в противном случае сделали бы эти восемь дорогих компьютеров, сидящих в стойке ».
Криоэлектронная микроскопия (КриоЭМ)Чтобы определить трехмерную структуру молекул без предварительной их кристаллизации, исследователи используют метод, называемый криоэлектронной микроскопией (криоЭМ), который включает в себя замораживание большого количества случайно ориентированных и очищенных образцов и их фотографирование с помощью электронов вместо света.
Затем собираются двухмерные проекции случайно ориентированных, но идентичных частиц для создания трехмерной структуры молекулы с близким к атомному разрешению.Поскольку криоЭМ-изображения, как правило, имеют очень низкое отношение сигнал / шум (а это означает, что выделить желаемую особенность на фоне относительно сложно), одним из ключевых шагов в процессе анализа является группировка изображений с похожими видами в тот же класс. Усреднение изображений в пределах одного класса повышает отношение сигнал / шум.
Ян и его товарищи по команде использовали смоделированные проекционные изображения, чтобы обучить CNN классифицировать изображения по различным классам ориентации. Для изображений без шума их классификатор CNN успешно сгруппировал изображения в целых 84 различных класса с более чем 90-процентной вероятностью успеха. Команда также исследовала возможность снижения точности CNN путем ограничения как входных, так и CNN-весов и обнаружила, что надежное прогнозирование может быть сделано, когда входные данные и веса ограничены до 3 или 4 бит. В настоящее время они исследуют надежность этого подхода к зашумленным изображениям.
Малоугловое рассеяние рентгеновских лучей при скользящем падении (GISAXS)Малоугловое рассеяние рентгеновских лучей при скользящем падении (GISAXS) — это метод визуализации, используемый для изучения тонких пленок, которые играют жизненно важную роль в качестве строительных блоков для следующего поколения технологий использования возобновляемых источников энергии. Одной из проблем при построении изображений GISAXS является точное определение кристаллической структуры образца по его двумерной дифракционной картине.В сотрудничестве с ученым по усовершенствованным источникам света (ALS) Алексом Хексемером, Ушизима использовал алгоритмы категоризации для маркировки больших коллекций компьютерных смоделированных изображений, каждое из которых содержит множество кристаллических структур.
Они использовали этот набор данных, чтобы обучить глубокую CNN классифицировать эти изображения по их структурам. Когда они протестировали производительность своего классификатора на нескольких наборах данных, они достигли точности от 83 до 92 процентов в зависимости от количества кристаллических решеток в каждом тестовом примере. Предварительные результаты классификации с использованием реальных изображений указывают на то, что модели, обученные на массовом моделировании, включая реалистичные уровни фонового шума, могут позволить категоризацию экспериментально полученных данных.«Мы считаем, что эти первоначальные результаты действительно обнадеживают и указывают на то, что мы должны продолжать изучать использование CNN для GISAXS и других научных экспериментов на основе синхротронов», — говорит Ушизима.
КосмологияЧтобы найти сверхновые типа Ia и другие переходные явления в ночном небе, астрономы полагаются на обзоры неба, которые позволяют отображать одни и те же участки неба каждую ночь в течение нескольких месяцев и лет. Астрономы искажают и усредняют эти некоторые изображения вместе, чтобы создать шаблон определенного участка неба. Когда поступает новое наблюдение, они сравнивают его с шаблоном и вычитают известные объекты, чтобы обнаружить новые события, такие как сверхновая.
Поскольку изображения ночного неба необходимо деформировать, чтобы исправить оптические эффекты или артефакты, вызванные дефектами датчиков, попаданиями космических лучей и объектами переднего плана, вычитания не всегда идеальны. Фактически, 93 процента потенциальных кандидатов, идентифицированных конвейером вычитания, являются артефактами.Чтобы отделить ложное от реальных кандидатов после вычитания, Тростен Курт, консультант по высокопроизводительным вычислениям в Национальном научном вычислительном центре энергетических исследований (NERSC), создал двухуровневую CNN и применил метод, который включал 80-процентное обучение, 10-процентную проверку и 10-процентную проверку. процентное тестирование для оценки производительности своего алгоритма на TrueNorth. Чтобы проверить надежность своего алгоритма, он также включил изображения ночного неба в различной ориентации в их набор обучающих данных.
В конечном итоге они достигли 95-процентной точности классификации.«Увеличение количества уровней в сети не означает повышения производительности», — говорит Ушизима. «Следующий шаг включает опробование нашего подхода на другом наборе данных, который содержит изображения с низким отношением сигнал / шум, изображения с дефектами, а также пиксельные карты шума и дефектов. С помощью этого набора данных нейронная сеть может изучить корреляции между всеми эти характеристики и, как мы надеемся, обеспечат лучшую производительность ".Микротомография (MicroCT)
Микротомография (MicroCT) — это метод визуализации, который очень похож на то, что используют больницы, когда проводят компьютерную томографию или компьютерную томографию пациента, но при этом визуализируются в гораздо меньшем масштабе. Это фактически позволяет исследователям отображать внутреннюю структуру объектов в очень мелком масштабе и без разрушения. Это означает, что не требуется никакой подготовки образца — ни окрашивания, ни тонких срезов — и одно сканирование может захватить полную внутреннюю структуру образца в 3D и с высоким разрешением.Используя микроКТ, ученые могут проверить прочность материалов, которые однажды могут быть использованы в аккумуляторах, автомобилях, самолетах и т.
Д., Путем поиска микроскопических деформаций в их внутренней структуре. Но иногда поиск этих трещин может быть очень похож на поиск иголки в стоге сена. Поэтому Ушизима и Ян объединились с Дулой Паркинсон из ALS, чтобы разработать алгоритмы для извлечения этих особенностей из необработанных изображений микроКТ.
«Алгоритмы компьютерного зрения позволили нам создать помеченные банки данных для поддержки контролируемых алгоритмов обучения, таких как CNN. Один конкретный инструмент, который мы создали, позволяет исследователю сегментировать и маркировать образцы изображений с высокой точностью, предоставляя интуитивно понятный пользовательский интерфейс и механизмы для курирования данных. , — говорит Ушизима.Хотя эти инструменты были разработаны специально для извлечения деталей из изображений микроКТ, она отмечает, что они применимы и к другим областям науки.
«По мере увеличения объема и сложности научных данных становится важным оптимизировать CNN и исследовать передовые архитектуры, такие как TrueNorth, — говорит Янг. «В настоящее время мы определяем параметры CNN — количество слоев, размер фильтров и частоту понижающей дискретизации — с помощью специальных оценок. В нашей будущей работе мы хотели бы изучить систематические подходы к оптимизации этих параметров».
Для этих проектов LDRD исследователи в основном использовали TrueNorth от IBM, потому что это был первый нейроморфный чип, к которому у них был доступ. В будущем они надеются изучить жизнеспособность других нейроморфных вычислительных архитектур.