Способы организации высокопроизводительных процессоров. Процессоры баз данных. Потоковые процессоры. Нейронные процессоры. Процессоры с многозначной (нечеткой) логикой. TrueNorth — процессор нового поколения

В 1965 году Гордон Мур, инженер и основатель Intel, заметил, что каждый год количество транзисторов в новых моделях процессоров удваивалось. Через десять лет он уточнил оценку: к 1975 году количество транзисторов удваивалось каждые два года.

Но бесконечно наращивать количество транзисторов невозможно. Чтобы преодолеть это ограничение, нужен принципиально новый подход.

Нейронные сети

Все современные компьютеры используют архитектуру фон Неймана, что подразумевает перемещение данных в линейной последовательности между центральным процессором и чипами памяти. Данный метод подразумевает строгое выполнение заложенных программных инструкций. Построение нейронных сетей с использованием данной архитектуры возможно, но сопряжено со значительными трудностями. Например, инженерам Google понадобилось для этого 16 000 процессоров . В данном случае, была предпринята попытка эмулировать поведение мозга человека на традиционной архитектуре, вместо того, чтобы смоделировать структуру самого процессора как можно ближе к структуре мозга.

Нейроморфные чипы

Подобно человеческому мозгу, который параллельно решает различные задачи, нейроморфные процессоры откликаются на внешние раздражители аналогичным образом. По ходу поступления новой информации нейроны могут меняться в соответствии с изменениями звуков, изображений и других раздражителей.

Благодаря технологиям распределенной обработки данных задачи решаются иначе, и для работы с большими массивами информации используется значительно меньшее количество процессоров. Кроме того, нейронные сети можно обучать и добиться более эффективной реакции на действия пользователей. Несмотря на то, что новые нейроморфные чипы еще очень далеки от возможностей мозга, они все равно намного более производительны, чем современные компьютеры. До настоящего времени, нейронные сети строились на обычных кремниевых процессорах, но недавно все изменилось: в Китае был создан первый нейроморфный процессор .

Применение

Итак, нейронные сети не программируются в привычном смысле этого слова, они обучаются, следовательно, профессию программиста ждут очень большие перемены. В настоящее время нечто отдаленно похожее можно наблюдать в эвристических алгоритмах, когда компьютер выбирает подходящее решение, хотя однозначная правильность выбранного подхода к решению задачи не доказана.

Помимо потенциальной возможности создания искусственного интеллекта, нейроморфные сети могут применяться для решения различных задач. Например, беспилотные аппараты смогут более эффективно действовать в автономном режиме и принимать решения в связи с постоянно меняющийся обстановкой. Системы жизнеобеспечения, которые лучше анализируют информацию и выдают правильные рекомендации, анализ погоды, управление дорожным движением и многое другое. Нейронные чипы найдут применение даже в медицине, они помогут врачу ставить правильный диагноз на основе анализа всех симптомов пациента и результатов диагностических исследований.

Китайская компания Huawei анонсировала Kirin 970 - первый чипсет, имеющий выделенный нейронный процессор (NPU). Вслед за китайцами Apple показала свой A11 Bionic для моделей iPhone 8, 8 Plus и X. Этот чип, среди прочего, поддерживает технологию Neural Engine , которая, если верить представителям компании, «специально разработана для машинного обучения». Совсем недавно уже Qualcomm представила свой чип Snapdragon 845, умеющий передавать конкретным ядрам связанные с искусственным интеллектом задачи. Особой разницы в подходах компаний нет. Все зависит от доступных разработчикам уровней управления ядрами и энергоэффективности чипов.

Но действительно ли новые чипы существенно отличаются от уже существующих на рынке аналогов, и если да, то в чем их отличие? Ответ на это сможет дать часто встречающийся в сообщениях об искусственном интеллекте термин – «гетерогенные вычисления». Он применяется по отношению к процессорам, использующим специализированные функции систем для улучшения производительности или уменьшения энергопотребления. Такой подход уже неоднократно реализован в предыдущих поколениях чипов. Новые мобильные процессоры просто используют эту концепцию с некоторыми вариациями.

Закономерное развитие?

В последних поколениях процессоров активно используется технология ARM Big .Little. Она сочетает медленные энергоэффективные ядра с более производительными, имеющими высокий уровень потребления энергии. Суть заключалась в уменьшении объемов энергии для увеличения автономности устройств. В прошедшем году нейронные чипы сделали еще один шаг в этом направлении, добавив отдельный элемент для обработки задач искусственного интеллекта, или, в случае со , задействовав отдельные маломощные ядра для этой задачи.

Мобильный процессор от Apple A11 Bionic применяет Neural Engine в сочетании с графическим чипом для ускорения работы Face ID, Animoji и ускорения работы некоторых неродных программ. Когда пользователь запускает эти процессы на новом iPhone, чип включает Neural Engine для обработки лица владельца или для проекции его мимики на анимированную картинку.

В NPU берет на себя функции по сканированию и переводу слов на изображениях, полученных с использованием Microsoft Translator. Однако пока программа – единственное стороннее приложение, работающее с адаптированной китайским производителем технологией. По заверениям Huawei, новая технология «HiAI» ускоряет работу большинства элементов чипсета и способна выполнять гораздо более широкий спектр задач, чем другие NPU.

Новые горизонты

При отдельном рассмотрении технология позволяет осуществлять с не меньшей эффективностью непосредственно на устройстве те задачи, для обработки которых раньше были задействованы сторонние облачные решения. С помощью новых компонентов, оснащенный такими чипами телефон, сможет выполнять больше действий одновременно. Это повлияет на многие аспекты работы устройства, начиная с уменьшения времени на переводы и заканчивая поиском фотографий по внутренним хештегам. Также передача выполнения таких процессов непосредственно смартфону вместо применения облачных решений положительно скажется на безопасности и конфиденциальности, уменьшая шансы хакеров заполучить данные пользователя.

Еще одним важным моментом новых чипов является энергопотребление, ведь энергия – ценный ресурс, который требует разумного распределения, особенно если дело касается повторяющихся задач. Графические чипы любят тратить запасы батареи очень быстро, так что переложить их процессы на DSP может быть хорошим решением.

По факту, сами мобильные процессоры не могут самостоятельно принимать решения о том, какие ядра нужно задействовать при выполнении определенных задач. Это зависит от разработчиков и производителей техники, использующих для этого сторонние поддерживаемые библиотеки. , и активно интегрируют такие решения, как TensorFlow Lite и Facebook Caffe2. Qualcomm также поддерживает новый Open Neural Networks Exchange (ONNX), а Apple недавно добавила совместимость множества новых моделей машинного обучения в своей Core ML framework.

Увы, особых преимуществ новые мобильные процессоры пока еще не предоставляют. Производители уже меряются показателями результатов своих собственных тестов и контрольных показателей. Но без тесной интеграции с окружающей современного пользователя реальностью эти показатели имеют мало смысла. Сама технология находится на очень ранней стадии развития, а использующие ее разработчики пока немногочисленны и разрозненны.

В любом случае, каждая новая технология – выигрыш для пользователя, будь то рост производительности или улучшенная энергоэффективность. Производители серьезно настроены вкладывать время и деньги в развитие нейронных чипов, а значит будущие мобильные процессоры смогут предложить гораздо более широкий список задач, в которых будет задействован искусственный интеллект.

Четыре российские компании объединились для создания первого отечественного процессора, предназначенного для радикального повышения производительности компьютерных нейронных сетей. Чип позволяет в разы увеличить скорость распознавания лиц, букв, картинок, быстрее и точнее анализировать снимки компьютерной томографии и другие медицинские данные, решать сложные стратегические задачи. Эксперты полагают, что российские разработчики имеют реальные шансы заявить о себе на только формирующемся мировом рынке нейропроцессоров.

От пикселей к нейронам

Любителям компьютерных игр хорошо знаком графический процессор (ГП) - микросхема для обработки картинок и видео. В отличие от центрального процессора (ЦП) графический умеет выполнять лишь небольшое число узкоспециальных вычислительных операций, но зато делает это чрезвычайно быстро и эффективно. Это благодаря ему современные компьютерные игры демонстрируют ту реалистичную видеографику, которая так захватывает любителей электронных развлечений.

Специальные математические операции, под которые «заточен» ГП, оказались применимы и для эффективного майнинга криптовалют. Поэтому в прошлом году со взлетом интереса к биткоинам мир стал свидетелем абсолютно беспрецедентного явления - глобального дефицита видеокарт.

Спрос на них продолжает расти и в нынешнем году благодаря стремительному развитию теперь уже нейросетей - вычислительных систем, позволяющих на основе больших данных решать такие задачи, как распознавание лиц и речи, литературный перевод текстов, анализ медицинских данных - компьютерной томографии, магниторезонансной томографии, рентгеновских снимков и других.

ГП позволяет серьезно ускорить работу некоторых нейросетевых алгоритмов, но в этом деле он далеко не так эффективен, как в решении задач по обработке графики. Поэтому сейчас в мировой компьютерной индустрии на повестке дня стоит задача создания нейронного процессора (НП), предназначенного для многократного ускорения работы таких сетей. Отдельные экспериментальные устройства этого типа уже существуют, но окончательное формирование мирового рынка нейропроцессоров займет, по оценкам экспертов, еще четыре-шесть лет. В течение этого времени шанс закрепиться на этом рынке будут иметь и небольшие компании-разработчики, и даже стартапы.

От конкуренции к доверию

В отраслевом союзе «Нейронет» решили принять участие в этой гонке, объединив усилия четырех входящих в систему Национальной технологической инициативы (НТИ) небольших, но продвинутых компаний. Созданный консорциум займется разработкой национального нейропроцессора, способного не только конкурировать с западными образцами, но и стать стопроцентно отечественным, «доверенным», то есть гарантированно свободным от недокументированных возможностей и аппаратных «закладок». Последнее особенно важно для заказчиков из российского ВПК, где нейронные сети тоже получают широкое распространение - в системах управления боевыми беспилотниками, в планировании военных операций, в аппаратуре высокоточного наведения стрелкового оружия.

По словам директора союза «Нейронет» НТИ Александра Семенова, о составе консорциума и старте его деятельности будет официально объявлено в феврале наступающего года.

Российские математики и инженеры, разрабатывающие аппаратную часть и алгоритмы в области искусственного интеллекта и нейронных сетей, - лучшие в мире, - убежден Александр Семенов. - Сейчас у них есть примерно четыре года на то, чтобы опередить своих иностранных коллег и задать стандарты будущего рынка.

По оценке заведующего лабораторией нейросетевых технологий и компьютерной лингвистики Московского физико-технического института Станислава Ашманова, всего в мире сейчас насчитывается около двух тысяч компаний, участвующих в гонке по созданию эталонного нейронного процессора.

Кто успеет сделать чип, который станет отраслевым стандартом, тот заработает деньги, соизмеримые с доходами нынешних лидеров рынка центральных процессоров, таких как Intel или AMD, - считает Станислав Ашманов. - Пока из этой пары тысяч стартапов во всем мире ближе всего к победе не более пяти компаний.

От харда к софту

По словам эксперта, гонка в этой области сейчас идет по двум направлениям: во-первых, разработка серверного чипа для мощных серверов в дата-центрах, во-вторых, создание экономичного встраиваемого нейропроцессора для установки на всевозможных «умных устройствах»: смартфонах, роботах, дронах, беспилотных автомобилях. Работы, ведущиеся в России, по мнению Ашманова, имеют шанс выиграть на обоих направлениях.

Разработка отечественной аппаратуры, ускоряющей обсчет нейросетей, - безусловно, важнейший, необходимый проект при существующей конъюнктуре мирового рынка, - сказал «Известиям» Константин Трушкин, заместитель генерального директора компании МЦСТ, производящей отечественный ЦП «Эльбрус» и системные платы на его основе. - Соединение универсальных процессорных ядер со специализированными блоками, выполняющими вычисления по нейросетевым алгоритмам с высокой эффективностью, - актуальная современная тенденция. Но, чтобы такую систему можно было считать доверенной, и ядро, и нейросетевой акселератор должны быть разработаны в России.

Однако, напомнил Константин Трушкин, недостаточно сделать саму микросхему НП, необходимо создать еще и обслуживающую ее программную среду: операционную систему, средства разработки, библиотеки нейросетевых алгоритмов, среду обучения нейросетей. Только тогда можно будет говорить о существовании полноценной отечественной аппаратно-программной нейросетевой платформы.

Корпорация IBM преодолела очередную ступень в создании чипа будущих суперкомпьютеров - нейронного чипа, работающего по принципу функционирования человеческого мозга. Особенность такого чипа состоит в том, что он способен к самообучению, а также тратит в сотни тысяч раз меньше энергии, чем обычные микропроцессоры. Новый чип уже может анализировать визуальную информацию, что подтверждается результатами тестирования.

Большинство современных компьютеров устроены по принципу архитектуры фон Неймана . Она основана на совместном хранении данных и команд, при этом внешне они неразличимы: одна и та же информация может становиться данными, командой или адресом в зависимости от способов обращения к ней. Именно такой принцип работы архитектуры фон Неймана и создал ее существенный недостаток - так называемое узкое место (ограничение пропускной способности между процессором и памятью). Процессор постоянно вынужден ждать необходимых данных, потому что память программ и память данных не может быть доступна одновременно: ведь хранятся они на одной и той же шине.

Эта проблема была решена американским программистом Говардом Эйкеном (Howard Aiken), автором гарвардской архитектуры . Она отличается от архитектуры фон Неймана тем, что линии передачи данных и команд в ней физически разделены, что позволяет процессору одновременно читать инструкции и выполнять доступ к данным, а быстродействие компьютера повышается. Несмотря на это, в конце 1930-х годов на конкурсе по разработке ЭВМ для военно-морской артиллерии, объявленном правительством США, из-за простоты реализации победила фон-неймановская архитектура.

Позднее стало возможным создание гибридных систем, сочетающих достоинства обеих архитектур. Однако с развитием программирования умы ученых стала занимать мысль о создании искусственных нейронных систем: соединенных и взаимодействующих между собой процессоров, действующих по принципу функционирования нервных клеток живого организма. Особенностью таких систем является то, что они не программируются, а обучаются.

Понятие искусственной нейронной сети возникло при изучении функционирования биологических нейронных сетей – совокупности связанных в нервной системе нейронов, выполняющих специфические физиологические функции. Каждый из нейронов связан с огромным количеством других, место контакта нейронов друг с другом называется синапсом , который служит для передачи нервного импульса между клетками.

Первопроходцами в создании искусственных нейронных сетей стали американцы Уоррен Маккалок (Warren McCulloch) и Уолтер Питтс (Walter Pitts). В начале 1940-х годов ученые изобрели модель мозга, в которой упрощенно рассматривали нейроны как устройства, оперирующие двоичными числами. Придуманная ими сеть из электронных «нейронов» теоретически могла выполнять числовые или логические операции любой сложности. Принципиально новые теоретические основания такой модели головного мозга заложили базу для последующего развития нейротехнологий, и следующий шаг не заставил себя ждать.

Уже в 1949 году Дональдом Хеббом (Donald Hebb) был предложен первый работающий алгоритм обучения искусственных нейронных систем, а в 1958 году Фрэнк Розенблатт (Frank Rosenblatt) создал первый нейрокомпьютер «Марк-1» . Этот компьютер был построен на основе перцептрона – нейронной сети, разработанной Розенблаттом тремя годами ранее.

Достаточно странно, что никто на Хабре не написал, но, на мой взгляд, сегодня произошло знаковое событие. IBM представила новый, полностью законченный чип, реализующий нейронную сетку. Программа его разработки, существовала давно и шла достаточно успешно. На Хабре уже была статья о полномасштабной .

В чипе 1 миллион нейронов и 256 миллионов синапсов. Судя по всему, как и в симуляции, чип имеет сходную с неокортексом архитектуру.

Чем это офигенно круто? Тем, что все сегодняшние нейронные сети должны производить астрономическое количество операций, особенно при обучении. Зачастую это упирается в производительность. В реальном времени на одном устройстве можно решать только простые задачки. Распараллеливание на кластеры и видеокарты значительно ускоряют обработку (за счёт огромных вычислительных мощностей и большого энергопотребления). Но всё упирается в главную проблему архитектуры фон Неймана: память разнесена с блоками обработки. В настоящих нейронах всё по-другому: память сама выполняет обработку (на Хабре есть классный цикл статей про ).

Если IBM начнёт выпуск таких процессоров, то многие задачи видеоаналитики можно будет решать напрямую на них. Самое простое, что приходит в голову - классификация объектов в видеопотоке (люди, автомобили, животные). Именно эту задачу IBM и продемонстрировало в качестве примера работы. В видеопотоке 400*240 30fps они выделяли людей, велосипедистов, машины, грузовики и автобусы.

Если всё настолько круто, то машины-роботы в скором времени не будут требовать лидаров, пяток видеокамер с таким чипом - и вперёд.

Кстати, если считать производительность такого чипа в терафлопсах, то получится астрономическое число. Ведь, по сути, такой чип это 1 миллион процессоров, за один такт каждый из которых обрабатывает информацию с 256 каналов входа (ну, приблизительно).

Чуть больше информации на сайте IBM Research .

З.Ю. Пардон за статью без особых подробностей в стиле Ализара, но меня и впрямь удивило, что такое знаковое событие прошло мимо Хабра.