LV RU

В обучении нейросетей достигнута производительность 15 петафлопс 0

Суббота, 02 сен 2017, 09:50 Распечатать

В обучении нейросетей достигнута производительность 15 петафлопс
Разработчики нейросетей и систем машинного обучения продолжают работы по усовершенствованию и ускорению соответствующих задач.


Смешанная группа инженеров и учёных из Национальной лаборатории имени Лоуренса в Беркли, Стэнфордского университета и корпорации Intel впервые преодолела барьер 10 петафлопс при выполнении двух различных программ глубинного машинного обучения. Одна из них смогла показать рекордный результат — 15 петафлопс. Исследование проводилось с использованием суперкомпьютера Cori, установленного в министерстве энергетики США. Результаты эксперимента были опубликованы 17 августа и ознакомиться с ними можно по этой ссылке. В процессе вычислений использовалась математика одинарной точности — режима FP32 обычно достаточно с точки зрения достигаемой точности вычислений при обучении нейронных сетей. Иногда используются даже менее точные вычисления, такие как FP16 или даже INT8.

 

В обучении нейросетей достигнута производительность 15 петафлопс

 

В системе Cori, которая представляет собой Cray XC40, проблем с такой математикой нет: она состоит из 9688 процессоров Intel Xeon Phi 7250 серии Knights Landing. Пиковая производительность комплекса в режиме одинарной точности достигает 59 петафлопс, но из-за активного использования векторных инструкций (AVX), применяемых в матричной математике, тактовые частоты процессоров снизились с 1,4 до 1,2 ГГц, что понизило пиковую производительность до 50,6 петафлопс. Для тестовой задачи были использованы метеорологические данные общим объемом 15 Тбайт, полученные с помощью климатического симулятора. Именно при обработке этих моделей была достигнута пиковая производительность 15,07 петафлопс при устоявшейся 13,27 петафлопс. Задействовалось 9622 ядра Cori из 9688 физически имеющихся в системе. Показатели масштабируемости тоже впечатляют: 7205-кратное увеличение скорости вычислений было получено при переходе от 1 процессорного ядра к 9622. Второй тестовой задачей был обсчёт набора данных из области физики высоких энергий. Здесь скорости составили 11,73 и 11,41 петафлопс соответственно, а масштабируемость достигла показателя 6173.

 

В обучении нейросетей достигнута производительность 15 петафлопс

 

К сожалению, в тестовых задачах каждый из Xeon Phi смог выдать около 2 терафлопс из 6 возможных, но это практически предел для реальных приложений — как традиционных задач класса HPC, так и задач машинного обучения. Что касается точности, то итоговые показатели оказались неплохими: в задаче из области физики высоких энергий точность корректного распознавания сигналов составила 72%, что существенно выше, нежели при применении традиционного анализа, при котором достигается точность порядка 42%. К сожалению, численная оценка точности климатической задачи не производилась, но исследователи утверждают, что нейронная сеть отлично справилась с поиском, локализацией и идентификацией тропических циклонов, что было её главной целью. Исследователи намерены продолжать работы: планируется как оптимизация имеющихся алгоритмов машинного обучения, так и внедрение новых. В планах есть и применение систем с более низкой точностью обработки данных, поскольку это может позволить добиться ускорения процесса обучения нейросетей.

 

Источник: TOP500.

0
Автор:3dnews.ru
Фото:pixabay.com
Заметили ошибку?
Выделите текст и нажмите Ctrl + Enter!

Комментарии (0)

Читайте также

 

Сегодня, 11:20 Банк Латвии выделил ABLV Bank кредит в размере 97,5 млн евро
Сегодня, 11:07 В регионах Латвии создают спецотряды для подавления беспорядков: обещают повышенную зарплату 4
Сегодня, 10:37 Бал Марты приглашает всех к активному сотрудничеству
Сегодня, 09:45 Большие производственные цеха бывшего ЗХВ продолжают разрушаться 5
Сегодня, 09:23 После столкновения машины пришлось эвакуировать (ФОТО, ВИДЕО) 3
Сегодня, 08:55 На Даугавпилс надвигаются морозы 1
Сегодня, 08:48 Адвокат сообщил подробности о "незаконном задержании" Римшевича 2
Сегодня, 08:42 Глава ABLV Bank намекает на недобросовестные действия высокопоставленного должностного лица
Сегодня, 08:27 Даугавпилс претендует на «Бонюкса»
Сегодня, 08:00 Лауреат спорта Даугавпилса: лучшие из лучших, спидвей и полумарафон 6
Сегодня, 05:16 Бизнесмена Мариса Мартинсонса выпустили из изолятора
Сегодня, 05:15 На этой неделе завершается прием заявок на «Свадьбу года-2017»
Вчера, 16:25 БПБК в понедельник проведет пресс-конференцию о задержании Римшевича 2
Вчера, 16:04 Рейзниеце-Озола: Римшевичу стоит сложить полномочия 3
Вчера, 15:21 В центре Таллинна будут высажены цветы в колористике флагов Эстонии, Латвии и Литвы 3

Архив новостей

«    Февраль 2018    »
ПнВтСрЧтПтСбВс
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 

 

Новости DauTKom

Новости DauTKom

Здоровье


Советы от DauTKom


Красота

-Реклама static top

-Реклама static top

-Реклама static top

-Реклама static top

-Реклама static top

-Реклама static top


Проекты

Проекты

Проекты