LV RU

В обучении нейросетей достигнута производительность 15 петафлопс 0

Суббота, 02 сен 2017, 09:50 Распечатать

В обучении нейросетей достигнута производительность 15 петафлопс
Разработчики нейросетей и систем машинного обучения продолжают работы по усовершенствованию и ускорению соответствующих задач.


Смешанная группа инженеров и учёных из Национальной лаборатории имени Лоуренса в Беркли, Стэнфордского университета и корпорации Intel впервые преодолела барьер 10 петафлопс при выполнении двух различных программ глубинного машинного обучения. Одна из них смогла показать рекордный результат — 15 петафлопс. Исследование проводилось с использованием суперкомпьютера Cori, установленного в министерстве энергетики США. Результаты эксперимента были опубликованы 17 августа и ознакомиться с ними можно по этой ссылке. В процессе вычислений использовалась математика одинарной точности — режима FP32 обычно достаточно с точки зрения достигаемой точности вычислений при обучении нейронных сетей. Иногда используются даже менее точные вычисления, такие как FP16 или даже INT8.

 

В обучении нейросетей достигнута производительность 15 петафлопс

 

В системе Cori, которая представляет собой Cray XC40, проблем с такой математикой нет: она состоит из 9688 процессоров Intel Xeon Phi 7250 серии Knights Landing. Пиковая производительность комплекса в режиме одинарной точности достигает 59 петафлопс, но из-за активного использования векторных инструкций (AVX), применяемых в матричной математике, тактовые частоты процессоров снизились с 1,4 до 1,2 ГГц, что понизило пиковую производительность до 50,6 петафлопс. Для тестовой задачи были использованы метеорологические данные общим объемом 15 Тбайт, полученные с помощью климатического симулятора. Именно при обработке этих моделей была достигнута пиковая производительность 15,07 петафлопс при устоявшейся 13,27 петафлопс. Задействовалось 9622 ядра Cori из 9688 физически имеющихся в системе. Показатели масштабируемости тоже впечатляют: 7205-кратное увеличение скорости вычислений было получено при переходе от 1 процессорного ядра к 9622. Второй тестовой задачей был обсчёт набора данных из области физики высоких энергий. Здесь скорости составили 11,73 и 11,41 петафлопс соответственно, а масштабируемость достигла показателя 6173.

 

В обучении нейросетей достигнута производительность 15 петафлопс

 

К сожалению, в тестовых задачах каждый из Xeon Phi смог выдать около 2 терафлопс из 6 возможных, но это практически предел для реальных приложений — как традиционных задач класса HPC, так и задач машинного обучения. Что касается точности, то итоговые показатели оказались неплохими: в задаче из области физики высоких энергий точность корректного распознавания сигналов составила 72%, что существенно выше, нежели при применении традиционного анализа, при котором достигается точность порядка 42%. К сожалению, численная оценка точности климатической задачи не производилась, но исследователи утверждают, что нейронная сеть отлично справилась с поиском, локализацией и идентификацией тропических циклонов, что было её главной целью. Исследователи намерены продолжать работы: планируется как оптимизация имеющихся алгоритмов машинного обучения, так и внедрение новых. В планах есть и применение систем с более низкой точностью обработки данных, поскольку это может позволить добиться ускорения процесса обучения нейросетей.

 

Источник: TOP500.

0
Автор:3dnews.ru
Фото:pixabay.com
Заметили ошибку?
Выделите текст и нажмите Ctrl + Enter!

Комментарии (0)

Читайте также

 

Сегодня, 08:05 Во вторник обещают дождь
Сегодня, 07:55 Шадурскис: за два года достигнут исторически самый большой прирост зарплат педагогам
Сегодня, 07:00 Молодежь планируется вовлечь в донорское движение
Сегодня, 06:30 В течение месяца БПБК получило более 400 сообщений о нарушениях в предвыборной агитации
Сегодня, 05:00 1-го сентября – все на КРОСС!
Вчера, 18:10 На перекрестке столкнулись Mercedes-Benz и Nissan 15
Вчера, 17:00 Предприниматели: «Теневой экономике способствуют высокие налоги» 4
Вчера, 16:47 Сотни тысяч жителей Латвии получат первый каталог IKEA на латышском языке 3
Вчера, 16:15 Обществу жителей блокадного Ленинграда – 25 лет
Вчера, 15:51 Гапоненко подозревают в разжигании розни и помощи иностранному государству 2
Вчера, 15:50 Доверием не пользовались: как в Советской Армии издевались над солдатами из Прибалтики 9
Вчера, 15:25 Могут понизить налоги для ресторанов и кафе
Вчера, 15:15 В Национальных вооруженных силах проводится проверка боеготовности 2
Вчера, 15:00 Один Льюнг – в поле не воин 4
Вчера, 15:00 Рига: во время вечеринки мужчина исколол приятеля отверткой 2

Архив новостей

«    Август 2018    »
ПнВтСрЧтПтСбВс
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
addcomments navigation

 

Новости DauTKom

Новости DauTKom

Здоровье


Советы от DauTKom


Красота

-Реклама static top

-Реклама static top

-Реклама static top

-Реклама static top

-Реклама static top

-Реклама static top

Проекты

Проекты

Проекты




Новости Tautas Info

Новости Tautas Info