Джеффри Хинтон разделяет Нобелевскую премию по физике 2024 года

Совместно с Джоном Хопфилдом, за «основополагающие открытия и изобретения, обеспечивающие машинное обучение с помощью искусственных нейронных сетей».

Слева на фото Джон Джозеф Хопфилд, родился 15 июля 1933 года в Чикаго, США, почетный профессор Принстонского университета. Получает Нобелевскую премию по физике 2024 года за исследование ассоциативных нейронных сетей, в частности, за разработку сети Хопфилда, которую он сделал в 1982 году во время работы в Калифорнийском технологическом институте.

Справа на фото Джеффри Эверест Хинтон, родившийся 6 декабря 1947 года в Лондоне, Великобритания, в настоящее время работает в Университете Торонто, Канада. Нобелевская премия по физике присуждена ему за использование сети Хопфилда в качестве основы для новой более общей сети - машины Больцмана, которая может быть использована для классификации изображений или создания новых примеров того типа паттерна, на котором она была обучена. Хотя эта работа датируется 1985 годом, Хинтон продолжал развивать ее, помогая инициировать нынешнее бурное развитие машинного обучения.

Объясняя решение о присуждении Хопфилду и Хинтону Нобелевской премии, Эллен Мунс, председатель Нобелевского комитета по физике, сказала:

«Работа лауреатов уже принесла огромную пользу. В физике мы используем искусственные нейронные сети в самых разных областях, например, при разработке новых материалов с особыми свойствами».

Комментируя новость, Хинтон сказал, что он «потрясен» и что он не знал, что его номинировали.

Хинтон, которого часто называют «крестным отцом искусственного интеллекта», не чужд побед. В 2020 году, когда он был награжден Королевской медалью Королевского общества за работу над искусственными нейронными сетями, мы перечислили другие престижные награды, которые он уже получил, включая премию Тьюринга ACM, которую часто называют Нобелевской премией по вычислительной технике и которую он разделил с Янном Лекуном и Йошуа Бенгио.

Однако на этот раз это настоящая Нобелевская премия, присужденная Королевской шведской академией наук в размере 11 миллионов крон (около 1,1 миллиона долларов) и присужденная в области физики. Его солауреатом стал Джон Хопфилд, который, возможно, в настоящее время не так известен, как Хинтон, но на самом деле является главным лауреатом премии. Согласно пресс-релизу Нобелевской премии:

Два нобелевских лауреата по физике этого года использовали инструменты из физики для разработки методов, которые лежат в основе современного мощного машинного обучения. Джон Хопфилд создал ассоциативную память, которая может хранить и восстанавливать изображения и другие типы шаблонов в данных. Джеффри Хинтон изобрел метод, который может автономно находить свойства в данных и выполнять такие задачи, как идентификация конкретных элементов на картинках.

Полная история о том, как технология, лежащая в основе GenAI, - машинное обучение с помощью искусственных нейронных сетей - была вдохновлена структурой мозга, - изложена в статье «Они использовали физику для поиска паттернов в информации», которую вам стоит прочитать, если вы хотите понять, как сеть Хопфилда, предложенная в 1982 году для моделирования ассоциативной памяти, была расширена с помощью идей из статистической физики Хинтоном и его коллегой Терренсом Сейновски в 1985 году. Эта новая сеть, названная машиной Больцмана, поскольку в ней использовалось уравнение, выдвинутое физиком XIX века Людвигом Больцманом, могла обучаться, если ей давали примеры.

Изначально Хинтон был сторонником стандартной сети с прямой передачей данных, обученной методом обратного распространения. В то время он был голосом в пустыне, поскольку большинство людей отказались от нейронных сетей, поскольку они были немодными и считались «пограничной» деятельностью сродни исследованию паранормальных явлений. В конце концов даже Хинтон сдался и решил, что сеть Хопфилда может быть лучшим подходом, если ее обобщить, и на свет появилась машина Больцмана. Ее оказалось сложно обучить, но после долгих экспериментов была создана ограниченная машина Больцмана - не такая мощная, но более простая в обучении. Проблема оригинальной сети с прямой передачей заключалась в том, что мощности компьютеров того времени не хватало для обучения более чем нескольких слоев, состоящих из десятков и сотен нейронов. Прорыв произошел, когда мощность компьютеров выросла настолько, что позволила создавать глубокие и большие сети. В своих исследованиях Хинтон вернулся к сетям с прямолинейным движением, но теперь уже с большим количеством слоев и нейронов - глубокое обучение. Он заметил, что решение было у него всегда, но не было компьютерной мощности, чтобы доказать это.

Сегодня именно глубокие нейронные сети являются движущей силой нашего ИИ, а сети Хопфилда и Больцмана представляют собой нечто вроде интригующей диковинки.