Ядерная математика

[vlkamov.livejournal.com]

538 последняя китайская новость:

В Китае началась работа прототипа вычислительной машины эксафлопсного класса, относящейся к следующему поколению суперкомпьютеров.

Еще в прошлом тысячелетии суперкомпьютеры состояли из десятков тысяч процессоров. в этом наверняка больше ста тысяч будет.

Вместе с тем и отдельные процессора тоже стали существенно многоядерными. Но и это не все, там внутри всякие потоки, конвейеры, спекулятивное исполнение. А еще кэши в три наката и всякое такое, что, увеличивая количество вентилей в разы, позволяет слегка повысить производительность всего чипа в целом.

Вместе с тем, будучи пользователем однопроцессорной машины, я не вижу у себя задач, которые без всяких конвейеров нельзя было бы разложить по тысяче менее сложных ядер. Более того, графический процессор так и сделан. И это работает. Да так, что для особо тяжелых задач охотно используют именно GPU. Наверное, при желании можно программными средствами заставить тысячу ядер всеми этими спекуляциями заниматься. Но, повторяю, не вижу в этом необходимости.

И еще более того, вот этот экзафлопный, сколько бы конвейеров какой бы длины ни было в каждом отдельном процессоре, снаружи все равно - отдельный процессор и большую задачу придется распределять между ними более -менее равномерно.

Вот объясните нам, блондинам, какие вообще задачи (кроме маркетинговых, конечно) требуют непременно очень сложных процессоров. И отдельно: какие задачи для персонального компьютера реально требуют сложных процессоров, а не массива простых ядер.

Comments

[jakobz.livejournal.com]

Моделирование всякое - вообще нормально не параллелится. Любая физика, да и экономика всякая небось тоже. Там каждый шаг зависит от предыдущего, и даже на одном шаге все друг от друга зависит. По-разному извращаться где-то можно, но параллелизация задачу как минимум усложняет, а то и вообще делает невозможной.

И это не говоря уже про всякие "отпарсить html и понять координаты картинок и буковок на странице".

Ну и вообще - при наличии бесконечного количества процессоров, скорость будет определяться скоростью куска, который нельзя распараллелить. Вот мы и наблюдаем: дохренища простых ядер на GPU - туда скидывается все что можно распараллелить, плюс несколько сложных ядер с кешами и предсказателями на CPU - эти молотят то, что распараллелить сложно или вообще нельзя.

[Иван Петров (from livejournal.com)]

Однако, например, задачи оптимизации вполне-себе.
Вместо всяких градиентных спусков и половинных делений - посчитать целевую функцию сразу в тысяче-другой точек и привет.

[jakobz.livejournal.com]

Оно почти всё что параллелится - вот так и параллелится. Вместо N операций и простого алгоритма, получаем N^m операций и более сложный алгоритм.

Даже тот же GPU взять - там же мы считаем сразу кучу пикселей, а потом что не прошло через z-test - выкидываем. Ну и всякие там дальше извраты пошли-поехали, чтобы и попаралельнее, и совсем уж на ненужное электричество в тепло не преобразовывать.

Т.е. когда мы говорим "алгоритм параллелится" - это в 90% случаев не "взяли обычный алгоритм и его автомагически запустили на 100 ядрах", а "взяли кучу докторов наук, они 10 лет думали мозгом, и таки придумали как сделать чтобы лишних вычислений было хотя-бы не на порядки больше".

[vlkamov.livejournal.com]

Однако нераспараллеленный алгоритм можно запустить только на 1 (Одна штука) процессоре.

[Иван Петров (from livejournal.com)]

Но время-то вычислений экономится.
Любое численное решение системы уравнений - это на порядки больше вычислений чем считать вручную. Но и на порядки меньше затраченного времени.