![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
nicky-boom.livejournal.com posting in ![[community profile]](https://www.dreamwidth.org/img/silk/identity/community.png){kind=small}
engineering_ruСовременный мир информационных технологий немыслим без Виртуализации "всего на свете" - серверов, операционных систем(ОС), сетевых плат(NIC-карт)-(Xsigo), дисковых массивов(NAS,RAID)-(HDS - Hitachi Data Systems).
Однако, мало кто задумывается над тем, что именно привнесла виртуализация в современный IT, и в чём на самом деле её недостатки, а где именно - достоинства.
Начать можно с того, что оказывается было нужно, чтобы появился термин паравиртуализация, который ничего специфического не означает, а лишь описывает некоторую подгруппу виртуализации, в которой исходный код гостевых ОС(тех, которые виртуализируются) был изменен таким образом, чтобы по предоставленному API(законченному набору функций) она могла обращаться к главной ОС(так называемой Хостовой) машине в случае наиболее неотложных операций(выделение памяти, страничный обмен, прерывания от внешних устройств, специфические функции отдельных приложений, требующие максимум hardware-ресурсов за короткий промежуток времени).
Паравиртуализация понадобилась неспроста, так как общеизвестно, что любая программа выполняется в виртуальной машине заведомо медленнее, чем на реальной физической hardware машине(сервере). Происходит это потому, что в виртуальной среде имеется дополнительный "слой", через который гостевая машина обращается к хостовой для выпонения любых операций и невозможно каким-либо образом исключить этот "избыточный" слой задержки. Так вот, придумали, что в случае таких "критических" операций на гостевой ОС - они (операции) передаются по прерыванию в главную хостовую машину и выполняются там, что позволяет значительно ускорить гостевую ОС.
Кроме того, широко обсуждается "мобильность" целой гостевой ОС, то есть возможность миграции(или переноса) по локальной или глобальной сети целой виртуальной машины(или аналога физического сервера), представленной в случае виртуализации в виде всего одного файла .VMDK, правда размером более чем несколько гигабайт. А что именно даёт такая мобильность?
Кроме достоинств, связанных с DR(Disaster Recovery-восстановление после пожара,стихийного бедствия) и BackUp(восстановление на случай кратковременного сбоя), сопряжена такая мобильность и с риском потери именно той актуальной копии данных, которая может понадобиться в любой момент. Другими словами, можно запутаться где именно что - поскольку копий виртуального сервера стало более одной, неизвестно в чём отличие одной от другой, и где наиболее "свежая". Тот, кто хоть немного имел дело с виртуальными машинами и их "резервным копированием" - поймет, как это легко - запутаться в их множестве и/или актуальности на определенный момент в прошлом или будущем.
Вдобавок, существует целый класс серверных приложений, которые нуждаются в Кластеризации. Например, Oracle Grid - кластер из нескольких физических серверов для "распараллеливания" нагрузки на базу данных с одного - на несколько физических серверов.
Не приходится говорить, что не любую ОС возможно паравиртуализировать из-за закрытости кода например, и не все приложения нуждаются в виртуализации, есть такие, которые скорее наоборот хотят "больше есть hardware", чем быть виртуализированными.
Вообще, сложилось у меня впечатление, что виртуализация может быть оправдана(или обусловлена) лишь наличием legacy-hardware(унаследованное железо) и inherited-software(доставшийся в наследство софт). Причем, серверное программное обеспечение, как правило, менее нуждается в виртуализации, в сравнении с настольным ПО, так как оно легко комбинируется в виде NT-сервиса или Unix-процесса (устанавливается с другими приложениями на одном и том же физическом сервере). Зачем же тогда его виртуализировать, заранее предполагая потерю его производительности, связанную с выполнением в виртуальным домене, в котором всё эмулируется - память, процессор, жёсткий диск, сетевая плата?
Однако, мало кто задумывается над тем, что именно привнесла виртуализация в современный IT, и в чём на самом деле её недостатки, а где именно - достоинства.
Начать можно с того, что оказывается было нужно, чтобы появился термин паравиртуализация, который ничего специфического не означает, а лишь описывает некоторую подгруппу виртуализации, в которой исходный код гостевых ОС(тех, которые виртуализируются) был изменен таким образом, чтобы по предоставленному API(законченному набору функций) она могла обращаться к главной ОС(так называемой Хостовой) машине в случае наиболее неотложных операций(выделение памяти, страничный обмен, прерывания от внешних устройств, специфические функции отдельных приложений, требующие максимум hardware-ресурсов за короткий промежуток времени).
Паравиртуализация понадобилась неспроста, так как общеизвестно, что любая программа выполняется в виртуальной машине заведомо медленнее, чем на реальной физической hardware машине(сервере). Происходит это потому, что в виртуальной среде имеется дополнительный "слой", через который гостевая машина обращается к хостовой для выпонения любых операций и невозможно каким-либо образом исключить этот "избыточный" слой задержки. Так вот, придумали, что в случае таких "критических" операций на гостевой ОС - они (операции) передаются по прерыванию в главную хостовую машину и выполняются там, что позволяет значительно ускорить гостевую ОС.
Кроме того, широко обсуждается "мобильность" целой гостевой ОС, то есть возможность миграции(или переноса) по локальной или глобальной сети целой виртуальной машины(или аналога физического сервера), представленной в случае виртуализации в виде всего одного файла .VMDK, правда размером более чем несколько гигабайт. А что именно даёт такая мобильность?
Кроме достоинств, связанных с DR(Disaster Recovery-восстановление после пожара,стихийного бедствия) и BackUp(восстановление на случай кратковременного сбоя), сопряжена такая мобильность и с риском потери именно той актуальной копии данных, которая может понадобиться в любой момент. Другими словами, можно запутаться где именно что - поскольку копий виртуального сервера стало более одной, неизвестно в чём отличие одной от другой, и где наиболее "свежая". Тот, кто хоть немного имел дело с виртуальными машинами и их "резервным копированием" - поймет, как это легко - запутаться в их множестве и/или актуальности на определенный момент в прошлом или будущем.
Вдобавок, существует целый класс серверных приложений, которые нуждаются в Кластеризации. Например, Oracle Grid - кластер из нескольких физических серверов для "распараллеливания" нагрузки на базу данных с одного - на несколько физических серверов.
Не приходится говорить, что не любую ОС возможно паравиртуализировать из-за закрытости кода например, и не все приложения нуждаются в виртуализации, есть такие, которые скорее наоборот хотят "больше есть hardware", чем быть виртуализированными.
Вообще, сложилось у меня впечатление, что виртуализация может быть оправдана(или обусловлена) лишь наличием legacy-hardware(унаследованное железо) и inherited-software(доставшийся в наследство софт). Причем, серверное программное обеспечение, как правило, менее нуждается в виртуализации, в сравнении с настольным ПО, так как оно легко комбинируется в виде NT-сервиса или Unix-процесса (устанавливается с другими приложениями на одном и том же физическом сервере). Зачем же тогда его виртуализировать, заранее предполагая потерю его производительности, связанную с выполнением в виртуальным домене, в котором всё эмулируется - память, процессор, жёсткий диск, сетевая плата?
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
no subject
Date: 2014-01-31 07:56 pm (UTC)Возможно Hitachi и был основателем стандартов, но они уже давно не лидеры рынка, на их долю приходится меньше 10 процентов и доля стремительно падает. Большой бизнес (а основные потребители NAS именно они) в основном предпочитаю EMC и IBM.
http://www.storagenewsletter.com/rubriques/market-reportsresearch/idc-2q13-ww-disk-systems/
Виртуализация сетевых подключений - это весьма специфичная вещь. В случае с датацентром даже на сотню серверов проще применять обычные VLAN и выделение IP адресов. По поводу ширины каналов я бы тоже не стал беспокоиться. Возможно, при переходе в другие масштабы, виртуализация сетевых подключений и нужна.
no subject
Date: 2014-01-31 08:10 pm (UTC)Вообще изначально пост задумывался как "поговорить на тему, или помечтать о романтической составляющей" виртуализации, о том, что нас может ожидать в будущем, какой софт,железо станет "нормальным" или "принятым" в таких вероятно и невероятно виртуализированных средах, к которым намечается движение уже сейчас.
А не только обсудить кто сейчас лидер в той или иной зоне.
Интересны общие тенденции и намечающиеся перспективы, принципиальные подходы и возможные прорывы в технологиях, не так ли?
no subject
Date: 2014-02-01 06:40 am (UTC)А на уровне малого и среднего бизнеса виртуализация применяется реже, так как потребности немного другие. Плюс виртуализация дорога даже не железом и не программами, а наличием подготовленных и обученных кадров. Вон если люди путают DR и Service Continuity, то как можно говорить о грамотном внедрении виртуализированных серверов?
В целом же, лучше всего можно увидеть использование виртуализации на примере облаков, если совсем точнее, то на примере публичных облаков вроде AWS и Azure. Там виртуализация работает в полный рост.
no subject
Date: 2014-02-01 02:06 pm (UTC)А как вам такая вот тенденция:
- Имеем некоторое многообразие классов hardware/software-платформ Unix/Linux, MS, MacOS, HP, IBM и другие, которое можно считать legacy, то есть которое пришло исторически в эру виртуализации, и для которого софт создавался отдельно для каждой платформы свой, так как несовместим. Выходила какая-нибудь софтинка и в дистрибутиве отдельно для виндовс и для линукс. Причём характерно, что одно более хорошо работало с тем, а другое с другим.
- Что имеем теперь(в "Виртуализация - это довольно устоявшаяся технология"):
Целесообразность написания софта отдельно для каждой платформы теряется, так как приходится рассчитывать, что платформа эта более как отдельно стоящая(standalone) физическая не существует(или всё менее существует), и потенциально будет виртуализирована, а значит нужно заложить и в софт, чтобы он умел быть грамотно виртуализированным, мог использовать например Гипервиртуализацию, чтобы не тормозить соседей по гипервизору.
В результате тенденция намечается такая:
- Возникает потребность в некоей универсальной операционной системе, которая бы умела быть кластиризованной и виртуализированной лучше других. Что и происходит, например, с кланом RedHat, RHEL?
Когда инсталлируется, то спрашивает сама или определяет: вы ставите в виртуальную среду, или на физическую машину?
То есть получается тенденция идет к тому, что многообразие осей скоро мы будем вспоминать только, и вопрос: хорошо ли это?
no subject
Date: 2014-02-01 05:01 pm (UTC)Во-вторых, давайте разбираться. Любая ИТ система - это набор слоев. Снизу - аппаратный слой, потом слой ОС, потом слои приложений. Между аппаратным слоем и слоем ОС добавляют слой с виртуализацией. Практически все современные ОС уже давно можно виртуализировать (не уверен за МакОС, но он редко кому нужен на серверах). Слой приложений практически не в курсе что там и как виртуализировано или нет, ему все равно, он работает со слоем ОС. Поэтому что-либо добавлять в приложение специально для виртуализации никто особо не будет.
Далее, приложения соседей по гипервизору тоже тормозить не могут. Потому что гипервизор не в работает с приложениями, гипервизор выделяет доступные ресурсы и делит их согласно заданным правилам. То есть сказано 4 гигабайта оперативной памяти и 40% процессорного времени, значит столько и выделит на одну ОС, что бы там приложения ни думали.
Универсальные ОС также невозможны, как универсальные автомобили. Потому что есть разные производители, они предлагают разные возможности своим клиентам, клиенты вправе выбирать, что им нужно. Кому-то нужно нагруженное веб-приложение и они выбирают линукс, кому-то интеграция с дайнамикс и шэрпойнтом и они выбирают виндоус. При этом выбор исходит из потребностей и наличия компетенций внутри компании, а не из того кому что нравится. Вы же не ездите на феррари по бездорожью, а на хаммере по автобану.
no subject
Date: 2014-02-02 12:29 am (UTC)- С чего вдруг вы вычеркиваете HPUX и AIX? Они что - не подвержены виртуализации? На них как тут уже говорили виртуализация уже лет 30-40 как живет, в отличие от x86. Свет клином не сошелся на x86 архитектуре, для рассмотрения общих тенденций важно как раз охватывать весь спектр архитектур.
>Во-вторых, давайте разбираться. Любая ИТ система - это набор слоев. Снизу - аппаратный слой, потом слой ОС, потом слои приложений. Между аппаратным слоем и слоем ОС добавляют слой с виртуализацией. Практически все современные ОС уже давно можно виртуализировать (не уверен за МакОС, но он редко кому нужен на серверах). Слой приложений практически не в курсе что там и как виртуализировано или нет, ему все равно, он работает со слоем ОС. Поэтому что-либо добавлять в приложение специально для виртуализации никто особо не будет.
- Ну давайте разберемся. "Практически все современные ОС уже давно можно виртуализировать" - большинство да, но не все - исключим ОС реального времени, или как назвал товарищ c ником vpluto: "В-третьих, счетная производительность является главной целью только в High-Perfomance Computing, где виртуализация и - сюрприз! - не применяется."
" Слой приложений практически не в курсе что там и как виртуализировано или нет, ему все равно, он работает со слоем ОС. Поэтому что-либо добавлять в приложение специально для виртуализации никто особо не будет."
- будет добавлять в приложение специально для виртуализации - никто бы не стал придумывать Гипервиртуализацию, - зачем тогда, когда и так все сложно. Как только возникнет потребность в высоконагруженных запросами системах, таких как транзакционные сервера, где ассиметрично нагрузка падает только на один из ресурсов - например будет запрашивать всё больше памяти под запросы, при том, что процессорное время не особенно потребуется, - что же теперь ради кратковременного скачка загрузки - наращивать/распределять ресурсы гипервизору?
>Далее, приложения соседей по гипервизору тоже тормозить не могут. Потому что гипервизор не в работает с приложениями, гипервизор выделяет доступные ресурсы и делит их согласно заданным правилам. То есть сказано 4 гигабайта оперативной памяти и 40% процессорного времени, значит столько и выделит на одну ОС, что бы там приложения ни думали.
- Нигде не было сказано, что гипервизор работает с приложениями, он работает с распределением имеющихся в его распоряжении ресурсов между всеми "соседями по гипервизору" - то есть ОСями, которые в свою очередь обслуживают слой приложений, которые могут запрашивать ресурсы у своих ОСей, а те в свою очередь у гипервизора. Если этих 40% и 4 ГигаБайта памяти окажется приложению недостаточно для обслуживания нагрузки от клиентов, оно запросит у своей ОСи еще, та пойдет запрашивать дальше, или сваповать на диск - выгружать память, чтобы отдать как можно больше этому наиболее актуальному в данный момент приложению, если гипервизор откажется выдавать больше этого лимита ресурсов, разумеется.
no subject
Date: 2014-02-02 06:04 am (UTC)HPUX, AIX - это уже почти мертвые системы. На них живут какие-либо старые приложения, но новые приложения для них уже не пишут. Поэтому будем откровенны в перспективе 10-20 лет их роль будет сходить на нет. Кому нужен Юникс выберут Линакс и БСД системы.
Далее, выкинули из списка Хай Пефоманс. Еще выкинули из списка ОС реального времени, они используются в узком спектре встроенных систем. Остается довольно небольшой класс Вин и Юникс х86 систем, которые используются как сервера приложений, веб, баз данных, а также файловых хранилищ.
Про гипервиртуализацию я вам сказать ничего не могу, я от вас первого услышал такой забавный термин.
По поводу того, что приложения запрашивают ресурс у ОС, ОС у визора, а тот поджимает соседние ОС. Это, простите, слишком усложняет жизнь. Откуда визору знать, что можно поджать соседюю ОС по ресурсам? Простейший пример - висит в одной ОС нагруженная БД, в другой ОС - Актив Дайректори. БД требует ресурсов, визор перекрывает кран АД, в это время в сеть входит пользователь и его вход жестко тормозится. Кто виноват? Поэтому проще и надежнее поставить ограничения по ресурсам каждой ОС. Остальные фантазии приведут к потенциальному отказу чего-нибудь нужного.
no subject
Date: 2014-02-02 12:30 am (UTC)>Универсальные ОС также невозможны, как универсальные автомобили. Потому что есть разные производители, они предлагают разные возможности своим клиентам, клиенты вправе выбирать, что им нужно. Кому-то нужно нагруженное веб-приложение и они выбирают линукс, кому-то интеграция с дайнамикс и шэрпойнтом и они выбирают виндоус. При этом выбор исходит из потребностей и наличия компетенций внутри компании, а не из того кому что нравится. Вы же не ездите на феррари по бездорожью, а на хаммере по автобану.
- Всё это так, точнее было так до наступления эры повальной виртуализации, а теперь смотрите что происходит:
"Кому-то нужно нагруженное веб-приложение и они выбирают линукс," - допустим так,
" кому-то интеграция с дайнамикс и шэрпойнтом и они выбирают виндоус." - и это так,
а теперь в какой-то момент времени тем, кто выбрал виндовс для своих задач, вдруг понадобился "нагруженное веб-приложение" для продолжения выкладывания в вэб данных из их задачи. В то же время как вы правильно пишете " выбор исходит из потребностей и наличия компетенций внутри компании, а не из того кому что нравится." - а у них и нет компетенции в работе с линуксом, зато есть компетенция в работе с MS(так как компания вложилась на эту даже язык не поворачивается назвать - компанию), то естественно что им остается IIS для этих целей, который вообще не предназначен для высоконагруженных вэб-приложений.
Так вот , о чем то бишь мы тут... а , так вот - что они делают - выкладывают в IIS свои данные, и ставят естественно его на виртуальную среду выполнения с неограниченными ресурсами памяти, проц.времени, жесткого диска, которые гипервизор выделит MS-серверу, где запущен IIS в случае если , вдруг возникнет отставание по показателям обслуживания нагруженное веб-приложения от аналогичного линуксового. И не беда, что линуксовый в разы меньше требует памяти, проца и харда, ведь он тоже запущен в виртуальной среде. В данном случае - мы имеем неограниченные ресурсы для гипервизора MS, у которого "этого гуталина - ну просто завались - вот и шлёт кому попало, и сколько попало". А производителям железа только и выгоднее, чтобы у них покупали как можно больше памяти, железа, MS-софта.
Что в итоге имеем? Что при всё большем удешевлении ресурсов и увеличении их объёмов продаж - всё меньше становятся требования к ресурсоэкономии и к соответственно спецам с разнообразной квалификацией, в данном случае - Apache, Tomcat on Linux.
>Универсальные ОС также невозможны, как универсальные автомобили. ?
- в данном случае - получается что как раз возможны ;)
и не просто возможны, а даже необходимы - чтобы "выбор исходил из потребностей и наличия компетенций внутри компании, а не из того кому что нравится". ;)
no subject
Date: 2014-02-03 06:03 pm (UTC)Во-вторых, перестаньте рассматривать абстрактные приложения в абстрактном мире на абстрактном железе. Каждое приложение кто-то разрабатывает, при этом задействуется цикл разработки, включающий анализ, сбор требований, проектирование, разработку и передачу в поддержку. Затем приложение попадает во вполне реальный жизненный цикл. Внимание, разработка стоит на порядки дороже всего аппаратного оборудования.
Во время проектирования проводится сайзинг в зависимости от прогнозируемых потребностей. Сюда же закладывается возможность к расширению. Если сайзинг проведен некорректно, то никакая виртуализация и выделение дополнительных ресурсов не спасут.
Также во время проектирования проводится выбор архитектуры в зависимости от требований и ожиданий. Обычно выбирают одну платформу, а не несколько. Потому что так будет дешевле и для разработки и, что не менее важно, для дальнейшей поддержки.
Поэтому ваши идеи по переключению одного ПО между различными платформами - оно немного диковато звучит для моего уха. Оно конечно так бывает, но довольно редко и в довольно специфичных случаях. Настолько специфичных, что заранее к ним готовиться смысла большого нет.
(frozen) no subject
Date: 2014-02-03 07:03 pm (UTC)- назовите хотя бы один серьезный сайт, работающий на IIS, за исключением microsoft.com ? :)
- Девелоперы всех сред разработки от MS - это бедные люди с дебильным VBasic-ком в головах...
"Во-вторых, перестаньте рассматривать абстрактные приложения в абстрактном мире на абстрактном железе."
- Тема данного обсуждения и топика - как раз обязывает именно так абстрактно обсуждать ;))
"Поэтому ваши идеи по переключению одного ПО между различными платформами - оно немного диковато звучит для моего уха. Оно конечно так бывает, но довольно редко и в довольно специфичных случаях. Настолько специфичных, что заранее к ним готовиться смысла большого нет."
- это просто Перл! ;) Где бы его записать. ;)
В целом, меня позабавил этот реплай, так как я понимаю, что вы не девелопили софт в своей жизни, а вероятно занимались более плотно организацией девелоперов как PM, и/или маркетинговыми изысканиями и принимали участие в предоставлении услуг и/или каналов связи.