Какво може да се направи от блейд сървър. Какво знаем за сървърите с висока плътност

Ако няма достатъчно място за пълноценно поставяне на обемен клъстер, тогава има изход. Достатъчно е да използвате блейд сървър. Тази технология драстично намалява отпечатъка на устройството, без да жертва производителността. И така, каква е същността на този апарат?

Особености

Известно е, че ИТ индустрията постоянно се развива etsya. Необходими всички големи техническивъзможности, които трябва да се прилагат продуктивно , включително в планаместоположение... Понякога го ключов фактор при избора на оборудване. Наемът е високзатова е желателнопостигане на максимални резултати,използвайки минималната площ.

Компактният клас технология идва на помощ. Спецификацията на "остриетата" е разработена от дълго време, но в момента тя е в пълно търсене. Разбира се, може да се твърди, че от техническа гледна точка блейд сървърът не е нищо ново, но такава концентрация на компоненти в минимален обем не беше постигната веднага.

Отне дълго проучване, оптимизация, в противен случай резултатите няма да са приятни.

Дизайн на блейд сървър интересно, макар и просто.Съставните части изпълнени както следва:

Общо тяло (кошница) в който впоследствие се вмъкват блейд сървърите. По същество шасито е шаси, в което могат да се поставят модули с възможност за гореща смяна.

Самите модули. Те всъщност са обикновени сървъри, но специален случай иоптимизиранподробности помагат значително намаляване на размера на модула.

Допълнителни модули. Това могат да бъдат захранващи устройства,вътрешни връзки и подобни неща.

Всички ненужни подробности поставени извън "кутията", съответно функциите на охлаждане, захранване, съхранение на паметтапонякога се оказва зависи от външните модули.

Само процесорът и RAM трябва да са в самия блейд. ПочивкаАртикулът може да бъде поставен в кошницата.

За продуктивенсистемата работи доста ефективно. Но е вътремасив ... Като самостоятелна система - лош вариант.

Как работи

Всички обемисти компоненти, които заемат много място, имат прекомерно разсейване на топлината, се пренасят извън модулите на лопатките.Силата на всичко на открито компонентите могат да бъдат разпределени между остриетата.

Налична е и виртуализация на някои елементи, което прави възможно внедряването на отделни контролни конзоли, разделени I/O портове.

Като цяло тази компактност изисква някои сериозни промени. Например, инсталиране на външни охладителни системи, внедряване на допълнителни компоненти. Цената на блейд сървъра е малко по-висока от цената на стандартния хардуер, но се отплаща с висока плътност на разположение и по-ниски разходи за поддръжка на инфраструктурата.

Предимства

В допълнение към компактното разположение bсървърът имаредица полезни качества:

Намаляване на броя на компонентите. За свързване са необходими по-малко кабели,външните захранващи устройства са способни работа с няколко остриета наведнъж.

Универсалност. NS Подходящ за виртуализация, бази данни, компютри. Всъщност,блейд сървър - адекватен заместител на класикатаустройства, които с голям брой изискват много място, но по отношение на производителността нямат превъзходство.

Стандартната стойка побира 42 сървъра, размер 1 U. помага да се заобиколи това ограничение, което позволява в един багажник да се поставят до 100апарат същата мощност.

По-ефективни от класическите опции при специфични задачи, когато са големимасиви от машини: хостинг, големи бази данни, високопроизводителни изчисления.

Разбира се, тези предимства не се ограничават до, но винаги си струва да помните -той ефективни в клъстер. Но, за съжаление, в голяма степенмасиви има проблем с охлаждането поради твърде плътно разположение на компонентите.

Освен това други инструменти може да са по-подходящи за някои задачи. Например суперкомпютри, ако са необходими високопроизводителни изчисления.

Придобиване

Blade сървърът е доста ефективен и се изплаща бързо. По-евтино и по-целесъобразно е да го използвате за редица задачи от клъстер от стандартни сървъри.

Ако трябва да закупите блейд сървър, можете да го направите при нас. Този клас устройства винаги се поръчват за индивидуална конфигурация в съответствие с предназначението. Можете да се свържете със специалист, за да се консултирате и да разберете подробностите, като използвате всеки метод, предложен в секцията „Контакти“.

Можете също да използвате формата за обратна връзка и специалист ще се свърже с вас по всяко удобно време. В реда „Коментар“ може да се посочи удобно време за комуникация.

Нека разгледаме основните предимства на системите с ножчета:

Уникален физически дизайн... Архитектурата на блейд системите се основава на подробен уникален физически дизайн. Споделянето на ресурси като захранване, охлаждане, превключване и управление намалява сложността и проблемите, свързани с по-традиционните сървърни инфраструктури за ракове. Физическият дизайн на блейд системите предполага поставянето на блейд сървъри в специално шаси и основният му структурен елемент е задната платка. Задната платка е проектирана по такъв начин, че решава всички задачи за превключване на блейд сървъри към външния свят: Ethernet мрежи, мрежи за съхранение на Fibre Channel, а също така осигурява SAS (SCSI) комуникация с дискови подсистеми в едно и също шаси. Блейд шасито също така побира необходимите Ethernet или Fibre Channel превключватели за комуникация с външни мрежи. Достъпът до тези превключватели от блейд сървърите се осигурява от предварително инсталирани или допълнителни контролери. Външното мрежово превключване, интегрирано в общ рафт, значително намалява броя на кабелите за LAN и SAN връзки в сравнение с традиционните сървъри за рафтове. Блейдовете на сървъра споделят общи съоръжения за захранване и охлаждане. Поставянето на системи за захранване и охлаждане в общ рафт, а не в отделни сървъри, води до по-ниска консумация на енергия и повишена надеждност.

По-добър контрол и гъвкавост... Блейд сървърите се различават коренно от сървърите в стелаж по това, че сървърният рафт има интелигентност под формата на контролни модули, която не присъства в стелажите при поставяне на традиционни сървъри. Не са необходими клавиатура, видео или мишка за работа със системата. Блейд системата се управлява от централизиран контролен модул и специален процесор за дистанционно управление на всеки блейд сървър. Системите за управление на шасита и сървъри обикновено имат доста удобен за потребителя софтуер за управление. Става възможно дистанционното управление на цялата система "Blade", включително управлението на захранването и мрежата от отделни възли.

Мащабируемост- ако е необходимо да се увеличи производителният капацитет, достатъчно е да закупите допълнителни остриета и да се свържете към шасито. Сървърите и инфраструктурните елементи в блейд системите са по-малки и заемат по-малко място от сравними стелажни решения, което спомага за пестенето на енергия и ИТ пространство. Освен това, поради модулната си архитектура, те са по-удобни за внедряване и надграждане.

Повишена надеждност... В традиционните среди за монтиране на стелажи се инсталират допълнителен хардуер, комутационни и мрежови компоненти, за да се осигури излишък за повишаване на надеждността срещу допълнителна цена. Блейд системите имат вградено резервиране, например, предполага се, че има няколко захранвания, което позволява, ако едно захранване се повреди, да се осигури непрекъсната работа на всички сървъри, разположени в шасито. Охлаждащите компоненти също са дублирани. Провалът на един от феновете не води до критични последици. Ако един сървър се повреди, системният администратор просто сменя блейда с нов и след това дистанционно инсталира ОС и приложния софтуер на него.

Намалени оперативни разходи... Архитектурата на острието води до по-малко консумация на енергия и по-малко топлина и по-малко пространство. В допълнение към намаляването на отпечатъка в центъра за данни, икономическият ефект от преминаването към блейдове има няколко други компонента. Тъй като имат по-малко компоненти от конвенционалните стелажни сървъри и често използват модели на процесори с ниско напрежение, това намалява изискванията за захранване и охлаждане на машините. Блейд инфраструктурата е по-лесна за управление от традиционната ИТ инфраструктура за стелажи. В някои случаи блейд системите позволяват на компаниите да удвоят повече от двама ресурси под контрола на един администратор (сървъри, комутатори и системи за съхранение). Софтуерът за управление помага на ИТ организациите да спестят време, като могат ефективно да внедряват, наблюдават и контролират блейд инфраструктурата. Преминаването към сървърна инфраструктура, изградена от блейдове, позволява интегрирано управление на системата и отдалечаване от стария работен процес на сървър на Intel, където на всяко приложение беше разпределена отделна машина. На практика това означава много по-рационално използване на ресурсите на сървъра, намаляване на броя на рутинните процедури (като свързващи кабели), които трябва да се извършват от системния администратор, и спестяване на работното му време.

Появата на системи за съхранение и мрежи

Друга особеност на съвременната история на развитието на изчислителните системи, наред с появата на блейд сървъри, се превърна в появата на специализирани системи и мрежи за съхранение. Вътрешните подсистеми за съхранение на сървъри често вече не могат да осигурят необходимото ниво на мащабируемост и производителност в лицето на лавинообразно увеличение на количеството обработена информация. В резултат на това се появиха външни системи за съхранение на данни, фокусирани изключително върху решаване на проблеми със съхранението на данни и предоставяне на интерфейс за достъп до данни за тяхното използване.

Data Storage System (DSS) е софтуерно и хардуерно решение за организиране на надеждно съхранение на информационни ресурси и осигуряване на гарантиран достъп до тях.

Системите за съхранение са надеждни устройства за съхранение, които са предназначени за отделен възел. Системата за съхранение може да се свързва със сървъри по много начини. Най-продуктивна е връзката чрез оптични канали (Fibre Channel), което дава възможност за достъп до системи за съхранение със скорост 4-8 Gb/s. Системите за съхранение също имат резервиране на основните хардуерни компоненти - няколко захранвания, raid контролери, FC адаптери и оптични пачкорди за свързване към FC суичове.

Ориз. 1.3.

Нека да отбележим основните предимства на използването на съхранение:

Висока надеждности отказоустойчивост - реализира се чрез пълно или частично резервиране на всички компоненти на системата (захранвания, пътища за достъп, процесорни модули, дискове, кеш и др.), както и мощна система за наблюдение и известяване за възможни и съществуващи проблеми;

Висока наличностданни - осигурени от добре обмислени функции за запазване на целостта на данните (използване на RAID технология, създаване на пълни и незабавни копия на данни в дискова стойка, репликиране на данни в отдалечена система за съхранение и т.н.) и възможност за добавяне (актуализация) на хардуер и софтуер към непрекъснато работеща система за съхранение на данни без спиране на комплекса;

Мощни инструменти за управление и контрол- управление на системата чрез уеб интерфейс или команден ред, избор от няколко опции за известяване на администратора за проблеми, пълен мониторинг на системата, технология за диагностика на производителността, работеща на ниво "хардуер";

Висока производителност- Определя се от броя на твърдите дискове, количеството кеш памет, процесорната мощност на процесорната подсистема, броя на вътрешните (за твърди дискове) и външните (за свързване на хостове) интерфейси, както и от възможността за гъвкавост конфигуриране и конфигуриране на системата за работа с максимална производителност;

Безпроблемна мащабируемост- обикновено има възможност за увеличаване на броя на твърдите дискове, обема на кеш паметта, хардуерно надграждане на съществуващата система за съхранение на данни, разширяване на функционалността с помощта на специален софтуер, работещ на стелажа, без значително преконфигуриране или загуба на каквато и да е функционалност на системата за съхранение. Този момент ви позволява значително да спестите и по-гъвкаво да проектирате вашата SAN.

Днес системите за съхранение са един от ключовите елементи, от които зависи непрекъснатостта на бизнеса на една компания. В съвременната корпоративна ИТ инфраструктура системите за съхранение обикновено са отделени от основните изчислителни сървъри, адаптирани и конфигурирани за различни специализирани задачи. Системите за съхранение предоставят много функции, те играят важна роля в изграждането на онлайн системи за архивиране и възстановяване, отказоустойчиви клъстери, високодостъпни ферми за виртуализация.

Мрежи за съхранение

SAN е високоскоростна комутируема мрежа за данни, която свързва сървъри, работни станции, дисково съхранение и лентови библиотеки. Обменът на данни се извършва по протокола Fibre Channel, който е оптимизиран за бързо гарантирано предаване на съобщения и позволява предаването на информация на разстояние от няколко метра до стотици километри.

Движещата сила зад развитието на мрежи за съхранение е експлозивният ръст в обема на бизнес информация (като имейл, бази данни и високо натоварени файлови сървъри), изискваща високоскоростен достъп до дискови устройства на ниво блок. Преди това компанията имаше "острови" от високопроизводителни SCSI дискови масиви. Всеки такъв масив е разпределен за конкретно приложение и се разглежда от него като брой "виртуални твърди дискове". Мрежа за съхранение (SAN) свързва тези острови с високоскоростна мрежа. SAN се основава на оптична връзка на устройства чрез интерфейса на Fibre Chanel, който осигурява скорост на трансфер на данни между обекти от 1,2,4 или 8 Gbit/sec. SAN помагат за подобряване на ефективността на ресурсите за съхранение, като предоставят възможност за разпределяне на всеки ресурс към всеки възел в мрежата. Нека разгледаме основните предимства на SAN:

• производителност... SAN технологиите позволяват висока производителност при задачи за съхранение и предаване на данни.
• Мащабируемост... SAN осигуряват лесно разширяване на съхранението, което улеснява използването на закупени по-рано устройства с нови устройства за съхранение.
• Гъвкавост... Споделянето на системи за съхранение обикновено опростява администрирането и добавя гъвкавост, тъй като кабелите и дисковите масиви не трябва да бъдат физически транспортирани и пренасочени от един сървър към друг. SAN позволява нови сървъри и дискови масиви да бъдат свързани към мрежата, без да се изключва системата.
... Друго предимство е възможността за зареждане на сървъри директно от мрежата за съхранение. С тази конфигурация можете бързо и лесно да замените неуспешен сървър, като преконфигурирате SAN, така че заместващият сървър да се зарежда от логическото устройство на неуспешния сървър.
• толерантност към грешки... SAN ви помагат да се възстановите от бедствие по-ефективно. SAN може да включва отдалечен сайт с вторично съхранение. В този случай можете да използвате репликация - реализирана на ниво контролери на масиви или с помощта на специални хардуерни устройства. Търсенето на подобни решения нарасна значително след събитията от 11 септември 2001 г. в САЩ.
• Контрол... SAN технологиите позволяват централизирано управление на цялата подсистема за съхранение.

Владислав Шаров

Според повечето експерти блейд сървърите (блейд, модулни, ултратънки сървъри) са следващото поколение компютърна архитектура, която облекчава сериозността на много съществуващи проблеми и влияе върху начина, по който OEM производителите подхождат към дизайна на стандартните устройства. Тези сървъри наистина могат да увеличат плътността на оборудването в стелажите, а освен това се характеризират с по-добра управляемост, по-ниска консумация на енергия, по-удобни за поддръжка, по-лесни за разгръщане, което в крайна сметка води до по-ниска обща цена на притежание (TCO) . И въпреки че първите въплъщения на сървърни модули са най-подходящи за разширяване към външната (клиентска) част на ИТ инфраструктурата, вероятно тази архитектура ще продължи да се развива и ще играе важна роля на всички нива на инфраструктурата на центъра за данни.

По същество сървърният блейд е компютър, сглобен на една платка. Тази единствена задна платка всъщност съдържа цялата компютърна система, включително процесори, памет, мрежови връзки и други електронни схеми. Някои сървърни модули може да имат определен брой локални дискови устройства с възможност за достъп до външни носители за съхранение.

Всеки сървърен модул изпълнява собствено копие на операционната система, следователно администраторите могат да разпределят конкретни модули между различни задачи или потребители и да ги вмъкват или премахват горещо, без да пречат на съседните модули. Блейдовете на сървъра се включват в шаси или задна платка на шасито, което осигурява споделени и излишни ресурси като захранвания, вентилатори, мрежово оборудване и кабели.

Има няколко причини за успеха на сървърните блейдове. Например, системи от този клас позволяват на доставчика на компютърно оборудване да предоставя на клиентите решения, които повишават ефективността на центъра за данни и намаляват общите разходи за притежание. Най-общо казано, подобряването на ефективността на центъра за данни разчита на няколко аспекта на сървърните блейдове.

Блейдовете на сървъра са сравнително евтини, защото за разлика от традиционните сървъри, те не използват индивидуално шаси и собствена инфраструктура. Споделянето на захранване, охлаждане, контрол и окабеляване между множество сървъри може значително да намали цената на сървър. Доставчиците на сървъри вече могат да интегрират компоненти, които преди това трябваше да бъдат закупени отделно, като карти за дистанционно управление, Ethernet превключватели и дори KVM (клавиатура, видео, мишка) адаптери, в дизайни, които значително намаляват цената на хардуера. Споделянето на висококачествени компоненти между множество сървъри също е оправдано от гледна точка на надеждността, тъй като този подход намалява броя на компонентите и следователно вероятността от тяхната повреда. Поради високите първоначални разходи за разработка на шасито, сървърните блейдове са най-подходящи за използване в среда на център за данни с висока хардуерна плътност на единица площ, а не за изграждане на система от множество центрове за данни с няколко сървъра всеки.

Разгръщането на множество сървъри може да бъде ресурсоемка задача. Администраторът инсталира всеки сървър в стелаж, свързва мрежови и захранващи кабели и инсталира софтуер на тях. В среда с висока плътност един от основните проблеми, които се срещат по време на монтажа, е окабеляването. При блейдовете на сървъра администраторът инсталира и свързва само шасито, тъй като отделният модулен хардуер обикновено не изисква окабеляване. Добавянето на изчислителни ресурси в този случай се свежда до просто добавяне на нова дъска. Наличието на общо шаси свежда до минимум проблемите с кабелите, тъй като излишните захранвания обслужват няколко модула едновременно. В допълнение, вградените комутатори консолидират управлението на Ethernet мрежи и дори KVM връзки.

Автоматизираните инструменти за инсталиране на софтуер позволяват на администраторите бързо и лесно да разгръщат софтуер в мрежа на един или много сървърни модули едновременно. След като софтуерът е инсталиран на блейдовете на сървъра, администраторът може напълно да ги управлява с помощта на инструменти за отдалечено администриране. В този случай клиентите трябва да разчитат на производителите да предоставят пълен набор от инструменти за отдалечено инсталиране на софтуер, хардуерна конфигурация и управление на системата. Този набор от инструменти ще позволи на клиентите да управляват блейд и традиционните интегрирани сървъри от една структура, което намалява разходите.

Както вече беше отбелязано, поддръжката на повреден модул се свежда до подмяната му с изправен. Администраторът може също така лесно да създаде глобален резервен сървър с гореща смяна, който чрез дистанционно управление може да се справи с всички атрибути и задачи на сървърен блейд, нуждаещ се от обслужване или ремонт.

Тъй като пространството в центъра за данни е много скъпо, през последните няколко години на пазара се наблюдава тенденция към оптимизирани по плътност сървърни стелажи. Сървърните блейдове могат драстично да увеличат хардуерната плътност в сравнение с днешните 1U оптимизирани сървърни конструкции (1U = 1,75 "= 4,445 cm), в зависимост от производителя и използвания дизайн. Освен това, тъй като всеки модул е ​​самостоятелен сървър, шасито позволява множество приложения да работят в рамките на едно шаси. Тази консолидация помага и за постигане на по-висока степен на централизация на изчислителните ресурси.

Мениджърите на центрове за данни трябва да оценят нуждите на всеки клиент и да гарантират, че им е разпределено количеството споделени инфраструктурни ресурси (независимо дали са вътрешни или външни в случай на доставчици на услуги), за да се справят с максималното използване на капацитета. Често се случва значително количество оборудване да остане недостатъчно използвано, докато консумира енергия, генерира топлина и губи пари, административни ресурси, мощност и пространство.

Преминаването към блейд архитектура и използването на свързани подобрения в софтуера за управление на натоварването позволява на инфраструктурата да бъде оразмерена въз основа на пиково натоварване, не за отделни клиенти или групи, а за нуждите на целия център за данни като цяло. Това обикновено се постига със софтуер за управление, но сървърните блейдове могат да подобрят производителността на софтуера чрез ниската си цена и опростен процес на добавяне на изчислителни ресурси.

За да намалят консумацията на енергия, повечето производители на блейд сървъри се опитват да използват процесори с ниска консумация на енергия в някои от своите проекти. Но дори и с конвенционалните процесори, сървърните блейдове ще консумират по-малко енергия от конвенционалните сървъри, защото използват по-малко енергоемки компоненти. Освен това производителите могат да използват по-ефективни захранвания, тъй като тези устройства обслужват много сървъри. Ултракомпактните сървъри, които използват по-малко енергия, генерират по-малко топлина, което от своя страна намалява количеството енергия, необходимо за охлаждане на системите.

Блейд сървъри на Fujitsu Siemens Computers

Fujitsu Siemens Computers (http://www.fujitsu-siemens.com) пусна първия си блейд сървър, модела Primergy BX300, в средата на 2002 г., базиран на нисковолтовата версия на процесора Pentium III. Всяко сървърно шаси на Primergy BX300 побира до 20 сървърни модула 3U, които вече използват новия процесор Pentium M с тактова честота 1,4-1,6 GHz. Системна памет до 4GB DDR SDRAM поддържа ECC технология за откриване и коригиране на грешки. Два IDE твърди диска, до 60GB всеки, могат да бъдат комбинирани в RAID 0, RAID 1 и RAID 7 (JBOD) масиви. Всеки сървърен модул има два Gigabit Ethernet канала.

Това прави Primergy BX300 способен да обработва сложни и ресурсоемки системи като голям брой терминални сървъри или уеб сървъри. В същото време той осигурява предимствата на по-ниски разходи за острие и по-малко пространство в стелажа.

Новият сървърен модул в Primergy BX300 включва и допълнителен PCI слот за Gigabit Ethernet и Fibre Channel свързаност. Това означава, че BX300 може да достави още по-голяма честотна лента чрез интегриране в корпоративни мрежи или предоставяне на допълнителна функционалност в мрежови инфраструктури за съхранение. Когато разгръщате сървърни блейдове, този аспект често е жизненоважен за доставчиците на интернет услуги и доставчиците на приложения.

Шасито BX300 съдържа резервни и горещо включващи модули за захранване и вентилатори, както и интегриран KVM превключвател за директен достъп до всеки отделен сървърен модул. Самостоятелните сървърни блейдове разполагат с нова, енергийно ефективна процесорна технология за повишаване на производителността на обработка и изчисление, докато стабилната, високопроизводителна LAN свързаност на блейд сървърите на Primergy е гарантирана от резервни Gigabit Ethernet комутационни модули с възможност за горещо свързване. В същото време, контролните модули, също дублирани и с възможност за горещо свързване, осигуряват отдалечено администриране чрез LAN или специален сериен порт, независимо от състоянието на системата. Освен това има решение за инсталиране на софтуер с много опции за лесно и ефективно разпределение на софтуера в отделни модули и клониране на вече инсталирани пакети. Информацията за състоянието и местоположението се обозначава чрез светодиоди както на шасито, така и на сървърните модули на Primergy.

В началото на 2004 г. корпорацията разшири семейството си блейд сървъри с високопроизводителната система Primergy BX600. Конфигурационните елементи включват също захранващи модули, модули за превключване и модули за управление. Всяко шаси (рафт) Primergy BX600 съдържаше до 10 сървърни модула, включително 2,8 GHz процесор Intel Xeon.

Блейдовете на сървъра Primergy BX600 са проектирани предимно за приложения от средно ниво и следователно могат да служат като платформа за почти всички приложения в центровете за данни. Те служат както като високопроизводителни сървъри за приложения, така и като малки до средни сървъри на бази данни с големи количества RAM и разнообразие от Gigabit Ethernet LAN свързаност, 2 Gb Fibre Channel съхранение и устройства за архивиране в съответствие със стандарта SCSI.

Primergy BX600 поддържа не само класически приложения от средно ниво като Microsoft Exchange или Lotus Notes, но и приложения от корпоративен клас, включително FlexFrame за mySAP Business Suite, традиционни SAP приложения, Siebel, Baan, I2 и други подобни. Primergy BX600 служи като добра платформа за бази данни като Oracle 9iRAC и особено Oracle 10g, които са мащабируеми. Всички други компоненти на Primergy BX600 (например интегрирани Ethernet комутатори) осигуряват достатъчна производителност и честотна лента.

В края на лятото на 2004 г. Fujitsu Siemens обяви началото на продажбите на четирипроцесорни модели Primergy BX600, подходящи за компютърни центрове с високи изисквания за изчислителна мощност. В допълнение, Primergy BX600 отговаря на изискванията на днешните корпоративни изчислителни центрове, доставчици на интернет услуги и доставчици на услуги за наемане на приложения. Възможността за монтиране на до 30 сървъра с четири гнезда в 19-инчов 46U багажник гарантира оптимално използване на пространството във вашия компютърен център. Сървърните блейдове включват допълнителни компоненти, които осигуряват надеждност и устойчивост, както и лекота и ефективност на управлението. Включеният Primergy Server Management Suite елиминира неудобството при инсталиране и конфигуриране на системи.

Модулът вече може да побере до четири процесора Intel Xeon MP, до 16 GB RAM, както и четири Gigabit Ethernet и до четири Fibre Channel за SAN свързаност. Всеки сървърен модул съдържа два Ultra320 SCSI твърди диска с възможност за горещо свързване по 146 GB всеки. Те не изискват отделен модулен конектор за инсталиране.

Тъй като модулите с четири гнезда използват същата инфраструктура на Primergy BX600 като модулите с две гнезда, те могат да бъдат инсталирани в едно и също шаси (смесени конфигурации). Шасито Primergy BX600 може да съдържа до пет четирипроцесорни сървъра или до десет двупроцесорни сървъра.

HP Server Blades

През пролетта на 2002 г. HP Corporation (http://www.hp.com) представи комбинирано семейство от ултракомпактни сървъри, което включваше сървърните линии HP Server BH и HP ProLiant BL с една платка. С двете линии на блейд сървъри експертите оцениха, че HP успя да демонстрира най-изчерпателното и мощно портфолио от продукти, технологии, административен софтуер, инструменти, услуги и партньорства в индустрията в индустрията.

Първият модел от серията ProLiant BL e-Class беше сървърът BL10e, пуснат от Compaq (по-късно слят с HP) в началото на 2002 г. 42U стелаж може да побере до 280 от тези сървъра (14 рафта с по 20 сървъра всеки). ProLiant BL e-Class (модел BL10e G2) в момента използва процесор с ултра ниско работно напрежение 1 GHz ULV Pentium M. Сървърът е оборудван с 512MB до 1GB SDRAM, 40GB твърд диск и два 10/100 Ethernet порта.

Стратегията за адаптивна инфраструктура на HP има за цел да даде възможност на компаниите да реагират бързо и ефективно на промяна и оптимизиране на клиентските инфраструктури за бъдещето. Нови хардуерни и софтуерни технологии като ProLiant BL блейд сървърна архитектура демонстрират тази способност.

Днес линията HP ProLiant BL е най-широкото портфолио от сървърни блейдове и технологии в индустрията, оптимизирани за предизвикателствата, пред които са изправени центровете за данни, доставчиците на услуги и телекомуникационните оператори. HP Server Blades помага за намаляване на разходите и сложността на информационните системи чрез всеобхватно управление и по-добро използване на сървърните възможности и възможностите за съхранение. Корпорацията предлага широка гама от сървърни блейдове, които поддържат преден, междинен и бекенд софтуер и системи.

Например, блейд сървърите HP ProLiant BL10e G2 са проектирани да работят на ръба на мрежовите и инфраструктурни приложения, например като уеб сървъри, защитни стени, прокси или кеширащи сървъри. Този модел все още заема водеща позиция сред сървърите от този клас по отношение на енергийната ефективност. 3U шаси може да побере 20 сървърни блейда ProLiant BL10e, а пълен багажник 42U може да побере 280 сървъра. Така се оптимизира използването на скъпо пространство в центъра за данни, както и консумацията на енергия и охлаждане на оборудването с минимално количество окабеляване.

Сървърните блейдове HP ProLiant BL20p G2 са проектирани за използване като терминални сървърни масиви, уеб хостинг системи, електронна търговия и услуги за поточно предаване на медии. В същото време те са в състояние да осигурят защитата на важна информация, съхранявана на сървърите. Всеки модул поддържа до два процесора Xeon MP с тактова честота 2,8-3,2 GHz. Обемът на RAM варира от 512 MB до 8 GB; вътрешен SCSI капацитет за съхранение - 292 GB.

Особено си струва да се подчертае системата ProLiant BL30p, която според разработчиците няма аналози сред блейд сървърите от други производители, например по отношение на елегантността на решаването на проблема с увеличаването на плътността на изчислителната мощност. Факт е, че 96 двупроцесорни компютъра могат да бъдат поставени в един багажник - рекордна цифра за блейд сървъри, базирани на процесори Xeon. Модулите използват процесори с тактови честоти от 3,06 до 3,2 GHz. Подобно на BL10e, този сървър с 2 гнезда е висок 3U, но се побира по двойки в рафт от 6U. Системата е много подходяща за приложения от средно ниво, които изискват висока мощност на обработка. Като опция той предвижда инсталиране на два вътрешни 2,5-инчови ATA твърди диска (вместо да заемат повече място, въпреки че са по-продуктивни SCSI устройства в ProLiant BL20p). Капацитетът на вътрешната памет е 120 GB, а обемът на RAM достига 8 GB. Системата е фокусирана върху работата със SAN и поддържа зареждане от външни устройства, така че може да се използва в бездискова конфигурация.

Струва си да се отбележи, че HP беше първият голям производител на сървъри, който представи блейд сървъри с четири гнезда. Това събитие беше значително улеснено от водещата позиция на корпорацията на световния пазар на сървъри, базирани на процесори Intel. Сървърът HP ProLiant BL40p разшири своето портфолио от сървърни блейдове, което включва модели с един, два и четири гнезда.

Сървърът HP ProLiant BL40p е проектиран за системи, които изискват многопроцесорна поддръжка и SAN свързаност, като големи корпоративни масиви от сървъри за приложения, съобщения, CRM и ERP системи, които също изискват стабилна и високодостъпна платформа. Този сървър включва до четири процесора Xeon MP с тактова честота 2,0 GHz (или 3,0 GHz), PC2100 ECC SDRAM (максимум 12 GB), интегриран контролер Smart Array 5i Plus и четири SCSI устройства с горещо включване (общо 587 GB)). Комбинирайки ProLiant BL40p с други BL сървъри, можете да намалите разходите, като се управлявате дистанционно от всяка точка на света с подобрена версия на Integrated Lights-Out (iLO). В допълнение, интегрираната система за управление и пълната съвместимост с Insight Manager Suite осигуряват максимално виртуално присъствие, контрол, администриране и наблюдение на системата с визуализация на всички приложения на нивото на всеки сървърен блейд. Дублираният интерфейс на Fibre Channel се възползва изцяло от външното съхранение в мрежата. Чрез внедряването на SAN клиентите могат да подобрят наличността на данни, лесно да мащабират капацитета и да намалят разходите за управление чрез консолидиране на дисковите ресурси. В допълнение, сближаването на SAN и NAS на HP помага за изграждането на архитектура за съхранение, която включва приложения, бази данни и функции на файлов сървър. HP препоръчва използването на SAN и NAS с марка HP StorageWorks, специално оптимизирани за използване със сървърните блейдове на компанията.

HP ProLiant BL40p сървъри.

С SAN свързаността корпоративните приложения могат да работят на сървърни блейдове, което може да помогне за намаляване на разходите за управление и реализиране на предимствата на интегрирана система от сървъри, мрежи и съхранение. В допълнение, SAN свързаността позволява капацитет за съхранение до стотици терабайта; разширяване на поддръжката за корпоративни изчислителни системи; свързване на сървърни блейдове и бази данни както към SAN, така и към комбинирани NAS / SAN системи (за съхранение както на файлови, така и на блокови данни); Реализира предимствата на управлението на мрежово съхранение със софтуерния пакет HP OpenView Storage Area Manager.

Сървърите ProLiant BL от P- и E-Class са обратно съвместими със съществуващите BL корпуси, за да помогнат за защита на инвестициите на клиентите. Всички блейд сървъри от семейството на HP ProLiant BL са лесни за управление с HP ProLiant Essentials, HP Insight Manager 7 и софтуера HP OpenView. HP ProLiant Essentials Rapid Deployment Pack автоматично конфигурира и инсталира операционни системи и приложения на стотици сървъри едновременно. Тези технологии са специално оптимизирани за интеграция със софтуера HP OpenView, за да осигурят безпроблемно управление на ИТ инфраструктури, мрежи за глас и данни.

IBM Blade сървъри

IBM (http://www.ibm.com) навлезе на пазара на блейд сървъри сравнително късно, като обяви първия си модел BladeCenter през есента на 2002 г. Въпреки това анализаторите казват, че сега, както обикновено, е сред лидерите.

Както беше отбелязано, предимствата на блейд сървърите пред конвенционалните тънки сървъри не се ограничават до по-висока плътност и по-ниска цена (поради по-малко кабели и други компоненти в сървърния комплекс). Може би най-голямата полза от използването на блейд сървъри е свързана с намаляване на общите разходи за притежание поради високата гъвкавост и мащабируемост на тези системи, тяхната по-добра управляемост и поддръжка.

IBM, по-специално, възнамерява своята система BladeCenter за обслужване на сървъри за електронна поща и организиране на сътрудничество между Microsoft Exchange и Lotus Domino, терминални сървъри Citrix MetaFrame, уеб приложения, както и бази данни и предни компоненти на ERP системите. Освен това блейд сървърите на IBM са подходящи за изграждане на високопроизводителни Linux клъстери и обслужване на DNS сървъри, кеширане и балансиране на натоварването.

В момента линията BladeCenter включва три сървърни модула, които са изработени в 7U дизайн и могат да се монтират в един рафт (шаси). Това са двупроцесорен HS20 и четирипроцесорен HS40 на базата на Intel Xeon (с поддръжка на EM64T), както и двупроцесорен JS20, използващ 64-битов процесор PowerPC 970.

Струва си да се отбележи, че Intel (http://www.intel.com) смята дизайна на BladeCenter за най-обещаващия за блейд сървъри и на един от своите форуми за разработчици (IDF), Intel представи серия от конструкции Intel Enterprise Server Blade блокове . Днес той включва двупроцесорен Intel Server Compute Blade SBLX52 и четирипроцесорен SBX44 (аналози на IBM BladeCenter HS20 и HS40, съответно).

Въпреки общите им корени, има редица разлики между сървърните блейдове на IBM и Intel. Например, докато BladeCenter се управлява от стандартния IBM eServer xSeries собствен софтуерен пакет IBM Director, Intel Server Management изпълнява подобни функции в Intel Server Blade, а помощната програма OpForce, разработена от Veritas Software, се използва за автоматизиране на внедряването на конфигурации на големи блейд сървъри.

В допълнение към сървърните модули, шасито BladeCenter може да бъде оборудвано с модули за разширение, които позволяват интерфейси Myrinet и Fibre Channel, увеличават честотната лента на Ethernet подсистемата, свързват допълнителни устройства SCSI и ATA 100. В допълнение, четирипортов Gigabit Ethernet комутатор се предлага като опция за шасито BladeCenter. Собственият Gigabit Ethernet превключвател Layer 2-7 на Nortel Networks, двупортов превключвател Fibre Channel, оптичен модул за преминаване, втори модул за управление / KVM, 1800W захранване и специален модул за намаляване на шума.

IBM също предлага софтуер за управление на енергията PowerExecutive. Това е първият продукт в стратегията за намаляване на разходите за енергия в центровете за данни. Софтуерът PowerExecutive е част от BladeCenter Platform Management Engine и позволява на ИТ да управлява по-добре консумацията на енергия на блейд сървърите.

Блейд сървъри Kraftway

Kraftway (http://www.kraftway.ru), един от признатите лидери на руския пазар на компютърни технологии, за първи път представи нов клас сървъри, базирани на процесори Intel Xeon под търговската марка GEG Express Blade през септември 2003 г. Intel Enterprise Server Блейдовете са с височина 7U и разполагат с до 14 изчислителни модула (SBXL52), поддържащи един или два процесора Xeon всеки. Имайте предвид, че форматът Intel Enterprise Server Blade ви позволява да създавате мощни и гъвкави високо интегрирани изчислителни решения. Всеки изчислителен модул поддържаше 4GB до 8GB DDR200 ECC памет, заемаше един слот на шасито и имаше две интегрирани Gigabit Ethernet връзки към мрежата. По желание може да бъде инсталиран 2Gb/s модул с двойна връзка Fibre Channel за интегриране на сървъра в съществуващи SAN инфраструктури.

Kraftway GEG Express Blade сървъри.

През февруари 2004 г. Kraftway, по това време все още единственият руски производител на блейд сървъри, обяви четирипроцесорен модул (SBX44), базиран на процесори Intel Xeon MP с тактова честота до 2,80 (3) GHz. Дебелината на такъв модул беше два пъти по-голяма от двупроцесорната конфигурация, обявена през есента на 2003 г. До седем от тези модула могат да бъдат инсталирани в универсалното сървърно шаси на GEG Express Blade. При запазване на плътността на решението - до 28 процесора в едно 19-инчово 7U шаси - използването на четирипроцесорни модули ви позволява да получите значително увеличение на цялостната производителност на системата поради преминаването към процесори с MP-архитектура.

Новият модул е ​​оборудван с четири Gigabit Ethernet контролера и позволява инсталирането на два ATA 100 или Ultra320 SCSI твърди диска (с помощта на специална външна клетка, монтирана на модула), които могат да се комбинират в RAID 0 или 1. В допълнение, новата модулът може да бъде оборудван с допълнителни "бързи" интерфейси като Fibre Channel и Myrinet.

С въвеждането на нова 4-посочна модулна реализация, GEG Express Blade System осигурява отличен обем/производителност и цена/производителност чрез своя силно интегриран дизайн.

С висока производителност на обем, компактните GEG Express Blades позволяват на клиентите с големи сървърни ферми да използват по-ефективно съществуващото подово пространство и значително да спестят както пространство, така и консумация на енергия. Управлението на всички модули на GEG Express Blade сървър от една конзола значително намалява разходите за системно администриране. Благодарение на високата производителност на системата GEG Express Blade, базирана на четирипроцесорни модули при работа с големи информационни масиви (например с големи бази данни), тя може да се използва успешно в изследователски институции, в телекомуникациите, банковата и производствената индустрия.

Отличителна черта на Kraftway GEG Express Blade е възможността за комбиниране на дву- и четирипроцесорни модули в едно шаси и инсталиране на различни операционни системи на различни модули в зависимост от изпълняваните задачи. Всички пуснати модули са сертифицирани за съвместимост с Microsoft Windows 2003 Server и Linux Red Hat. GEG Express Blades идват с петгодишна гаранция, като първите две години се предлагат на място.

Софтуерът Intel Deployment Manager автоматизира много административни задачи, свързани с мониторинг на системата, инсталиране на софтуер и различни актуализации на BIOS, фърмуер и други сървърни блейдове чрез интелигентна софтуерна среда. Например, можете да автоматизирате следните задачи:

• откриване на промени в хардуерната и софтуерната конфигурация;
• проследяване на промените в софтуерните лицензи (позволява ефективно да управлявате лицензите - да ги добавяте, изтривате, премествате);
• едновременно инсталиране на софтуер на няколко сървъра;
• групова актуализация на версиите на BIOS и фърмуера;
• ефективно управление на настройките на локалната мрежа, логическо разделяне на групи по предварително зададени критерии, диференциране на потребителските права за управление на целия комплекс;
• Управлявайте всички ресурси на блейд сървъра от едно място.

Традиционно всяка от горните задачи се изпълнява от различни групи в рамките на организацията. Веднага след като групата изпълни една задача, се поема друга и така до завършване на всички необходими настройки и инсталации. Intel Deployment Manager ви позволява напълно да автоматизирате подобни процеси, елиминирайки всички ръчни операции.

Днес продуктовата линия на компанията включва и GEG Express Blade-N, система от модулен клас 3U, съдържаща до 18 сървърни модула с възможност за гореща смяна с общо управление. Той е предназначен предимно за използване в изчислителни системи с висока плътност. Когато GEG Express Blade-N е монтиран в стандартен 42U сървърен шкаф, системата ще побере 252 сървърни модула с процесори Intel Pentium III, 100/1000 Mbps мрежови интерфейси, твърди дискове и стандартни PCI слотове за разширение.

Плаши системните администратори без опит с този ужасен хардуер. За мнозина това е нещо мега сложно и скъпо, към което все повече да растат и да израстват професионално. Ще се опитам да отговоря писмено на въпросите, които идват от читателите на сайта за блейд сървърите, за да покажа, че всичко е точно обратното. Разбира се, всичко ще бъде в контекста на виртуализацията и няма да се вземат предвид специалните случаи. В текста, като се появят компоненти, ще бъдат посочени цени за тях и точните имена с номера на частите.

За начало помислете за две снимки, които ще анализираме в цялата история. Първата е диаграма на свързване на сървъри към система за съхранение (SAN) и към локална мрежа (LAN) с дублиране на системни елементи. Опитайте се да не се заплитате в проводниците, както често се случва на практика при подобни инсталации.

Ето как изглежда на обикновените сървъри

И така, отдолу нагоре. SAN - Storage Area Network - в случай на виртуализация, това е връзка чрез SAS кабел или чрез оптични кабели с Fiber channel (FC). Има и iSCSI, но това вече не е SAN, а NAS - Network Attached Storage. Няма да го разглеждаме в тази статия, т.к iSCSI не се използва в сериозни проекти, като е по-нисък от тях по скорост на пренос на данни. И докато 10Gibt комутаторите и мрежовите карти са също толкова скъпи, по-правилно е да използвате FC (8Gbit) и SAS (6Gbit).

Системата за съхранение обикновено има два контролера и те работят в активен-активен режим. Първо, RAID групите се създават от твърди дискове в системата за съхранение, след това в тези групи се създават логически LUN. Ако Windows е инсталиран на вашия сървър, LUN ще се покаже като друг твърд диск, той ще трябва да бъде форматиран в NTFS и използван. Ако сте свързали LUN към ESXi сървъра, той ще бъде форматиран във VMFS.

В активен-активен режим на контролерите на всеки LUN се присвоява собствен контролер, чрез който сървърите се свързват към него, като по този начин натоварването се разпределя в системата за съхранение.За да може сървърът да се свърже със системата за съхранение и да получи достъп до цялата информация в нормален режим, той трябва да бъде свързан към всеки контролер. Следователно, трябва да поставите два HBA адаптера в PCI-E слотове или един, но два порта.

За SAS цените са. Изчисление за 3 сървъра

HBA адаптер - 46M0907 - IBM 6Gb SAS HBA - 280$ - имате нужда от 6 бр
SAS кабел 3 метра - 39R6531 - IBM 3m SAS кабел - 100$ - трябват ви 10 бр
SAS превключвател - LSI00269 - ПОДКЛЮЧВАТЕЛ SAS 16P / LSI00269 LSI - 2500$ - трябват ви 2 бр

За FC оптиката все още е по-скъпа. Изчисление за 3 сървъра

HBA адаптер - 49Y3760 - QLogic 8Gb FC Еднопортов HBA за IBM System x - 952$ - необходими са 6 бр
FC кабел 5 метра - 39M5697 - 5 м оптичен кабел LC-LC - 141$ - трябват ви 10 бр
FC ключ - 249824E - Express IBM System Storage SAN24B-4 - 3100$ - трябват ви 2 бр
Оптичен трансивър, комплект в превключвател - 45W0500 - SFP 8 Gbps SW - 351$ - трябват ви 2 бр
Трансивъри за съхранение - 39R6475 - Оптичен трансивър на IBM 4-Gbps - SFP - 70$ - трябват ви 4 бр

Е, свързахме сървърите към системата за съхранение. Сплетохме целия багажник с проводници и се страхуваме да мислим как ще се разширим, ако изведнъж искаме да свържем още няколко сървъра. Особено в случая с FC, където ще трябва да закупите допълнителни лицензи, за да активирате допълнителни портове в оптичните суичове. Имайте предвид, че ако имаме сървъри с едно устройство, тогава най-вероятно има два PCI-E порта и те вече са заети от HBA адаптери.

Сега пускаме сървъри към локална мрежа (LAN), използваме два (и двата) порта за отказоустойчивост. Свързваме кръстосано към два мрежови превключвателя, добавят се още 6 проводника. Може да попитате защо винаги се фокусирам върху проводниците и тяхната комутация? Защото в блейд сървъра няма такива проблеми.

Сървърното блейд шаси е корпус с височина до 10U, цялото превключване е скрито в него, ще трябва да поставите блейдовете в него. Блейдът е сървър в компактен корпус, всичко е същото като в обикновен сървър: 2 процесора, слотове за памет, място за два 2,5-инчови твърди диска и нямат вентилатори за охлаждане, въздухът се задвижва от FAN система в шасито. Архитектурата първоначално е изградена с очакването, че ще имате система за съхранение, така че има толкова малко място за HDD, само за инсталиране на операционната система. Картите, които можете да закупите в остриетата, изглеждат необичайно. На първата снимка FC HBA, на втората SAS HBA.

„Къде да залепя кабела?“ - ти питаш. Красотата е, че всичко ще се свърже от само себе си и където е необходимо. На гърба на шасито има слотове за инсталиране на всичко необходимо. На първо място, това са мрежови комутатори, чрез които блейдовете ще бъдат свързани към локална или глобална мрежа. Всеки блейд има две вградени мрежови карти, ако инсталирате само един мрежов превключвател на задната страна, тогава едната карта веднага ще се свърже към нея, а другата няма да бъде свързана никъде, докато не бъде инсталиран вторият превключвател. Първоначално всичко е проектирано, за да осигури дублиране на елементи и да увеличи толерантността на грешки. Получавате същата схема като на първата снимка, само че проводниците няма да стърчат в различни посоки. Освен това мрежовият комутатор има вътрешни портове за свързване на блейдове и външни, които се използват за превключване с оборудване извън кошницата. Вътрешните портове са скрити, но достатъчни, за да се включат всички блейдове, когато блейд шасито е пълно.

Мрежов превключвателза блейд шаси - 32R1860 - Nortel Networks Layer 2/3 Copper GbE Switch Module за BladeCenter - 2 186$ - нужни са ви 2 бр.

Връзка към сървъра на Bled<->Съхранение над SAS скорост 6Gbit/s на порт

При SAS всичко е приблизително същото, две SAS HBA карти и два SAS превключвателя се купуват в кошницата за блейдове. След като инсталирате аксесоарите, можете да свържете SAS системата за съхранение към всички блейдове. За да направите това, всеки контролер за съхранение трябва да бъде свързан с SAS кабел към всеки SAS превключвател на клетката с ножове, кръст до кръст. Само 4 кабела. За 3 сървъра вътре в кошницата остават 6 SAS кабела, което може да ни пречи.

SAS превключвателза блейд шаси - 39Y9195 - IBM BladeCenter SAS модул за свързване - 998$ - трябват ти две
2-портов SAS HBA блейд адаптер - 43W4068 - SAS карта за свързване (CIOv) за IBM BladeCenter - 212$ - за три остриета вземаме 3 бр

Връзка към сървъра на Bled<->FC скорост на съхранение 8Gbit/s на порт

FC връзката излиза много по-скъпа, а методологията е същата като при SAS. Може да възникнат допълнителни разходи, ако вашата система за съхранение не е оборудвана с оптични портове по подразбиране и трябва да закупите карти за разширение за нея, какъвто е случаят с популярните IBM DS3524 и IBM DS3512. За да започнат да работят в оптиката, се купуват още две Дъщерни карти. Що се отнася до цените, тогава

FC превключвателв шаси с обезвъздушаване - 44X1920 - Brocade 20-портов 8 Gb SAN превключвателен модул за IBM BladeCenter - 13 093$ - трябват ви две, не е евтино, да
Комплект трансивър за превключвател FC - 44X1962 - Brocade 8 Gb SFP + SW оптичен трансивър - 296$ - поне 8 броя или 12 в двата превключвателя
FC HBA в Blade Dual Port - 44X1945 - QLogic 8Gb Fiber Channel Expansion Card (CIOv) за IBM BladeCenter - 1 197$ - по едно във всяко острие

Обобщавайки, решението за блейд сървър е по-скъпо от обикновеното сървърно решение, но си заслужава. Ще получите много висококачествен и разбираем модул, който ще ви позволи лесно да разширите изчислителната си мощност, като просто закупите допълнителни блейдове, без да мислите за превключване, пространство в стойка или охлаждане. В комбинация с виртуализация, решението се превръща в перфектна комбинация, т.к Архитектурата на блейд сървъра и свързаната към него система за съхранение (или няколко) е точно схемата, която е определена като препоръчителни документи за проектиране на инфраструктура.

Ето защо, ако бюджетът ви позволява, поискайте оферти, базирани на блейд сървъри. При свързване на системата за съхранение чрез SAS към кошницата вече не е толкова скъпо, доста е достъпно. Няма да публикувам целия ценоразпис, безсмислен е, но ще очертая някои точки.

Шасито е 5 100 $
Остриетата започват от 3 300$ в първоначалната конфигурация, на цена като обикновените сървъри
Бездискова система за съхранение 5 300$ с 4 вградени SAS порта

IBM се отнася много добре към клиентите за първи път, и особено към тези, които купуват решения, няма съмнение, че блейд сървърът се счита за решение. IBM обича да се конкурира с HP и през последните години успя. Това се изразява в много добри отстъпки, понякога до 30% при готово търговско предложение.

P.S. темата е многостранна, ако смятате, че статията си струва да добавите нещо, изпратете вашите желания на пощата (вдясно над банерите), опитах се да напиша колкото е възможно повече.