Содержание

World Wide GRID- — будущее уже рядом / Habr

ХXI век, возможно, станет эпохой массового внедрения грид-технологий. Счастливое человечество стоит на пороге очередной компьютерной революции, в результате которой произойдет трансформация привычного для нас сегодня WWW (World Wide Web — интернета) в WWG (World Wide GRID — всемирную грид-сеть).

Магическая грид-среда, способная виртуализировать процессоры, память и коммуникации, обещает превратить все компьютерные ресурсы мира в своего рода гигантский мультипроцессор, обладающий практически неограниченными вычислительными возможностями.

Информатизация сегодня выходит на четвертый этап своего развития. Первый был связан с появлением больших компьютеров (мейнфреймов), второй — с персональными компьютерами, третий — с появлением интернета, объединившего пользователей в единое информационное пространство. Первое же десятилетие XXI века, по мнению многих специалистов, знаменуется началом перехода на новые грид-технологии.

Впрочем, конкретные формы и механизмы этого «великого перехода к WWG» пока еще четко не определены. Среди апологетов грид-технологий до сих пор нет единства взглядов относительно того, будет ли WWG создан на базе уже существующих интернет-мощностей или же вообще «в чистом поле» — как универсальная система эмуляции персональных компьютеров, пользователям которой не потребуется ни полнофункционального компьютера, ни собственного программного обеспечения. Масса нерешенных вопросов остается и в области стандартизации протоколов, интеграции разнородных вычислительных ресурсов, обеспечения безопасности хранения и передачи данных.

Суперкомпьютер из розетки
Грид-компьютинг начал формироваться прежде всего как интегратор вычислительных ресурсов для решения различных «ресурсоемких» научных задач. Идея более эффективного использования вычислительных мощностей путем соединения множества компьютеров в единую структуру возникла в научном сообществе сравнительно давно — в эпоху мейнфреймов (больших ЭВМ). Уже в 80е годы ученые (прежде всего физики-ядерщики) для решения сложных математических задач пытались комбинировать друг с другом различные рабочие станции и использовать свободные центральные процессоры для сокращения времени обработки.

В 1994 году стартовал проект создания всемирной компьютерной сети GLORIAD (аббревиатура от Global Ring Network for Advanced Application Development, Глобальная кольцевая сеть для развития прикладных исследований) — волоконно-оптического кольца в Северном полушарии, объединяющего вычислительные ресурсы различных научно-исследовательских организаций США, Канады, Европы, России, Китая и Южной Кореи (опять-таки главным образом физических центров). Россия присоединилась к этому проекту в 1996 году, и сегодня нашу страну в нем представляют Российский научный центр «Курчатовский институт» и Российский НИИ развития общественных сетей.

Тем не менее формально авторами концепции грид считаются Ян Фостер из Арагонской национальной лаборатории Чикагского университета и Карл Кессельман из Института информатики Университета Южной Калифорнии. Именно Фостер и Кессельман в 1998 году впервые предложили термин grid computing для обозначения универсальной программно-аппаратной инфраструктуры, объединяющей компьютеры и суперкомпьютеры в территориально-распределенную информационно-вычислительную систему. Согласно их ставшему уже классическим определению, «Грид (grid) — согласованная, открытая и стандартизованная среда, которая обеспечивает гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации».

Термин grid computing был введен по аналогии с термином power grid (электросеть).

Пользователи компьютерных мощностей получат возможность прямого подключения к удаленной вычислительной сети (так же как к электроэнергии через бытовые розетки), не озадачиваясь вопросом, откуда именно приходят требуемые для работы вычислительные ресурсы, какие для этого используются линии передачи и т. п.

Основные ресурсные элементы грид-систем — суперкомпьютеры и суперкомпьютерные центры, а важнейшая инфраструктурная составляющая — высокоскоростные сети передачи данных.

Суперкомпьютеры, не объединенные в территориально-распределенную систему, обладают как минимум тремя существенными недостатками. Во-первых, это очень дорогостоящая техника, которая быстро морально устаревает (суперкомпьютеры из первой сотни рейтинга Top-500 уже через два-три года, как правило, оказываются в самом хвосте этого списка или вообще выпадают из него). Во-вторых, это «статичность» вычислительных мощностей суперкомпьютеров, которые практически не поддаются серьезной модернизации, зачастую она не позволяет использовать их для решения задач нового уровня сложности. И, наконец, третий «большой минус» — низкий КПД суперкомпьютеров вследствие неравномерности загрузки CPU.

В идеале от этих недостатков можно избавиться при объединении суперкомпьютеров в грид-сеть. Однако для эффективной эксплуатации грид-систем вначале необходимо прийти к консенсусу в сфере стандартизации (определение стандартов сервисов, интерфейсов, баз данных и т. д.).

Распределение вычислительных сред
Авторы идеи грид-компьютинга Фостер и Кессельман стояли и у истоков разработки первого стандарта конструирования грид-систем, свободно распространяемого программного инструмента с открытым кодом Globus Toolkit.

Для дальнейшего развития Globus Toolkit в 1999 году была создана специальная организация Global Grid Forum (GGF), в которую наряду с академическими организациями вошли многие производители компьютерных систем и программного обеспечения.

В 2002 году GGF и корпорацией IBM в рамках версии Globus Toolkit 3.0 была представлена новая системная разработка Open Grid Services Architecture (OGSA), инкорпорировавшая в грид понятия и стандарты веб-сервисов. В этой архитектуре грид-сервис определяется как специальный тип веб-сервиса, благодаря чему становится возможной работа с ресурсами грид на базе стандартных интернет-протоколов.

В настоящее время адаптацией Globus Toolkit к своим основным продуктам, использующим технологию бизнес-вычислений, активно занимаются ведущие игроки компьютерного рынка, в частности та же IBM и два кита ERP-технологий, Oracle и SAP.

В то же время помимо наиболее популярного сегодня проекта Globus параллельно разрабатываются и другие грид-стандарты — например, Legion, Condor и Unicore. Так, в 2004 году у GGF появился новый серьезный конкурент — консорциум Enterprise Grid Alliance (EGA), в который в числе прочих вошли такие «монстры», как Fujitsu Siemens Computers, Hewlett-Packard, Intel, NEC, Oracle, Sun Microsystems, EMC.

Причем если основной задачей GGF была выработка требований к грид для производителей ИТ-решений, то EGA изначально была «заточена» под удовлетворение запросов корпоративных пользователей.

В конце июня 2006 года GGF и EGA, которые успели порядком попортить друг другу нервы, официально объявили о своем слиянии и создании открытого Форума по распределенным вычислениям (Open Grid Forum, OGF). Как отметил новоиспеченный президент и исполнительный директор OGF Марк Линеш, ранее занимавший пост председателя совета директоров GGF, «этот шаг позволит консолидировать сообщество сторонников идей грид и более эффективно сотрудничать с основными участниками этого рынка в разных странах. Мы сможем выступать единым фронтом во всех вопросах, связанных с разработкой и внедрением грид и распределенных вычислительных сред».

Разумеется, это счастливое слияние еще не означает, что всеобщая стандартизация грид-технологий — теперь дело решенное. Одной из серьезнейших преград на пути победоносного распространения грид-сетей была и остается традиционная модель лицензирования ПО, согласно которой клиенты платят в зависимости от числа процессоров, на которых работает приложение. Грид фактически уничтожает эту модель, так как внутри грид-сети ни один центральный процессор не имеет устойчивой связи с определенным приложением.

До сих пор ни один поставщик ПО открыто не объявил о намерении изменить свою модель расчета цены с учетом новой специфики grid computing.

Еще один «провисающий» элемент глобальной грид-конструкции — практически полное отсутствие стандартизации коммерческого программного обеспечения грид. Дело в том, что одна из характеристик ранних приложений для grid computing (используемых в научных вычислениях) —

независимость одной выполняемой задачи от результата решения другой. Например, в больших грид-приложениях для сложных математических расчетов вычисления разбиваются на независимые части, которые в любое время могут быть «сложены». Однако многие корпоративные приложения жестко зависимы: одно вычисление или процесс не может продвигаться до тех пор, пока не закончится другое.

По мнению Яна Фостера, «подходы на основе открытых стандартов (подобные Globus Toolkit) в конечном счете превратят грид в господствующее направление развития корпоративных информационных инфраструктур», но давать точные прогнозы относительно времени наступления этого «корпоративного ИТ-перелома» эксперты пока не рискуют.

Поиски внеземного разума
Намного успешнее продвигаются грид-технологии в научно-образовательной сфере, что в значительной мере объясняется активной финансовой поддержкой разнообразных грид-проектов государственными структурами.

Грид-сети сегодня используются в самых разных фундаментальных научных исследованиях и проектных работах. Эволюция протопланетного вещества, планет и Земли, геномика и протеомика, общее метеорологическое прогнозирование и прогноз различных стихийных бедствий (цунами, землетрясений, извержений вулканов), моделирование и анализ экспериментов в ядерной физике, ядерное оружие, нанотехнологии, проектирование аэрокосмических аппаратов и автомобилей т. д. — наверное, скоро проще будет назвать научную дисциплину, где суперкомпьютеры и распределенные вычисления еще не применяются.

Поэтому далее мы ограничимся лишь перечнем наиболее серьезных грид-проектов, уже осуществленных за последние несколько лет или находящихся в стадии реализации.

В 2001 году в США стартовал проект TeraGrid, финансируемый Национальным научным фондом науки (NSF), основной задачей которого стало создание распределенной инфраструктуры для проведения высокопроизводительных (терафлопных) вычислений.

В мае 2004 года Европейским союзом был создан аналог американской TeraGrid — консорциум DEISA (Distributed European Infrastructure for Supercomputing Applications),

частично финансируемый в рамках программы 6th Framework, который объединил в грид-сеть ведущие национальные суперкомпьютерные центры ЕС.

В конце марта 2004 года завершился трехлетний проект European DataGrid (EDG), в рамках которого была построена тестовая инфраструктура вычислений и обмена данными для нужд европейского научного сообщества.

На основе этих наработок был начат новый международный проект организации высокопроизводительной грид-сети Enabling Grids for E-sciencE (EGEE), который выполняется под руководством швейцарского ЦЕРНа (Европейского центра ядерных исследований, Женева) и финансируется Европейским союзом и правительствами стран-участниц. В настоящее время в проект входят 70 научных учреждений из 27 стран мира, объединенных в 12 федераций. В рамках этого проекта должен быть построен самый крупный в мире грид с суммарной вычислительной мощностью 20 000 CPU.

Ведущая роль ЦЕРНа определяется тем, что в 2007 году там планируется запуск крупнейшего в мире ускорителя элементарных частиц (LHC, большого адронного коллайдера), который будет источником огромного объема информации. Создающаяся в первую очередь под LHC новая компьютерная инфраструктура должна будет обеспечить эффективную обработку информации, ожидаемый среднегодовой объем которой оценивается в 10 петабайт (1 петабайт = ~10 15 байт). Задача EGEE, однако, далеко не ограничена ядерной физикой и состоит в том, чтобы реализовать потенциал грид и для многих других научно-технологических областей. Так, в ближайших планах руководства проекта создание отдельного биоинформационного «грид-блока».

В тесном взаимодействии с проектом EGEE развивается и магистральная европейская сеть для образования и науки — GEANT. В середине прошлого года межправительственная организация DANTE объявила о запуске научно-образовательной сети нового поколения GEANT 2, которая охватывает 3 млн пользователей из 3,5 тыс. академических учреждений, расположенных в 34 европейских государствах (в том числе и в России). Новая сеть качественно изменит обработку информации радиоастрономических комплексов, регистрирующие системы которых расположены на значительном удалении друг от друга, а также будет обслуживать часть процессов по передаче данных после запуска LHC.

Под руководством Пенсильванского университета США на базе грид-технологий создан Национальный цифровой центр маммографии с общим объемом данных (маммограмм) 5,6 петабайта, который предоставляет медикам возможность мгновенного доступа к записям миллионов пациентов.

Стоит упомянуть и о проекте SETI@home, инициированном астрономами Университета Калифорнии — Беркли. В рамках этого проекта была создана виртуальная грид-сеть, которая регулярно анализирует данные, поступающие с радиотелескопа Arecibo в Пуэрто-Рико с целью поиска внеземного разума. Посредством интернета SETI объединил вычислительную мощность более 5 млн персональных компьютеров и уже проделал вычислительную работу, эквивалентную более чем 600 тыс. лет работы ПК (правда, до сих пор никакой информации о найденных инопланетянах от координаторов проекта еще не поступило).

Китай начинает и может выиграть
Соединенные Штаты сегодня — безусловный мировой лидер по части практического строительства грид-сетей. В 2004 году Джордж Буш официально объявил о начале работы президентской стратегической GRID-программы (Strategic Grid Computing Initiative), основной целью которой является «создание единого национального пространства высокопроизводительных вычислений» (National High Performance Computing Environment).

К настоящему времени в США уже успешно функционируют четыре национальные грид-сети, находящиеся под заботливой опекой ключевых государственных ведомств: компьютерная сеть национального фонда научных исследований (NSF Comp. Grid), информационная сеть поддержки НАСА (NASA Information Power Grid), глобальная информационная сеть министерства обороны (DOD GI Grid) и сеть суперкомпьютерной инициативы министерства энергетики (DOE ASCI Grid).

Свою немалую лепту в процесс «всеобщей гридизации» вносят и частные американские компании. Весьма оригинален проект Sun Grid компании Sun Microsystems, стартовавший в прошлом году: машинное время сети центров обработки данных, содержащей суммарно около 10 тыс. процессоров, сдается компанией в аренду с оплатой из расчета 1 доллар за пользование одним процессором в час. Продажа времени Sun Grid осуществляется компанией по договору через чикагскую электронную фондовую биржу Archipelago Holdings. Через нее же покупатель может продать неиспользованные часы. Дополнительно в Sun предлагают услуги хранения данных по цене 1 доллар за гигабайт в месяц. Услуга предлагается организациям, имеющим эпизодические потребности в значительных вычислительных мощностях.

Концепция грид-компьютинга компании Oracle предполагает использование грид-сети как универсальной системы управления данными на основе базы данных Oracle 10G. Специальная функция ASM (Automatic Storage Manager) позволяет виртуализировать наборы дисков в единый виртуальный диск с возложением на Oracle функций менеджера файлов и томов. Oracle сама работает с этой группой дисков (виртуальными дисками), размещая на них свои файлы и управляя ими. Oracle разбивает все пространство этого виртуального диска на равные кусочки размером в 1 Мб и создает из кусочков виртуальные файлы БД, табличные пространства, тома и т. д.

Особняком в длинном списке грид-проектов стоит проект построения глобальной грид-системы, продвигаемый корпорацией Google. Модель Google — это превращение компьютинга в потребительскую услугу по типу электроснабжения (что во многом перекликается с идеей, реализуемой Sun Microsystems). В определенном смысле Google возвращается к архитектуре большой ЭВМ. В рамках этого проекта все компьютерные устройства (ПК, мобильный телефон, телевизор и т. п.) становятся просто терминалами, которые будут включены в серверный грид Google с услугами приложений.

Иными словами, Google сегодня пытается позиционировать себя в качестве универсальной системы доставки приложений на любое устройство в любой точке мира и тем самым стать реальной альтернативой привычного персонального компьютера. Стратегически важное конкурентное преимущество проекта Google — понижение себестоимости обработки бита информации. Для решения этой задачи Google активно продвигается в формировании корневой транспортной системы и подготовке площадей для размещения огромных серверных ферм с прямым выходом к ведущим мировым телекоммуникационным операторам. (По неподтвержденной информации, в 2005 году в условиях повышенной секретности Google провел крупномасштабную работу по установке в различных точках мирового океана 4 тыс. морских контейнеров с серверными стойками CPU.) Это позволит компании существенно сократить телекоммуникационные расходы и обеспечить контроль над доставкой большей части контента и мировым интернет-трафиком.

Комментируя операции Google, один из ведущих российских экспертов в области грид-технологий Владимир Рубанов в беседе с корреспондентом «Эксперта» отметил: «Финансовый результат от этих усилий “гугловцев” уже налицо: если еще в декабре 2004 года рыночная капитализация Google составляла 28 миллиардов долларов, то уже в декабре 2005го она возросла до 138 миллиардов! Этот рост наглядно демонстрирует, насколько укрепилась на Западе вера в перспективы грид-технологий. Иными словами, крупный бизнес сегодня делает большую ставку на развитие этих технологий и готов вкладывать в них колоссальные финансовые ресурсы».

Большое внимание грид-технологиям в последние годы уделяет и руководство Евросоюза, серьезно озабоченного наметившимся отставанием в этой области от США. В 2005 году Еврокомиссия подготовила специальную программу стоимостью 13 млрд евро, в рамках которой грид-компьютингу отводится роль стимулятора и важнейшего ресурса для превращения Евросоюза в «самую конкурентоспособную в мире экономику знаний».

C 2000 года ведутся работы по освоению грид-технологий и в Китае. Долгое время информация о том, на какой стадии находится реализация проекта ChinaGrid, была фактически засекречена. Информационная бомба взорвалась в середине июля 2006 года, когда китайские СМИ во всеуслышание объявили о завершении работы над Китайским образовательным грид-проектом (China Educational Grid Project, CEGP).

CEGP объединил компьютерные сети нескольких десятков крупнейших университетов страны и предоставил миллионам китайских студентов прямой доступ к базам данных, онлайновым учебным курсам и сервисным приложениям по самым разным направлениям и дисциплинам.

Как полагает Владимир Рубанов, «китайцы уже создали материальную и инфраструктурную базу для рывка в образовательной сфере. Им теперь уже не нужно регулярно тратить тысячи долларов на покупку новых компьютеров взамен устаревших — достаточно приобрести всего за 150–200 долларов интернет-коммуникаторы (PIC) и получать далее все необходимые ресурсы из грид-сети. Например, подключиться к реализации Программы 50–15, активно продвигаемой сегодня американской компанией AMD (обеспечить к 2015 году доступ в интернет при помощи дешевых интернет-приставок для 50% населения Земли. — “Эксперт”)».

В январе 2006 года в Афинах было официально объявлено о начале выполнения финансируемого Европейской комиссией проекта EUChinaGRID. Главная его цель — объединение европейских и китайских грид-инфраструктур для повышения эффективности совместного использования различных научных приложений, работающих в грид-среде. Наметившийся стратегический альянс ЕС и Китая вполне можно рассматривать как одну из первых попыток создания сильного «грид-противовеса» претензиям США на мировое лидерство в этой крупномасштабной технологической гонке.

В скором времени к этому альянсу может подключиться и Индия, которая также объявила о начале реализации собственной Национальной грид-компьютинговой инициативы GARUDA, предусматривающей объединение в грид-сеть 17 крупнейших научно-исследовательских центров страны.

Зеленый свет для русского грид
К настоящему времени национальные программы по развитию грид-технологий в той или иной форме реализуются практически всеми технологически развитыми странами. В России такой программы по грид до сих пор нет.

Вплоть до середины этого года все, чем могла похвастаться в сфере государственной поддержки развития грид-технологий Россия, по сути ограничивалось двумя ведомственными программами — Минатома и Российской академии наук, принятыми еще в 2003 году.

В июне 2006 года правительство России наконец одобрило предложение Министерства образования и науки о разработке проекта новой суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства России и Белоруссии. Распоряжением Михаила Фрадкова от 7 июня Минобрнауки было поручено внести предложение о разработке проекта программы «Разработка и использование программно-аппаратных средств ГРИД-технологий и перспективных суперкомпьютерных вычислительных систем семейства СКИФ» в совет министров Союзного государства.

Благодаря этому решению головные разработчики суперкомпьютеров семейства СКИФ — Институт программных систем Российской академии наук (ИПС РАН) в Переславле-Залесском и Объединенный институт проблем информатики Национальной академии наук Белоруссии (ОИПИ НАН Белоруссии) — наконец получили добро на проведение дальнейших исследований.

Однако даже этот проект, предусматривающий в течение ближайших нескольких лет создание старших моделей персональных кластеров-серверов, имеет лишь косвенное отношение к грид-технологиям. Персональные кластеры-серверы — объединения вычислительных мощностей компьютеров и суперкомпьютеров внутри высокоскоростной локальной сети, — несмотря на целый ряд безусловных преимуществ по сравнению с «обычными» суперкомпьютерами, гомогенны (состоят из систем, имеющих одинаковую базовую структуру). В этом заключается их принципиальное отличие от компьютерных грид-сетей, которые позволяют объединять в единую вычислительную цепь гетерогенные вычислительные ресурсы, формально не связанные общим ПО и не требующие централизованного администрирования.

Мощности глобальной новой грид-системы будут такими, что — по крайней мере в теории — у ее координаторов появится возможность отслеживать и анализировать любой «клик мышкой» на каждом отдельно взятом компьютере, подключенном к грид-сети. А это — прямая дорога к перехвату интеллектуальной собственности, к быстрой утечке идей и т. п.

По мнению г-на Рубанова, единственным разумным ответом на вызов такой глобальной грид-инфраструктуры должно стать «построение национальной грид-сети, которую мы сделаем целостной и управляемой, взаимодействующей по определенным правилам с глобальной, — иными словами, между национальной и глобальной грид-инфраструктурой должна быть создана контролируемая зона обмена информацией».

Для создания такой национальной грид-системы необходимо наличие трех важнейших компонентов: программных продуктов, вычислительных мощностей и коммуникаций. Причем самым критическим элементом этой новой инфраструктуры сегодня являются именно коммуникации.

Все реализуемые сегодня концепции и подходы к построению глобальной грид-системы (грид как вычислительная услуга — Sun Microsystems; грид как система эмуляции персонального компьютера и его замены интернет-коммуникатором — AMD; грид как единая операционная система, объединяющая вычислительные мощности в глобальный суперкомпьютер, — Google; грид как виртуальная организация, формирующая однородное пространство ИКТ-взаимодействия, — Oracle) требуют высокоскоростных сетей.

Создание выделенной высокоскоростной сети передачи данных для грид-систем — это ключевой элемент снижения себестоимости обработки бита информации и главное преимущество в ценовой конкуренции глобальных проектов. И именно участие в создании коммуникационной инфраструктуры для глобального грид-компьютинга — возможно, последний шанс для достойного включения России в преобразование мирового инфокоммуникационного пространства.

— по материалам Эксперт`а —

habr.com

Радченко Глеб Игоревич



Научные интересы

  • Грид-вычисления.
  • Облачные вычисления.
  • Распределенные вычислительные системы.

Публикации

Проекты

  1. Проект Erasmus+ PWs@PhD. Основная цель проекта PWs@PhD – поддержка развития, модернизации, интернационализации высшего образования, а именно исследовательской составляющей европейского образования уровня PhD, содействие созданию новых PhD-программ в странах-партнерах в области программной инженерии.
  2. Сервисно-ориентированный подход к использованию проблемно-ориентированных пакетов в распределенных и грид-средах (проект DiVTB).
  3. Параллельная реализация нейросетевого алгоритма распознавания раздельной речи (Часть 1, Часть 2, Часть 3).

Новости

  • [2013-12-25]  Обновления страниц курсов:
  • [2013-12-17]  Обновления страниц курсов:
  • [2013-11-28]  Обновления страниц курсов:

 

  • [2013-11-07]  Размещены слайды презентаций:
  • [2013-10-26] Размещены слайды презентаций:
  • [2013-06-03]  Размещены слайды презентаций:

[Архив новостей]

Ссылки

  • Mendeley — система для каталогизации и управления библиографией. Встраивается в Microsoft Word, позволяя автоматизировать процесс управления списками литературы при подготовке статей. Поддерживает множество форматов оформления библиографических ссылок, включая ГОСТ-7.0.5-2008.
  • Memsource — операционная среда для выполнения письменных переводов, включающая базы памяти переводов, встроенный машинный перевод, модуль управления терминологией, а также текстовый редактор MemSource Editor. Может импортировать и экспортировать документы всех стандартных форматов, включая Word и PowerPoint.

Мой профиль

 

glebradchenko.susu.ru

Концепция GRID — gridnach

В 1960 году пионер программирования, получивший премию Тьюринга за работы в области искусственного интеллекта — Джон Маккарти пророчески говорил, что «вычислительная деятельность может быть со временем организована как общественная услуга» – и рассматривал, как это могло бы быть сделано. Более 30-ти лет потребовалось, чтобы технологии достигли такого уровня, что можно было бы задумываться о практической реализации этой идеи. В середине 1990-х годов Ян Фостер и Карл Кессельман вели активную работу в области объединения гетерогенных, географически распределенных ресурсов в единую инфраструктуру и предложили термин, который стал символом новой эпохи компьютерных технологий — GRID. Однако и они могли лишь в своих самых смелых фантазиях предположить, что уже через 10 лет GRID-технологии будут использоваться в научных проектах планетарного масштаба и заставят обратить на себя внимание таких гигантов как компании Amazon, Google, Oracle и Microsoft.

Сам термин произошёл от английского слова «grid» (буквальный перевод «решетка»), точнее от «power grid», что означает «электросеть» или «энергосистема». Смысл названия заключается в проведении аналогии между использованием электрической сети и вычислительными ресурсами GRID. Подобно тому, как при использовании энергосистем пользователь не знает какой конкретно электрогенератор выработал ток, а просто его потребляет и платит за его потребление энергетической компании, так и при использовании GRID не важно какой конкретно компьютер (или устройство хранения/передачи данных) выполнил его задачу, важен сам факт ее выполнения.

Современный статус компьютерных инфраструктур можно сравнить с состоянием электрических систем в 1910 году. Тогда необходимость для каждого пользователя иметь свой генератор тормозила развитие отрасли. Революционным шагом было возникновение электросетей, создание технологий передачи и распределения электроэнергии, создание стандартизованной службы универсального и гарантированного

www.sites.google.com

Грид-вычисления — Grid computing — qwertyu.wiki

Грид — компьютинга является использование широко распространенных компьютерных ресурсов для достижения общей цели. Сетки можно рассматривать как распределенную систему с неинтерактивными рабочими нагрузками , которые включают большое количество файлов. Сетка вычисления отличаются от обычных вычислительных систем высокой производительности , таких как кластер вычисления в том , что сетках компьютеров есть каждый узел настроен на выполнение другой задачу / приложения. Сетка компьютеры также имеют тенденцию быть более гетерогенной и географически дисперсная (таким образом , не физически связаны) , чем кластерных компьютеров. Хотя один сетка может быть посвящена конкретным применение, обычно сетка используется для различных целей. Сетки часто строятся с общего назначения решетки промежуточного слоя библиотек программного обеспечения. Размеры сетки могут быть достаточно большими .

Сетки являются одной из форм распределенных вычислений , посредством которого « супер виртуальный компьютер » состоит из множества сетевых слабосвязанных компьютеров , действующих вместе , чтобы выполнить большие задачи. Для некоторых приложений, распределенные или распределенные вычисления можно рассматривать как особый тип параллельных вычислений , опирающийся на полных компьютерах (с бортовыми процессорами, хранением, источники питания, сетевыми интерфейсами и т.д.) , подключенных к компьютерной сети (частной или государственной) по обычный сетевой интерфейс , например, Ethernet . Это в отличие от традиционного понятия суперкомпьютер , который имеет много процессоров , соединенных локальной высокоскоростной шине компьютера .

обзор

Грид — вычисления объединяет компьютеры из нескольких административных доменов для достижения общей цели , чтобы решить одну задачу , а затем может исчезнуть так же быстро.

Размер сетки может варьироваться от небольших приковано к сети компьютерных рабочих станций в пределах корпорации, например, в крупное, общественное сотрудничество по многим компаниям и сетям. «Понятие ограниченной сетки также может быть известно как внутри- сотрудничества узлов в то время как понятие более крупной, более широкой сетки таким образом, может относиться к сотрудничеству интер-узлов».

Сетки являются одной из форм распределенных вычислений , посредством которого «супер виртуальный компьютер» состоит из множества сетевых слабосвязанных компьютеров , действующих вместе , чтобы выполнить очень большие задачи. Эта технология была применена для интенсивных вычислений научные, математические и научные проблемы через добровольца вычислений , и он используется в коммерческих предприятиях для таких разнообразных применений , как открытие наркотиков , экономическое прогнозирование , анализ сейсмических данных , а также бэк — офис обработки данных в поддержку e- коммерции и веб — сервисы .

Координация приложения на сетках могут быть сложной задачей, особенно при координации потока информации в распределенных вычислительных ресурсах. Сетка документооборот система была разработана в качестве специализированной формы системы управления рабочих процессов , разработанной специально для создания и выполнения последовательности шагов или вычислительных данных манипуляций, или процесса, в контексте Grid.

Сравнение обычных сетей и суперкомпьютеров

«Распределенная» или «сетка» вычисления в целом представляет собой особый тип параллельных вычислений , которая опирается на полных компьютерах (с бортовыми процессорами, хранения, источники питания, сетевые интерфейсы и т.д.) , подключенных к сети (частные, государственные или Интернет ) с помощью обычного сетевого интерфейса по производству товарной продукции аппаратных средств, по сравнению с более низкой эффективности проектирования и строительства небольшого количества пользовательских суперкомпьютеров. Основным недостатком является то , что производительность различных процессоров и локальные зоны хранения не имеют высокоскоростные соединения. Это устройство , таким образом , хорошо подходит для применений , в которых множественные параллельные вычисления могут иметь место независимо друг от друга, без необходимости общения промежуточных результатов между процессорами. Лидирующая масштабируемость географически распределенные сети , как правило , благоприятная, в связи с низкой потребностью для соединения между узлами по отношению к емкости сети Интернета общего пользования .

Есть также некоторые различия в программировании и MC. Это может быть дорогостоящим и трудным для написания программ , которые могут работать в среде суперкомпьютера, который может иметь пользовательскую операционную систему, или требуется программа для решения параллелизма вопросов. Если проблема может быть адекватно распараллеливание, «тонкие» слой инфраструктуры «сетки» может позволить обычные автономные программы, учитывая различные части одной и той же задачи, работать на нескольких машинах. Это позволяет писать и отлаживать на одной обычной машине и устраняет осложнения из — за нескольких экземпляров одной и той же программы , работающей в той же совместно используемой памяти и дискового пространства , в то же время.

Конструктивные соображения и варианты

Одной из особенностей распределенных сетей является то , что они могут быть сформированы из вычислительных ресурсов , принадлежащих к одному или нескольким лицам или нескольких организаций (известных как нескольких административных доменах ). Это может облегчить коммерческие сделки, как и в коммунальных вычислений , или сделать его проще собрать добровольцев вычислительных сетей.

Одним из недостатков этой функции заключается в том , что компьютеры , которые фактически выполняя вычисления не могут быть полностью надежными. Разработчики системы должны , таким образом , принять меры по предотвращению неисправностей или злонамеренных участников от получения ложной, вводящей в заблуждение, или ошибочные результаты, и с использованием системы в качестве вектора атаки. Это часто включает в себя назначение работы случайным образом к различным узлам (предположительно с разными владельцами) и убедившись , что по крайней мере два различных узлы сообщают тот же ответ для данной единицы работы. Расхождения бы определить неисправные и вредоносные узлы. Однако из — за отсутствия централизованного контроля над оборудованием, нет никакого способа , чтобы гарантировать , что узлы не выпадают из сети в случайные моменты времени. Некоторые узлы (например , ноутбуки или модемного интернет — клиенты) также могут быть доступны для вычислений , но не сеть связи для непредсказуемых периодов. Эти изменения могут быть размещены путем присвоения больших рабочих единиц (таким образом , уменьшая потребность в непрерывном подключения к сети) и переназначения единицы работы , когда данный узел не может сообщить свои результаты в ожидаемое время.

Воздействие доверия и доступности по производительности и развития трудности могут повлиять на выбор того, чтобы развернуть на выделенный кластер, на холостом ходу машины внутренней по отношению к развивающейся организации, или к открытой внешней сети добровольцев или подрядчиков. Во многих случаях участвующих узлы должны доверять центральную системе не злоупотреблять доступ, что в настоящее время предоставлено, путем вмешательства в работе других программ, коверкая сохраненную информацию, передавать личные данные или создавать новые дыры в безопасности. Другие системы используют меры по снижению количества целевых клиентов «» узлы должны размещать в центральной системе, такие как размещение приложений в виртуальных машинах.

Общественные системы или те , пересекающих административные домены (включая различные отделы в одной и той же организации) часто приводит к необходимости запуска в гетерогенных системах, с использованием различных операционных систем и аппаратных архитектур . Со многими языками, есть компромисс между инвестициями в разработке программного обеспечения и количества платформ , которые могут быть поддержаны (и , таким образом , размер полученной сети). Кросс-платформенные языки могут уменьшить потребность сделать этот компромисс, хотя потенциально за счет высокой производительности на любом узле (интерпретации из — за время выполнения или отсутствие оптимизации для конкретной платформы). Различные промежуточный слой проекты создали общую инфраструктуру для обеспечения разнообразных научные и коммерческие проекты , чтобы использовать определенную связанную сетку или с целью создания новых сетей. BOINC является общим для различных научных проектов , направленных общественных добровольцев; более перечислены в конце статьи .

В самом деле, промежуточное программное обеспечение можно рассматривать как слой между аппаратным и программным обеспечением. В верхней части промежуточного программного обеспечения , ряд технических областей должны быть рассмотрены, и они могут или не могут быть независимыми промежуточного слоя. Пример область включает SLA управление, доверие и безопасность, виртуальную организацию управление, Управление лицензий, порталы и управление данным. Эти технические области могут быть учтены в коммерческом решении, хотя передний край каждой области часто встречается в рамках конкретных исследовательских проектов , исследующих поле.

Сегментация рынка сетки рынка компьютеров

Для сегментации рынка распределенных вычислений, две точки зрения необходимо учитывать: стороны поставщика и на стороне пользователя:

Стороны провайдера

В целом рынок сетки состоит из нескольких конкретных рынков. Это сетка промежуточного рынок, рынок приложений сеточных включено, утилита вычислений на рынке, а также программное обеспечение как-услуга (SaaS) рынок.

Сетка промежуточного слоя является специфическим программным продуктом, который обеспечивает возможность совместного использования разнородных ресурсов и виртуальных организаций. Он устанавливается и интегрируется в существующей инфраструктуру привлеченной компании или компании и предоставляет особый слой , расположенный между гетерогенной инфраструктурой и конкретными пользовательскими приложениями. Основные сетки являются промежуточными программным Globus Toolkit , gLite и UNICORE .

Утилита вычисления называется предоставлением распределенных вычислений и приложений в качестве службы либо в качестве утилиты открытой сетки или в качестве хостинг — решения для одной организации или ВО . Основные игроки в грузопассажирских вычислительном рынке Sun Microsystems , IBM и HP .

Грид-приложения с поддержкой конкретные программные приложения, которые могут использовать сетевую инфраструктуру. Это стало возможным за счет использования сетки промежуточного слоя, как указано выше.

Программное обеспечение как услуга (SaaS) является «программным обеспечением , которое находится в собственности, поставляется и управляется дистанционно с помощью одного или нескольких поставщиков.» ( Gartner 2007) Кроме того, приложение SaaS основано на одном наборе общих определений коды и данных. Они потребляются в модели один-ко-многим, и SaaS использует Pay As You Go (СПОД) модель или модель подписки, которая основана на использовании. Провайдеры SaaS не обязательно владеть сами вычислительные ресурсы, которые необходимы для выполнения их SaaS. Таким образом, поставщики SaaS может опираться на полезную вычислительном рынке. Полезность рынок вычислений предоставляет вычислительные ресурсы для провайдеров SaaS.

Стороне пользователя

Для компаний по требованию или пользователю стороны сетки рынка компьютеров, различные сегменты имеют серьезные последствия для их ИТ-стратегии развертывания. ИТ-стратегия развертывания, а также тип инвестиций в ИТ сделал это важные аспекты для потенциальных пользователей сетки и играет важную роль для принятия сетки.

поглощающий центральный процессор

CPU-поглощающий , цикл-поглощающий или совместно вычислительный создает «сетку» из неиспользованных ресурсов в сети участников (будь то во всем мире или внутренние по отношению к организации). Обычно этот метод используется настольный компьютер циклов команд , которые могли бы быть потрачены впустую в ночное время , во время обеда, или даже в разбросанными секунд в течение дня , когда компьютер ожидает ввода пользователя на относительно быстрых устройств. На практике, участвующие компьютеры также пожертвовать некоторую поддерживающую объем дискового пространства на диске, оперативной памяти и пропускной способности сети, в дополнение к сырой мощности процессора.

Многие добровольца вычислительные проекты, такие как BOINC , используют модель поглощающую процессора. Так как узлы могут перейти в автономный режим «» время от времени, так как их владельцы используют свои ресурсы для их основного назначения, эта модель должна быть предназначена для обработки таких непредвиденных обстоятельств.

Создание Уступающей среды является еще реализацией процессора откачки , где специальная система управления рабочей нагрузки похищает простой настольных компьютеров для ресурсоемких рабочих мест, это также относится , как Enterprise Desktop Grid (EDG). Например, HTCondor высоких пропускная способности основа вычислительного программное обеспечения с открытым исходным кодом для крупнозернистой распределенной рационализации интенсивных вычислений задач может быть сконфигурирована , чтобы использовать только настольные компьютеры , где клавиатура и мышь простаивает эффективно использовать впустую мощность процессора от иначе праздных настольных рабочих станций , Как и в других полнофункциональных пакетных систем, HTCondor обеспечивает работу механизма массового обслуживания, политику планирования, схему приоритетов, мониторинг ресурсов и управление ресурсами. Он может быть использован для управления нагрузкой на выделенном кластере компьютеров , а также или она может легко интегрировать оба выделенных ресурсов (стоечные кластеры) и без специализированных настольных машин (цикл очистки) в одной вычислительной среде.

история

Термин вычислительная сетка возникла в начале 1990 — х годов в качестве метафоры для изготовления питания компьютера , как легко получить доступ в электрической энергосистеме . Метафора энергосистемы для доступной вычислительной техники быстро стала канонической , когда Ян Фостер и Карл Kesselman опубликовали свою основополагающую работу «Сетка: Blueprint для новой вычислительной инфраструктуры» (1999). Этому предшествовали десятилетия метафоры коммунальных вычислений (1961): вычисления в качестве общественной полезности, аналогичны телефонной системе.

Продувка CPU и доброволец вычисления были популяризировал начиная с 1997 по distributed.net , а затем в 1999 году SETI @ Home , чтобы использовать мощь сетевых компьютеров по всему миру, для того , чтобы решить ресурсоемкие задачи исследования.

Идеи сетки ( в том числе и от распределенных вычислений, объектно-ориентированного программирования и веб — сервисов) объединяла Ян Фостер и Стив Tuecke из Университета Чикаго , и Карл Кесельман из Университета Института информационных наук Южной Калифорнии . Трио, который вел работу по созданию в Globus Toolkit , широко рассматриваются как «отцы сетки». Инструментарий включает в себя не только управление вычислений , но и управление хранением данных , обеспечение безопасности, перемещение данных, мониторинг и инструментарий для разработки дополнительных услуг , основанных на одной и той же инфраструктуры, в том числе соглашения переговоров, механизмы уведомления, триггерных услуг и агрегирования информации. В то время как Globus Toolkit остается стандартом де — факто для построения сетевых решений, ряд других инструментов , которые были построены , которые отвечают некоторое подмножество услуг , необходимых для создания предприятия или глобальной сетки.

В 2007 году термин облачных вычислений пришел в популярности, которая концептуально подобна канонической определения Foster грид — компьютинга (с точки зрения вычислительных ресурсов, потребляемых в электроэнергии от энергосистемы ) и более ранних версий утилиты вычислений. В самом деле, распределенные вычисления часто (но не всегда) , связанные с доставкой облачных вычислительных систем , как на примере системы AppLogic из 3tera .

Прогресс

В ноябре 2006 года Сайдел получил Фернбах премии Сидни на конференции по суперкомпьютерам в Тампе, штат Флорида . «За выдающийся вклад в развитие программного обеспечения для высокопроизводительных вычислений и распределенных вычислений , чтобы дать возможность совместного численного исследования сложных проблем в области физики, в частности, моделирование черных столкновений дырок». Эта награда, которая является одной из самых высоких наград в вычислениях, была награждена за достижения в области численной относительности.

Лучшие виртуальные суперкомпьютеры

  • По состоянию на февраль 2018 года, BOINC  — 22 PFLOPS.
  • По состоянию на октябрь 2016 года, Folding @ home  — 101 x86 -эквивалентных PFLOPS.
  • По состоянию на февраль 2018 года, Einstein @ Home   3.489 PFLOPS.
  • По состоянию на февраль 2018 года, SETI @ Home   0.890 PFLOPS.
  • По состоянию на февраль 2018 года, MilkyWay @ Home   0,941 PFLOPS.
  • По состоянию на октябрь 2016 года, GIMPS   0,313 PFLOPS.

Кроме того , по состоянию на октябрь 2016 г. Bitcoin сеть была вычислительная мощность утверждал, что эквивалентно 21,247,253.65 PFLOPS (операций с плавающей запятой в секунду). Тем не менее, элементы этой сети могут выполнить только один конкретные криптографические хэш вычислений , необходимых для Bitcoin протокола. Они не могут выполнять вообще с плавающей запятой арифметических операций, поэтому их вычислительная мощность не может быть измерена в FLOPS.

Проекты и приложения

Сетка вычисления предлагают способ решения проблемы Grand Challenge , такие как сворачивания белка , финансовое моделирование , землетрясение моделирования и климат / погоду моделирование. Сетки предлагают способ использования информационных технологий ресурсов оптимально внутри организации. Они также предоставляют средства для предлагая информационные технологии в качестве утилиты для коммерческих и некоммерческих клиентов, с теми клиентами , платят только за то , что они используют, так как электричество или воду.

Грид-вычисления в настоящее время применяется Национального научного фонда Национальной технологии Grid, НАСА Информация энергосистему, Pratt & Whitney, Bristol-Myers Squibb Co., и American Express.

По состоянию на октябрь 2016 года, более 4 миллионов машин , работающих с открытым исходным кодом Berkeley Open Infrastructure для Network Computing платформы (BOINC) являются членами World Community Grid . Один из проектов с использованием BOINC является SETI @ Home , который использует более чем 400000 компьютеров для достижения 0,828 Тфлопс по состоянию на октябрь 2016 г. По состоянию на октябрь 2016 года Folding @ Home , которая не является частью BOINC, достигнуто более чем 101 х86-эквивалентно петафлопс на более чем 110 000 машин.

Европейский Союз финансируемых проектов через рамочные программы в Европейской комиссии . BEinGRID (Бизнес Эксперименты в Grid) был исследовательский проект , финансируемый Европейской комиссией в качестве интегрированного проекта в рамках Шестой рамочной программы спонсорской программы (FP6). Начало 1 июня 2006 года проект работал 42 месяцев, до ноября 2009 года проект не был согласован Atos Origin . Согласно бюллетеню проекта, их миссия заключается в «создании эффективных маршрутов для содействия принятию грид во всех странах ЕС и стимулировать исследования в области инновационных бизнес — моделей с использованием грид — технологий». Для того, чтобы извлечь лучшие практики и общие темы из экспериментальных реализаций, две группы консультантов анализируют ряд пилотов, один технический, один бизнес. Проект имеет большое значение не только для его большой продолжительности , но и для его бюджета, что на 24,8 млн евро, является самым крупным из любого комплексного проекта FP6. Из этого 15700000 обеспечиваются Европейской комиссией , а остальная ее 98 участвующих компаний — партнеров. С конца проекта, результаты BEinGRID были приняты и переноситься по IT-Tude.com .

В Стимулирующие Сетки для E-НАУКЕ проект, основанный в Европейском Союзе и включены сайты в Азии и Соединенных Штатах, был последующий проект для европейского DataGrid (EDG) и превратилась в европейской сетевой инфраструктуры . Это, наряду с LHC Computing Grid (LCG), была разработана для поддержки экспериментов с использованием CERN Большой адронный коллайдер . Список активных центров , участвующих в LCG можно найти в Интернете , как мониторинг может в режиме реального времени инфраструктуры EGEE. Соответствующее программное обеспечение и документация также доступны для общественности. Существует предположение , что выделенные волоконно — оптические каналы, такие как те , которые установлены ЦЕРН для удовлетворения потребностей в данных ресурсоемких в LCG в, могут быть доступны для домашних пользователей , таким образом , предоставляющих интернет — услуги со скоростью до 10000 раз быстрее , чем традиционные широкополосной связи один день. Инфраструктура Европейской Сетки была также использована для других исследовательских работ и экспериментов , таких как моделирование онкологических клинических испытаний.

Distributed.net проект был начат в 1997 году объект NASA Advanced Supercomputing (NAS) провел генетические алгоритмы с использованием цикла поглотитель Кондор работает на около 350 Sun Microsystems и SGI рабочих станций.

В 2001 году United Devices оперировал проекта United Devices Cancer Research на основе своей сетки MP продукта, цикл-продувает на волонтерских ПК , подключенного к Интернету. Проект осуществлялся на около 3,1 миллионов машин до его закрытия в 2007 году.

Определения

На сегодняшний день существует множество определений распределенных вычислений :

  • В своей статье «Что такое Грид? Три пункт Контрольный», Ян Фостер перечисляет эти основные атрибутов:
  • Plaszczak / Wellner определяет технологию сетки, как «технология, которая позволяет виртуализация ресурсов по требованию, а также предоставление услуг (ресурсы) обмен между организациями.»
  • IBM определяет сетевые вычисления как «способность, используя набор открытых стандартов и протоколов, чтобы получить доступ к приложениям и данным, вычислительной мощности, емкости и широкий спектр других вычислительных ресурсов через Интернет. Сетка представляет собой тип параллельных и распределенных систем, что позволяет совместное использование, выбор, и агрегирование ресурсов, распределенных по «нескольких» административных областей на основе их (ресурсов) доступности, производительности, эффективности, стоимости и качества в обслуживании потребностей пользователей ».
  • Ранее пример понятия вычислений как полезность была в 1965 году MIT Фернандо Corbató. Corbató и другие разработчики операционной системы Multics предполагали работающий компьютер объект «как энергетическая компания или компанию по водоснабжению».
  • Buyya / Венугопал определяют сетку , как «тип параллельной и распределенной системы , которая позволяет совместное использование, выбор, и агрегирование географически распределенных автономных ресурсов динамически во время выполнения в зависимости от их наличия, возможностей, производительности, стоимости и пользователей качество их обслуживания требования».
  • CERN , один из крупнейших пользователей технологии сетки, разговоры о сетке : «сервис для обмена компьютерной мощности и емкости для хранения данных через Интернет .»

Смотрите также

понятия, связанные с

Союзы и организации

Производство сетки

Международные проекты

Национальные проекты

Стандарты и интерфейсы

рамки мониторинга

Рекомендации

Список используемой литературы

  • Buyya, Rajkumar ; Kris Bubendorfer (2009). Ориентированные на рынке сетка и коммунальные вычисления . Wiley. ISBN  978-0-470-28768-2 .
  • Бенедикт, Shajulin; Васудеван (2008). «А Niched Парето Г.А. подход для планирования научных рабочих процессов в беспроводных сетках». Журнал вычислительной техники и информационных технологий . 16 (2): 101. DOI : 10,2498 / cit.1001122 .
  • Дэвис, Энтони (июнь 2004). «Вычислительная Intermediation и эволюция вычислений как Товарны» (PDF) . Прикладная экономика . 36 (11): 1131. CiteSeerX  10.1.1.506.6666 . DOI : 10,1080 / 0003684042000247334 .
  • Фостер, Ян ; Карл Kesselman (1999). Сетка: Blueprint для инфраструктуры New Computing . Morgan Kaufmann Publishers. ISBN  978-1-55860-475-9 .
  • Plaszczak, Pawel ; Богатые Wellner, Jr (2006). Grid Computing «Руководство подкованных менеджера» . Morgan Kaufmann Publishers. ISBN  978-0-12-742503-0 .
  • Berman, Фран ; Энтони JG Эй ; Джеффри С. Фокс (2003). Grid Computing: Создание глобальной инфраструктуры в реальность . Wiley. ISBN  978-0-470-85319-1 .
  • Ли, Maozhen ; Mark A. Baker (2005). Сетка: Основные технологии . Wiley. ISBN  978-0-470-09417-4 .
  • Catlett, Чарли ; Ларри Smarr (июнь 1992). «Метакомпьютинг». Коммуникации по АКМ . 35 (6): 44-52. DOI : 10,1145 / 129888,129890 .
  • Смит, Роджер (2005). «Распределенные вычисления: анализ Краткой технологии» (PDF) . Технический директор библиотечной сети. Архивировано из оригинального (PDF) на 2012-02-18.
  • Buyya, Rajkumar (июль 2005). «Grid Computing: Создание глобальной киберинфраструктуры для eScience в реальность» (PDF) . CSI Communications . Мумбаи, Индия: Computer Society Индии (CSI). 29 (1).
  • Berstis, Viktors. «Основа Grid Computing» . IBM. Архивировано из оригинала на 2012-02-18.
  • Elkhatib, Яхья (2011). Мониторинг, анализ и прогнозирование производительности сети в сетках (PDF) (Ph.D.). Lancaster University.
  • Феррейра, Луис; и другие. «Grid Computing продукты и услуги» . IBM.
  • Феррейра, Луис; и другие. «Введение в Grid Computing с Глобуса» . IBM.
  • Иаков, Bart; и другие. «Включение приложений для распределенных вычислений» . IBM.
  • Феррейра, Луис; и другие. «Программирование грид — сервисы и приложения Enablement» . IBM. Архивировано из оригинала на 2012-02-18.
  • Иаков, Bart; и другие. «Введение в Grid Computing» . IBM.
  • Феррейра, Луис; и другие. «Распределенные вычисления в научных исследованиях и образовании» . IBM.
  • Феррейра, Луис; и другие. «Globus Toolkit 3.0 Quick Start» . IBM.
  • Surridge, Mike; и другие. «Опыт GRIA — Промышленные приложения на веб — служб сети» (PDF) . IEEE. Архивировано из оригинального (PDF) на 2012-02-18.
  • Стокингер, Heinz ; и другие. (Октябрь 2007). «Определение сетки: моментальный снимок на Current View» (PDF) . Суперкомпьютерный . 42 : 3. DOI : 10.1007 / s11227-006-0037-9 . Архивировано из оригинального (PDF) на 2007-01-07.
  • Global Сетка и программное обеспечение Toolkits: Исследование четыре Грид Middleware технологий
  • Сетка Технология Поваренная
  • Франческо Lelli, Эрик Frizziero, Мишель Gulmini, Гаэтано Марон, Salvatore Орландо, Андреа Петруччи и Silvano Squizzato. Многоликая интеграции инструментов и сетки . Международный журнал Web и Grid Services 2007 — Vol. . 3, № 3 С. 239 — 266 Электронное издание
  • Poess, Meikel ; Намбияр, Рагхунат (2005). Крупномасштабные Данные склады на сетке (PDF) .
  • Парди, Сильвио ; Франческо Пальмиери (октябрь 2010). «К среде федеративной Metropolitan Area Grid: The Scope сеть осведомленном инфраструктуры» . Будущие поколения компьютерных систем . 26 . DOI : 10.1016 / j.future.2010.02.0039 (неактивный 2019-02-20).

внешняя ссылка

ru.qwertyu.wiki

grid-система Википедия

Многозадачный сервер для вычислений.

Грид-вычисления (англ. grid — решётка, сеть) — это форма распределённых вычислений, в которой «виртуальный суперкомпьютер» представлен в виде кластеров, соединённых с помощью сети, слабосвязанных гетерогенных компьютеров, работающих вместе для выполнения огромного количества заданий (операций, работ). Эта технология применяется для решения научных, математических задач, требующих значительных вычислительных ресурсов. Грид-вычисления используются также в коммерческой инфраструктуре для решения таких трудоёмких задач, как экономическое прогнозирование, сейсмоанализ, разработка и изучение свойств новых лекарств.

Грид с точки зрения сетевой организации представляет собой согласованную, открытую и стандартизованную среду, которая обеспечивает гибкое, безопасное, скоординированное разделение вычислительных ресурсов и ресурсов хранения[1] информации, которые являются частью этой среды, в рамках одной виртуальной организации.[2]

Грид-вычисления можно организовать на базе множества устаревших моделей персональных компьютеров объединённых в иерархическую локальную вычислительную сеть (например, Ethernet и др.) с присутствием серверов. Эта сеть может иметь соединение с интернетом.[источник не указан 1877 дней]

Концепция грид[ | ]

Грид является географически распределённой инфраструктурой, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.[3]

Идея грид-компьютинга возникла вместе с распространением персональных компьютеров, развитием интернета и технологий пакетной передачи данных на основе оптического волокна (SONET, SDH и ATM), а также технологий локальных сетей (Gigabit Ethernet). Полоса пропускания коммуникационных средств стала достаточной, чтобы при необходимости привлечь ресурсы другого компьютера. Учитывая, что множество подключенных к глобальной сети компьютеров большую часть рабочего времени простаивает и располагает большими ресурсами, чем необходимо для решения их повседневных задач, возникает возможность применить их неиспользуемые ресурсы в другом месте.

Сравнение грид-систем и обычных суперкомпьютеров[ | ]

Распределённые, или грид-вычисления, в целом являются разновидностью параллельных выч

ru-wiki.ru

Грид-системы и потенциал их использования. Распределенные вычисления

Аннотация.  В  данной  статье  проведен  краткий  обзор  некоторых  аспектов    построения и применения грид-систем с целью дать представление об этой технологии. Для демонстрации потенциала использования данной технологии, приведен перечень существующих проектов, использующих грид-системы. 

На сегодняшний день учёные нуждаются в огромных вычислительных мощностях для решения широкого спектра задач, находящихся на фронте современной науки. Исследование свойств белка, исследование результатов работы адронного коллайдера, прогнозирование изменения климата, решение математических проблем, а также эффективный поиск лекарств, гравитационных волн и внеземного разума проводятся сегодня с использованием суперкомпьютеров. Производительность таких машин огромна. В качестве примера можно привести мощнейший на сегодня суперкомпьютер Tianhe-2, работающий в Национальном институте оборонных технологий в Китае.

Достигнута пиковая производительность Tianhe-2 – 33,86 петафлопс, что почти в 2 раза больше, чем у Titan, занимающего второе место [1].

Время использования подобных машин строго ограничено и расписано на многие месяцы вперед, так как мощностями таких машин пользуется, как правило, несколько учреждений. Эти машины представляют собой большое количество мощных процессоров, соединенных локально для организации параллельных вычислений.

В настоящее время персональные компьютеры имеются почти у каждого человека, а нынешний уровень технологий в области распараллеливания задач таков, что позволяет использовать CPU, процессоры видеокарт, игровых приставок, и другие устройства для выполнения вычислений аналогично суперкомпьютерам.

В данном случае это не фиксированная система серверных компьютеров или объединенных в сеть процессоров, а легко масштабируемая система из большого количества компьютеров по всему миру.

Такая система называется грид (англ. Grid – решётка, сеть). Ключевой её особенностью является возможность объединения разнородных систем, например настольных компьютеров, работающих под разными операционными системами, игровых приставок, специализированных устройств для решения как масштабных задач (разрешение математических проблем, прогнозирование появления новых частиц), так и для задач отдельных фирм или предприятий (экономическое моделирование).

Неоднородность такой среды налагает соответствующие требования:

  1. Виртуализация ресурсов – необходима для снижения сложности управления и приведения используемых ресурсов к единому стандарту.
  2. Общие средства управления – необходимы для соблюдения одинакового порядка управления ресурсами разнородных систем.
  3. Поиск и запрос ресурсов – требуются механизмы, необходимые для поиска ресурсов с заданными атрибутами и для получения свойств этих ресурсов. Поиск и запрос должны осуществляться в динамичной и разнородной системе [2].

Получившийся “виртуальный компьютер” по производительности равносилен суперкомпьютерам. Такая система формирует очередь заданий, которые выдаются по сети другим элементам грида. Задача может быть прервана, или не выполнена до конца. На этот случай для обеспечения стабильности планировщик заданий выдает дополнительные “копии” этих задач другим элементам грида. Затем результаты обобщаются, и обрабатываются [3].

Для создания грид-систем используется специализированный программный инструментарий. Из всех средств развертывания грид-сетей стандартом считается Globus Toolkit. Globus Toolkit представляет собой набор инструментов и стандартов, главным из которых является стандарт OGSA (Open Grid Services Architecture). OGSA определяет единообразную семантику представления служб [4], стандартные механизмы для создания, именования обнаружения экземпляров Grid-служб, обеспечивает прозрачность местонахождения и связывания различных протоколов и поддерживает интеграцию с базовыми механизмами нижележащих платформ. Разработка технической спецификации OGSA ведется в рамках форума Grid Global Forum, разрабатывающего стандарты для Grid-сообщества [5].

Прогресс в развитии науки и техники, рост производительности мобильных устройств позволяет сегодня использовать мобильные и беспроводные устройства для организации гридов. Это одно из современных направлений в грид-технологиях. Бесспорным плюсом является тот факт, что в мобильных гридах возможно использовать беспроводные датчики и другие устройства, что актуально при использовании грида в полевых условиях. Однако существует ряд технических трудностей, связанных с интеграцией беспроводных устройств в  грид.

К этим трудностям относятся: невысокая пропускная способность, проблемы обеспечения информационной безопасности, высокое потребление энергии. На сегодняшний день было предложено много вариантов реализации мобильных гридов. Среди существующих мобильных грид-проектов следует отметить проекты Akogrimo, ISAM и MADAM [6].

Существующие географически-разделенные грид-системы представлены рядом интереснейших проектов, в которых участвуют добровольцы со всего мира. Одной из платформ для таких проектов является BOINC (англ. Berkeley Open Infrastructure for Network Computing – открытая программная платформа (университета) Беркли для GRID вычислений). BOINC – это некоммерческий программный комплекс для организации распределенных вычислений, первоначально разработанный для проекта SETI@home (от англ. Search for Extra-Terrestrial Intelligence at Home – поиск внеземного разума на дому). Впоследствии платформа стала доступной для сторонних проектов.

Серверная часть BOINC состоит из HTTP-сервера с веб-сайтом проекта, базы данных MySQL и набора демонов (генератор заданий, планировщик, валидатор, ассимилятор результатов).

HTTP сервер представляет собой набор PHP-скриптов и необходим организаторам проектов для общего управления проектом: регистрация участников, распределение заданий для обработки, получение результатов, управление базами данных проекта. В базе данных хранятся пользователи, пароли, записи заданий, результатов, информация о хостах, программах проекта и прочее.

Для пользователей понятие BOINC чаще используется в контексте понятия BOINC-клиент — универсальный клиент для работы с различными (BOINC-совместимыми) проектами распределённых вычислений.  BOINC-клиент  позволяет  участвовать  одновременно  в  нескольких  проектах  с помощью одной общей программы управления (boinc или boinc.exe). Для визуализации процесса управления BOINC- клиентом можно использовать либо поставляемую по умолчанию официальную программу-менеджер (boincmgr или boincmgr.exe), либо воспользоваться «неофициальной» программой для мониторинга и управления BOINC-клиентом.

Следует отметить, что собственно BOINC-клиент в академическом понимании не имеет пользовательского интерфейса как такового, а представляет собой сервис, запускаемый при запуске системы, и управляется по протоколу TCP/IP. Однако для конечного пользователя это не имеет значения, поскольку дистрибутив программы комплектуется программой-менеджером, которая сразу по умолчанию устанавливается вместе с BOINC-клиентом как единое целое и абсолютно прозрачна для пользователя. В этом случае в качестве адреса управляемого программой менеджером BOINC-клиента указывается  адрес «localhost».

Таким образом, с одной стороны, ничто не мешает пользователю использовать альтернативную программу-менеджер для управления BOINC-клиентом, а с другой стороны, даёт возможность управлять несколькими BOINC-клиентами, находящимися на разных компьютерах из одной программы-менеджера. Такая организация управления BOINC-клиентом подразумевает возможность использовать BOINC-клиент в «невидимом» режиме, когда запускается исключительно сервис, без пользовательского интерфейса вообще.

В более ранних версиях клиента отсутствуют локальные настройки программы. Почти всю конфигурацию (например, время работы, время соединения, максимальную загрузку и т.д.) участник указывает на сайте конкретного проекта (для каждого проекта по отдельности), а оболочка (клиент) самостоятельно подгружает конфигурацию вместе с заданиями по мере необходимости. Однако в последних версиях это можно настроить через интерфейс самого клиента.

Периодически составляется топ популярнейших проектов BOINC. Ниже представлены топ-10 проектов BOINC на данный момент [7]:

SETI@Home – анализ сигналов с радиотелескопа Аресибо, а также ряда других радиотелескопов, с целью поиска внеземного разума.

Einstein@Home – проверка гипотезы Эйнштейна о гравитационных волнах, а также поиск радио- и гамма-пульсаров.

World Community Grid – поддерживает большое количество других проектов, созданных для исследований в области поиска лекарств от рака, СПИД, малярии, для разработки экологически чистых источников энергии.

Rosetta@Home – помощь в исследованиях и разработках лекарств.

MilkyWay@Home – создание высокоточной трёхмерной модели звёздных потоков нашей галактики.

PrimeGrid – поиск больших простых чисел. Climate Prediction – изучение изменений климата. SIMAP – создание базы данных белков.

Cosmology@Home – поиск модели, которая наилучшим образом описывала бы нашу вселенную в рамках доступных астрономических и физических данных.

POEM@Home – изучение белковых структур.

В проектах, базирующихся на BOINC, задействовано более миллиона машин. Общая производительность составляет порядка 8-10 петафлопс. В проектах BOINC участвуют команды волонтёров со всего света, в том числе и из России, однако в Казахстане и России развитие собственных грид-систем находится на невысоком уровне.  Россия  активно  использует  суперкомпьютеры,  Казахстан  начинает их использование (Казахский национальный технический университет и Казахстанско-Британский технический университет пользуются суперкомпьютерами невысокой производительности [8]), однако грид-системы пока не получили большого распространения.

На данный момент, в разработке находятся стандарты для Российских грид-систем, разрабатываемые с учётом интеграции в международную среду. Возможно, в ближайшем будущем в ходе освоения грид- систем в России и Казахстане станет возможным использование дешёвых высокопроизводительных систем в вузах и научных центрах для организации собственных масштабных проектов.

Обобщая вышесказанное, можно сделать вывод о том, что грид-системы являются отличным инструментом для решения задач, требующих высоких вычислительных  мощностей,  не  требуя  при этом больших затрат. Грид-системы являются легко масштабируемыми, гибкими и имеют возможность быстрой интеграции беспроводных устройств, что говорит о значительном потенциале их использования, а с возможностью привлечения волонтёров это открывает большой простор для научного использования грид-систем.

 

СПИСОК ЛИТЕРАТУРЫ 

  1. China’s Tianhe-2 Supercomputer Maintains Top Spot on 42nd TOP500 List. – Режим доступа: http:// top500.org/blog/lists/2013/11/press-release/.
  2. Журавлев Е.Е., Корниенко В.Н., Олейников А.Я. и др. Модель открытой Грид-системы // Журнал радиоэлектроники. – 2012. – N – С. 5-6.
  3. Ferreira L., Berstis , Armstrong J. Introduction to Grid Computing with Globus. – Copyright International Business Machines Corporation, 2002, 2003. – Р. 16-22.
  4. Frederic Magoules, Jie Pan, Kiat-An Tan, Abhinit Introduction to Grid Computing. – CRC Press, 2009. – С. 4-8.
  5. Телематика 2004: XI Всероссийская научно-методическая конференция. – Режим доступа: http:// tm.ifmo.ru/tm2004/db/doc/get_thes.php?id=410.
  6. Захаров А.В., Митихин В Г., Серов В.В. Поиск методов построения эффективных мобильных грид-систем // Материалы конференции «Развитие суперкомпьютерных и грид-технологий в России» в рамках МСКФ-2011. – Режим доступа: http://www.hpc-platform.ru/tiki-index.php?page=MSCF.
  7. com – project popularity. – Режим доступа: http://boincstats.com/en/page/projectPopularity.
  8. Развитие суперкомпьютерных технологий в Казахстане. – Режим доступа: http://profit.kz/articles/1256/Razvitie-superkomputernih-tehnologij-v-Kazahstane/.

Фамилия автора: К.В. Семёнов, А.Н. Антропов

articlekz.com

Грид Википедия

Многозадачный сервер для вычислений.

Грид-вычисления (англ. grid — решётка, сеть) — это форма распределённых вычислений, в которой «виртуальный суперкомпьютер» представлен в виде кластеров, соединённых с помощью сети, слабосвязанных гетерогенных компьютеров, работающих вместе для выполнения огромного количества заданий (операций, работ). Эта технология применяется для решения научных, математических задач, требующих значительных вычислительных ресурсов. Грид-вычисления используются также в коммерческой инфраструктуре для решения таких трудоёмких задач, как экономическое прогнозирование, сейсмоанализ, разработка и изучение свойств новых лекарств.

Грид с точки зрения сетевой организации представляет собой согласованную, открытую и стандартизованную среду, которая обеспечивает гибкое, безопасное, скоординированное разделение вычислительных ресурсов и ресурсов хранения[1] информации, которые являются частью этой среды, в рамках одной виртуальной организации.[2]

Грид-вычисления можно организовать на базе множества устаревших моделей персональных компьютеров объединённых в иерархическую локальную вычислительную сеть (например, Ethernet и др.) с присутствием серверов. Эта сеть может иметь соединение с интернетом.[источник не указан 1877 дней]

Концепция грид[ | ]

Грид является географически распределённой инфраструктурой, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.[3]

Идея грид-компьютинга возникла вместе с распространением персональных компьютеров, развитием интернета и технологий пакетной передачи данных на основе оптического волокна (SONET, SDH и ATM), а также технологий локальных сетей (Gigabit Ethernet). Полоса пропускания коммуникационных средств стала достаточной, чтобы при необходимости привлечь ресурсы другого компьютера. Учитывая, что множество подключенных к глобальной сети компьютеров большую часть рабочего времени простаивает и располагает большими ресурсами, чем необходимо для решения их повседневных задач, возникает возможность применить их неиспользуемые ресурсы в другом месте.

Сравнение грид-систем и обычных суперкомпьютеров[ | ]

Распределённые, или грид-вычисления, в целом являются разновидностью параллельных вычислений, к

ru-wiki.ru

No related posts.