Содержание

Что такое файловое хранилище больших данных?—Portal for ArcGIS

О файловых хранилищах больших данных

Файловое хранилище больших данных представляет собой созданный на портале элемент, который ссылается на данные объектов (точки, полилинии, полигоны или табличные данные) в местоположении, доступном для ArcGIS GeoAnalytics Server. Элемент файлового хранилища больших данных на портале позволяет просматривать зарегистрированные данные с помощью инструментов ArcGIS GeoAnalytics Server. Файловые хранилища больших данных могут ссылаться на следующие источники данных:

  • Файловое хранилище – директория наборов данных на локальном или сетевом диске.
  • HDFS – каталог наборов данных HDFS (Hadoop Distributed File System).
  • Hive – базы данных метахранилища.
  • Облачное хранилище – блок Amazon Web Services (AWS) Simple Storage Service (S3) или контейнер Microsoft Azure Blob, содержащий директорию с наборами данных. Облачные хранилища доступны начиная с ArcGIS 10.5.1.

Файловое хранилище больших данных доступно, если администратор портала включил GeoAnalytics Server. Подробнее о включении GeoAnalytics Server см. в разделе Настройка ArcGIS GeoAnalytics Server.

Существует несколько причин, почему предпочтительнее использовать файловое хранилище больших данных, общее для всех источников данных. Вы можете хранить свои данные в доступном месте до тех пор, пока не будете готовы выполнить анализ. Файловое хранилище больших данных позволяет работать с данными во время выполнения анализа, поэтому вы можете продолжать добавлять данные в набор, находящийся в файловом хранилище больших данных, без необходимости перерегистрации или опубликования своих данных. Вы также можете изменить манифест, чтобы удалить, добавить или обновить наборы данных в файловом хранилище больших данных. Файловое хранилище больших данных отличается необычайной гибкостью с точки зрения определения геометрии и времени и допускает несколько форматов времени в отдельном наборе данных. Файловые хранилища больших данных позволяют разбивать наборы данных на разделы, сохраняя способность работы с несколькими такими разделами как с единым набором данных.

Файловые хранилища больших данных становятся доступны только при запуске GeoAnalytics Tools. Это означает, что вы можете только просматривать и добавлять файлы больших данных в анализ; вы не можете визуализировать эти данные на карте.

Файловые хранилища больших данных являются одним из нескольких доступа GeoAnalytics Tools к вашим данным. Список возможных входных данных, которые используют GeoAnalytics Tools см. в разделе GeoAnalytics Tools. Использование во вьюере карт портала.

Подготовка данных для регистрации файлового хранилища больших данных

Файловые хранилища и HDFS

Чтобы подготовить данные для файлового хранилища больших данных необходимо представить наборы данных вложенными папками отдельной родительской папки, которая будет регистрироваться. В зарегистрированной родительской папке имена вложенных папок будут совпадать с именами наборов данных. Если эти вложенные папки будут содержать несколько подпапок или файлов, то все содержимое этих вложенных папок высшего уровня будет считаться отдельным набором данных. Ниже – пример, как зарегистрировать папку FileShareFolder, в которой содержится три набора данных, имена которых Earthquakes, Hurricanes и GlobalOceans. При регистрации родительской папки все подкаталоги указанной папки также регистрируются на сервере GeoAnalytics Server. Всегда регистрируйте родительскую папку (например, \\machinename\FileShareFolder), содержащую один или несколько подпапок отдельных наборов данных.

Пример файлового хранилища больших данных, в котором содержится три набора данных: Earthquakes, Hurricanes и GlobalOceans.

|---FileShareFolder                 < -- The top-level folder is what is registered as a big data file share
   |---Earthquakes                  < -- A dataset is all files and folders within the top-level subfolder
      |---1960
         |---01_1960.csv
         |---02_1960. csv
      |---1961
         |---01_1961.csv
         |---02_1961.csv
   |---Hurricanes
      |---atlantic_hur.shp
      |---pacific_hur.shp
      |---otherhurricanes.shp
   |---GlobalOceans
      |---oceans.shp

Такая же структура используется в файловом хранилище и HDFS, хотя терминология отличается. В файловом хранилище имеется папка или каталог высшего уровня, а наборы данных представлены вложенными папками. В HDFS местоположение файлового хранилища зарегистрировано и содержит наборы данных. В следующей таблице приводится описание различий:

Файловое хранилищеHDFS

Местоположение файлового хранилища больших данных

Папка или директория

HDFS-путь

Наборы данных

Вложенные папки высшего уровня

Наборы данных в HDFS-пути

После того как данные будут организованы в виде папки с вложенными подпапками наборов данных, сделайте их доступными для GeoAnalytics Server, выполнив шаги, указанные в разделе Предоставление доступа к данным ArcGIS Server и зарегистрируйте папку набора данных.

Корневая ветвь реестра

В Hive – базе данных метахранилища все таблицы в базе данных признаются в качестве наборов данных в файловом хранилище больших данных. В следующем примере показано метахранилище с двумя базами данных, default и CityData. При регистрации файлового хранилища больших данных Hive через ArcGIS Server с GeoAnalytics Server, можно выбрать только одну базу данных. В этом примере, если бы была выбрана база данных CityData, то в файловом хранилище больших данных было бы два набора данных, FireData и LandParcels.

|---HiveMetastore                 < -- The top-level folder is what is registered as a big data file share   |---default                    < -- A database      |---Earthquakes      |---Hurricanes      |---GlobalOceans   |---CityData				               < -- A database that is registered (specified in Server Manager)      |---FireData      |---LandParcels

Облачные хранилища

Далее приведены три шага для регистрации файлового хранилища больших данных, имеющего тип облачного хранилища.

  1. Подготовьте данные вашего облачного хранилища в подходящем формате.
  2. Зарегистрируйте облачное хранилище с вашим GeoAnalytics Server.
  3. Зарегистрируйте облачное хранилище в качестве файлового хранилища больших данных на вашем GeoAnalytics Server.
Подготовка ваших данных

Чтобы подготовить данные для файлового хранилища больших данных в облачном хранилище, отформатируйте ваши наборы данных, как вложенные папки внутри отдельной родительской папки.

Ниже приводится пример возможной структуры ваших данных. В данном примере показана регистрация родителькой папки, FileShareFolder, в которой содержится три набора данных с именами Earthquakes, Hurricanes и GlobalOceans. При регистрации родительской папки, все вложенные папки внутри указанной папки также регистрируются на сервере GeoAnalytics Server.

Пример структурирования данных в облачном хранилище, которое будет использоваться в качестве файлового хранилища больших данных.

Это файловое хранилище больших данных содержит три набора данных: Earthquakes, Hurricanes и GlobalOceans.

|---Cloud Store                          < -- The cloud store being registered
   |---Container or S3 Bucket Name       < -- The container (Azure) or bucket (Amazon) being registered as part of the cloud store
      |---FileShareFolder                < -- The parent folder that is registered as the 'folder' during cloud store registration
         |---Earthquakes                 < -- The dataset "Earthquakes" composed of 4 csvs
            |---1960
               |---01_1960.csv
               |---02_1960.csv
            |---1961
               |---01_1961.csv
               |---02_1961.csv
         |---Hurricanes                  < -- The dataset "Hurricanes" composed of 3 shapefiles
            |---atlantic_hur.shp
            |---pacific_hur.shp
            |---otherhurricanes.shp
         |---GlobalOceans                < -- The dataset "GlobalOceans" composed of 1 shapefile
            |---oceans.
 
 shp

Зарегистрируйте облачное хранилище на вашем GeoAnalytics Server

Подключитесь к своему сайту GeoAnalytics Server из ArcGIS Server Manager для регистрации облачного хранилища. Когда вы регистрируете облачное хранилище, необходимо включить имя контейнера Azure или имя сегмента AWS S3, а также папку внутри контейнера или сегмента. Указанная папка состоит из вложенных папок, и каждая представлена, как отдельный набор данных. Каждый набор данных состоит из всего содержания вложенной папки.

Регистрация облачного хранилища в качестве файлового хранилища больших данных

Метод регистрации облачного хранилища в качестве файлового хранилища больших данных зависит от того, какое облачное хранилище вы используете.

Следуйте приведенным шагам для регистрации облачного хранилища AWS S3, которое вы создали в предыдущем разделе, в качестве файлового хранилища больших данных:

  1. Выполните вход на ваш сайт GeoAnalytics Server из ArcGIS Server Manager.
  2. Перейдите к Сайт > Хранилища данных и выберите Файловое хранилище больших данных из ниспадающего списка Зарегистрировать.
  3. Предоставьте следующую информацию в диалоговом окне Зарегистрировать файловое хранилище больших данных:
    1. Введите имя файлового хранилища больших данных.
    2. Выберите Облачное хранилище в ниспадающем списке Тип.
    3. Выберите имя вашего облачного хранилища данных AWS в ниспадающем списке Облачное хранилище.
    4. Щелкните Создать, чтобы зарегистрировать ваше облачное хранилище в качестве файлового хранилища больших данных.

Теперь у вас есть файловое хранилище больших данных и манифест для облачного хранилища AWS. Элемент файлового хранилища больших данных на портале ссылается на сервис каталога больших данных в GeoAnalytics Server.

Следуйте приведенным шагам для регистрации облачного хранилища Azure, которое вы создали в последнем разделе, в качестве файлового хранилища больших данных:

  1. Выполните вход на ваш сайт GeoAnalytics Server из ArcGIS Server Administrator Directory.

    ArcGIS Server Administrator Directory требует выполнения входа в качестве администратора. Чтобы подключиться к интегрированному сайту GeoAnalytics Server, необходимо выполнить вход с помощью токена портала, что требует учетных данных администратора, или в качестве основного администратора сайта GeoAnalytics Server. Если вы не являетесь администратором портала или не имеете доступа к информации учетной записи основного администратора сайта, свяжитесь с администратором вашего портала, чтобы он выполнил эти шаги.

  2. Перейдите к data > registerItem.
  3. Скопируйте следующий текст и вставьте его в текстовое поле Элемент. Обновите значение <bigDataFileShareName>, используя имя, которое вы хотите использовать для файлового хранилища больших данных, и значение <cloudStoreName>, используя имя, указанное для облачного хранилища Azure при регистрации его на сайте GeoAnalytics Server.
    {
   "path": "/bigDataFileShares/<bigDataFileShareName>",
   "type": "bigDataFileShare",
   "info": {
   "connectionString": "{\"path\" : \"/cloudStores/<cloudStoreName>\"}",
   "connectionType": "dataStore"
   }
   }
  4. Щелкните Зарегистрировать элемент.

    После того, как элемент зарегистрирован, файловое хранилище больших данных появится в качестве хранилища данных в ArcGIS Server Manager.

  5. Выполните вход на ваш сайт GeoAnalytics Serverсайт GeoAnalytics Server из ArcGIS Server Manager.

    Вы можете войти как издатель или как администратор.

  6. Перейдите к Сайт > Хранилища данных и щелкните кнопку Создать заново манифест рядом с новым файловым хранилищем больших данных.

Теперь у вас есть файловое хранилище больших данных и манифест для облачного хранилища Azure. Элемент файлового хранилища больших данных на портале ссылается на сервис каталога больших данных в GeoAnalytics Server.

Регистрация файлового хранилища больших данных

Чтобы зарегистрировать файловое хранилище, HDFS или облачное хранилище Hive в качестве файлового хранилища больших данных, подключитесь к сайту GeoAnalytics Server через ArcGIS Server Manager. Более подробно о необходимых для регистрации действиях см. Регистрация данных в ArcGIS Server с помощью Manager в ArcGIS Server.

Подсказка:

Шаги для регистрации облачного хранилища в качестве файлового хранилища больших данных были приведены в предыдущем разделе.

После регистрации файлового хранилища больших данных будет сгенерирован манифест, в котором указывается формат наборов данных в местоположении этого хранилища и в том числе поля, представляющие геометрию и время. Файловое хранилище больших данных создается на портале, который ссылается на сервис каталога больших данных в GeoAnalytics Server, где эти данные зарегистрированы. Более подробно о сервисах каталога больших данных см. документацию Сервис каталога больших данных в Справке ArcGIS Services REST API.

Изменение файлового хранилища больших данных

После создания сервиса каталога больших данных автоматически генерируется манифест, который загружается на сайт GeoAnalytics Server, где эти данные зарегистрированы. В процессе генерации манифеста в наборе данных не всегда правильно определяются поля геометрии и времени, может потребоваться корректировка. Для внесения изменений в манифест выполните шаги из раздела Редактирование файловых хранилищ больших данных в Manager. Дополнительные сведения о манифесте файлового хранилища больших данных см. в разделе Знакомство с манифестом файлового хранилища больших данных Справки ArcGIS Server.

Выполнение анализа на файловом хранилище больших данных

Выполнение анализа набора данных из файлового хранилища больших данных возможно через любой клиент, который поддерживает GeoAnalytics Server, включая:

  • ArcGIS Pro
  • Вьюер карт Portal for ArcGIS
  • ArcGIS REST API

Для выполнения анализа на файловом хранилище больших данных посредством вьюера карт ArcGIS Pro или Portal for ArcGIS, выберите GeoAnalytics Tools, который вы хотели бы использовать. Перейдите к месту расположения данных, которые будут использоваться в качестве входных для этого инструмента, под Портал в ArcGIS Pro или в диалоговом окне Обзор слоев во вьюере карт Portal for ArcGIS.

Данные будут в Мои ресурсы, если вы сами регистрировали эти данные. Если не сами, то проверьте Группы или Весь портал. Примите к сведению, что слой файлового хранилища больших данных, который выбран для анализа, не будет отображаться на карте.

Убедитесь, что вы выполнили вход на портал под учетной записью с доступом к зарегистрированному файловому хранилищу больших данных. Чтобы быстро найти все доступные для вас файловые хранилища больших данных выполните поиск на портале по условию bigDataFileShare*.

Для выполнения анализа на файловом хранилище больших данных посредством ArcGIS REST API используйте в качестве входных данных URL-адрес сервиса каталога больших данных. URL-адрес будет иметь формат {«url»:» https://webadaptorhost.domain.com/webadaptorname/rest/DataStoreCatalogs/bigDataFileShares_filesharename/BigDataCatalogServer/dataset»}. Например, если имя компьютера – example, имя домена – esri, имя Web Adaptor – server, имя файлового хранилища больших данных – MyData, а имя набора данных – Earthquakes, то URL-адрес будет следующим: {«url»:» https://example. esri.com/server/rest/DataStoreCatalogs/bigDataFileShares_MyData/BigDataCatalogServer/Earthquakes»}. Более подробно о вводе данных для анализа больших данных посредством REST, см. раздел Ввод объектов в документации ArcGIS Services REST API.

Отзыв по этому разделу?

Что такое облачное хранилище файлов? – Описание общего доступа к файлам и хранения файлов в облаке – AWS

Что такое облачное хранилище файлов?

Облачное хранилище файлов – это способ хранения файлов в облаке, позволяющий серверам и приложениям получать доступ к данным через совместно используемые файловые системы. Такая совместимость делает облачное хранилище файлов идеальным решением для рабочих нагрузок с совместно используемыми файловыми системами, и обеспечивает простую интеграцию без внесения изменений в код.

Что такое система файлов в облаке?

Облачное хранилище файлов – это иерархическая система хранения в облаке, предоставляющая совместный доступ к файловым данным. Она позволяет создавать, удалять, изменять, считывать и записывать файлы, а также упорядочивать их логически в древовидной системе директорий для интуитивно понятного доступа.

Что такое общий доступ к файлам в облаке?

Общий доступ к файлам в облаке – это сервис, предоставляющий множеству пользователей одновременный доступ к общему набору файлов в облаке. Безопасность файлов в онлайн-хранилище определяется разрешениями для отдельных пользователей и групп, что позволяет администраторам контролировать доступ к данным общих файлов.

Как облачное хранилище файлов помогает совместной работе?

С облачным хранилищем файлов члены команды могут получать доступ, просматривать и редактировать одни и те же файлы практически в реальном времени и одновременно почти из любого места. Пользователи и группы могут видеть правки по мере их внесения, а изменения синхронизируются и сохраняются, чтобы пользователи или группы могли видеть самую последнюю версию файла. Ниже указаны преимущества совместной работы через обмен файлами в облаке.

  • Работайте вместе даже с удаленными сотрудниками и достигайте совместных целей.
  • Гибко планируйте работу, распределяя задачи между сотрудниками, находящимися в разных часовых поясах.
  • Легко делитесь и редактируйте большие файлы, например видео- или аудиофайлы.
  • Получайте уведомления, когда кто-то редактирует или обновляет файлы в режиме реального времени.
  • Делитесь идеями или предложениями, оставляя комментарии к общим файлам.

Какие есть примеры использования облачного хранилища файлов?

Облачное хранилище файлов обеспечивает гибкость при поддержке существующих приложений и интеграции с ними, а также простоту развертывания, управления и обслуживания всех файлов в облаке. Благодаря этим двум ключевым преимуществам организации имеют возможность поддерживать широкий спектр приложений и вертикальных уровней. Файловые хранилища на основе облака идеально подходят для таких рабочих нагрузок, как крупные репозитории контента, среды разработки, хранилища мультимедиа и домашние каталоги пользователей. Ниже приведены некоторые примеры использования файловых хранилищ.

Распространение файлов через Интернет

Потребность в хранилище совместно используемых файлов для приложений, распространяющих файлы через Интернет, может привести к сложностям при интеграции серверных частей приложений. Как правило, существует несколько веб‑серверов, осуществляющих доставку контента веб‑сайта, причем каждый веб‑сервер нуждается в доступе к одному и тому же набору файлов. Поскольку решения для облачного хранения файлов поддерживают общие протоколы на уровне файлов, соглашения об именах файлов и привычные для разработчиков разрешения, облачное хранилище файлов можно интегрировать в веб-приложения.

Управление контентом

Для системы управления контентом (CMS) требуется общее пространство имен и доступ к иерархии файловой системы. Как и в примере распространения файлов через Интернет, в средах CMS обычно имеется несколько серверов, которым для обслуживания контента необходим доступ к одному и тому же набору файлов. Поскольку решения для облачных хранилищ файлов поддерживают традиционную семантику файловой системы, соглашения об именах файлов и привычные для веб‑разработчиков разрешения, такие хранилища документов и других файлов можно интегрировать в существующие рабочие процессы CMS.

Аналитика

Для аналитики может потребоваться носители больших объемов данных, которые также можно масштабировать, чтобы адаптироваться к росту компании. Это хранилище также должно обеспечивать производительность, необходимую для доставки данных в инструменты аналитики. Многим аналитическим рабочим нагрузкам нужен файловый интерфейс для взаимодействия с данными и возможность записи в различные части файла. Кроме того, в таких процессах часто применяется функция блокировки. Поскольку хранилище файлов в облаке поддерживает общие протоколы на основе файлов и позволяет масштабировать ресурсы и производительность, такое хранилище идеально подходит для решений по совместному использованию файлов, которые легко интегрировать в существующие рабочие процессы больших данных и аналитики.

Мультимедиа и развлечения

Рабочие процессы в сфере цифровых мультимедиа и индустрии развлечений постоянно меняются. Многие компании используют гибридное облачное развертывание и нуждаются в стандартизированном доступе с использованием протоколов файловой системы (NFS или SMB) или одновременном доступе к протоколу. Эти рабочие процессы требуют гибкого, стабильного и безопасного доступа к данным как из готовых, так и из специально разработанных или партнерских решений. Поскольку облачное хранилище файлов поддерживает традиционную семантику файловой системы, хранение мультимедийного контента для обработки и совместной работы можно интегрировать в цепочки поставок цифровых мультимедиа, в процессы создания контента, потоковой передачи мультимедиа, организации трансляций, аналитики и архивации.

Домашние каталоги

Использование для хранения файлов домашних каталогов, доступных только для определенных пользователей и групп, подходит для многих облачных рабочих процессов. Компании, которые рассчитывают воспользоваться преимуществами масштабируемости и экономичности облака, расширяют доступ к домашним каталогам для многих своих пользователей. Поскольку облачные системы хранения файлов поддерживают общие протоколы на уровне файлов и стандартные модели разрешений, клиенты могут переносить в облако приложения, требующие такой возможности.

Резервное копирование баз данных

Резервное копирование данных с использованием существующих механизмов, программного обеспечения и семантики можно использовать для создания сценария изолированного аварийного восстановления, обладающего небольшой гибкостью в отношении местоположения. Многие компании стремятся использовать гибкие возможности хранения в облаке для резервных копий баз данных в качестве временной защиты предыдущих версий в процессе обновлений либо для решения вопросов разработки и тестирования. Поскольку для облачного хранения файлов предоставляется стандартная файловая система, которую можно просто подключать к серверам баз данных, оно может стать идеальной платформой для создания портативных резервных копий баз данных с использованием встроенных инструментов или корпоративных приложений для резервного копирования.

Инструменты разработки

По ходу совместной работы по разработке инновационных решений в средах разработки могут возникать трудности в вопросах надежного и безопасного совместного использования данных. Когда требуется совместная работа с программным кодом и другими файлами, облачное хранилище файлов обеспечивает упорядоченный и безопасный репозиторий, доступ к которому можно получить из облачных сред разработки. Хранилище файлов в облаке предоставляет масштабируемое и высокодоступное решение, идеально подходящее для совместной работы.

Хранилище для контейнеров и бессерверных приложений

Контейнеры идеально подходят для создания микросервисов, поскольку их можно выделять и перемещать, при этом они обеспечивают необходимую изоляцию процессов. Для контейнера, которому нужен доступ к исходным данным при каждом запуске, может требоваться совместно используемая файловая система с возможностью подключения с любого используемого инстанса. Облачное хранилище файлов может обеспечить постоянный совместный доступ к данным для всех контейнеров в кластере. Используя бессерверные вычисления, можно увеличить гибкость в работе и при этом не тратить время на обеспечение безопасности, масштабируемости и доступности приложений. Например, можно запускать крупномасштабные и критически важные бессерверные приложения на AWS Lambda. Облачное хранилище файлов предлагает высокодоступный и надежный бессерверный носитель данных для обмена данными, которые необходимо сохранять после и в перерывах между выполнением функций Lambda.

Вычислительные возможности для конечных пользователей

Вычислительные возможности для пользователей (EUC) включают сочетание технологий, которое обеспечивает вашим сотрудникам безопасный удаленный доступ к приложениям, настольным компьютерам и данным, необходимым для выполнения своей работы. Современные предприятия используют EUC, чтобы их сотрудники могли работать безопасным и масштабируемым способом из любого места, на нескольких устройствах. Технологии EUC, такие как постоянные рабочие столы и системы управления документами, требуют безопасных, надежных и масштабируемых систем хранения файлов.

Какие требования к облачному хранилищу файлов?

Идеальное решение для носителей данных на основе файлов в облаке должно обеспечивать требуемую производительность и пропускную способность, соответствующие текущим задачам, а также масштабироваться по мере изменения задач бизнеса. Решение должно включать указанные ниже функции.

  • Полная управляемость. Предоставляет полностью управляемую файловую систему, которую можно запустить за считаные минуты без физического аппаратного обеспечения или постоянного обслуживания ПО.
  • Производительность. Обеспечивает стабильную пропускную способность, масштабируемое пространство для хранилища и производительность с низкой задержкой.
  • Совместимость. Эффективно интегрируется с существующими приложениями без необходимости создания программного кода
  • Безопасность. Обеспечивает сетевую безопасность и управления доступом и разрешениями для защиты конфиденциальных данных.
  • Доступность. Доступность в любое нужное время за счет избыточного копирования в нескольких местоположениях.
  • Экономичность. Оплате подлежат только потребляемые ресурсы без первоначальных затрат на приобретение.

Какие существуют типы облачных сервисов хранения файлов?

Преимущества облачных файловых хранилищ очевидны, но важно также отметить, что есть разные решения облачных хранилищ и не все такие решения имеют одинаковые возможности. Использовать облачное хранилище файлов можно одним из двух способов: посредством полностью управляемых решений с минимальной настройкой и практически без обслуживания или через самостоятельно настраиваемые решения, для которых отдельно выделяются вычислительные ресурсы, хранилище, ПО и лицензии, причем во втором случае необходимо наличие опытного персонала для настройки и технического обслуживания.

Полностью управляемые решения

Для полностью управляемых решений практически не требуются настройки и обслуживание. Они работают, чтобы удовлетворить потребности самых ресурсоемких рабочих нагрузок приложений. Такие решения также предоставляют простое и масштабируемое хранилище файлов для вычислительных моделей AWS, включая контейнеры, бессерверные и локальные варианты использования AWS. Вы получаете практически неограниченное облачное хранилище для всех файловых данных.

Решения «сделай сам»

Решения «сделай сам» – это самостоятельно настраиваемые кластерные решения, при использовании которых необходимо тратить время на установку, управление и обслуживание. Например, сервис для хранения файлов может представлять собой файловый сервер с одним узлом на вычислительном инстансе, где используется самостоятельно управляемое хранилище без возможности масштабирования, но с небольшим количеством избыточности для защиты данных. Настройка – это сложный и медленный процесс, где возможны человеческие ошибки и повышение рисков безопасности. Управляемые решения, напротив, надежны, безопасны и масштабируемые, а также могут сэкономить часы и дни при настройке и управлении.

Как облачное хранилище файлов соотносится с другими типами облачных хранилищ?

Существует три типа  облачных хранилищ: объектные, файловые и блочные. Каждый тип обладает своими уникальными преимуществами.

Файловое хранилище

Многим приложениям требуется доступ к совместно используемым файлам и файловая система. Данный тип хранилища часто поддерживается сервером сетевого хранилища данных (NAS). Решения файловых хранилищ, например Amazon EFS и Amazon FSx, идеально подходят для таких примеров использования, как репозитории контента, среды разработки, машинное обучение, анализ данных, мультимедийные хранилища или личные каталоги пользователей. Сервис Amazon FSx для Lustre прекрасно подходит для высокопроизводительных вычислений.

Объектное хранилище

Для приложений, разработанных в облаке, как правило, требуются такие преимущества объектного хранилища, как широкие возможности масштабирования и характеристики метаданных. Объектные хранилища, например  Простой сервис хранения данных (Amazon S3), идеально подходят для разработки с нуля современных приложений, которым требуется гибкость и возможность масштабирования. Кроме того, эти хранилища можно использовать для импорта данных из существующих хранилищ с целью анализа, резервного копирования или архивации. Объектное хранилище создано для Интернета и состоит из корзин и объектов. Корзина – это контейнер для объектов. Объект – это файл и любых метаданных, описывающих этот файл. С объектным хранилищем затраты могут быть ниже из-за масштаба; оно обеспечивает более быстрое время извлечения без иерархии папок; а его классификация метаданных позволяет лучше анализировать данные.

Чем файловое хранилище отличается от объектного хранилища?

Хотя объектные хранилища поддерживают хранение файлов как объектов, доступ к ним из существующих приложений требует нового программного кода и использования API, а также достоверного знания семантики пространства имен. И напротив, решения для носителей данных на основе файлов поддерживают общие протоколы и модели разрешений на уровне файлов. Такие решения не требуют написания нового кода для интеграции с приложениями, настроенными для работы с общим файловым хранилищем.

Блочное хранилище

Другие корпоративные приложения, например базы данных или системы планирования ресурсов предприятия (ERP), часто нуждаются в выделенном хранилище с низкими задержками для каждого из хостинга. Такое хранилище похоже на хранилище с прямым подключением (DAS) или сети хранения данных (SAN). Решения облачных хранилищ на основе блоков, такие как Магазин эластичных блоков Amazon (Amazon EBS), выделяют хранилище для каждого виртуального сервера и обеспечивают задержку в считанные миллисекунды для рабочих нагрузок, требующих высокой производительности.

Чем файловое хранилище отличается от блочного хранилища?

Блочное хранилище можно использовать в качестве базового компонента хранилища для самостоятельно управляемого решения хранилища файлов. Однако необходимость взаимно‑однозначного соответствия между узлом и томом затрудняет масштабирование, обеспечение доступности и экономичности, присущей полностью управляемым решениям. К тому же для поддержки решения на основе блочного хранилища требуются дополнительные расходы и ресурсы управления. С помощью полностью управляемого облачного хранилища файлов можно устранить сложности, снизить затраты и упростить управление.

Что представляют собой сервисы хранилищ на базе AWS?

В мире существует огромное количество файловых данных. AWS предоставляет полностью управляемые сервисы для управления файловой системой, которые помогут вам удовлетворить разнообразные потребности ваших файловых приложений и рабочих нагрузок. Для многих организаций требуется высокий уровень доступности критически важных бизнес-приложений, и многие из этих приложений используют общее хранилище файлов. Миграция этих приложений в облако обеспечивает масштабируемость, высокую доступность и долговечность, безопасность и снижение затрат при одновременном повышении гибкости.

AWS предлагает указанные ниже сервисы для хранения файлов, оптимизированные для ваших приложений и примеров использования.

  • Amazon EFS – это простая бессерверная эластичная файловая система, не требующая постоянного контроля, которая дает возможность быстро создавать и настраивать общие файловые системы для вычислительных сервисов AWS.
  • Amazon FSx для Lustre предназначен для приложений, требующих больших вычислительных мощностей, например высокопроизводительных вычислений. С этим сервисом вы можете легко обрабатывать данные с помощью оптимизированной для производительности файловой системы, сохраняя входные и выходные данные на Amazon S3.
  • Amazon FSx для NetApp ONTAP – это полностью управляемое общее хранилище с несколькими протоколами на базе популярной файловой системы NetApp ONTAP.
  • Amazon FSx для OpenZFS предоставляет полностью управляемое совместное хранилище файлов, созданное на основе файловой системы OpenZFS, чтобы переносить файловые серверы на базе Linux в AWS, не изменяя код приложения или способ управления данными.
  • Amazon FSx для Windows File Server обеспечивает полностью управляемую собственную файловую систему Windows с широким спектром возможностей доступа к данным, управления данными и администрирования.

Начните работу с облачным хранилищем файлов, создав бесплатный аккаунт AWS уже сегодня.

Что такое хранилище файлов? | Определение из TechTarget

Хранилище

К

  • Эд Ханнан
Хранилище файлов

, также называемое файловым хранилищем или файловым хранилищем , хранит данные в иерархической структуре. Данные сохраняются в файлах и папках и представляются как системе, хранящей их, так и системе, извлекающей их в одном и том же формате. Доступ к данным можно получить с помощью протокола сетевой файловой системы (NFS) для Unix или Linux или протокола блока сообщений сервера (SMB) для Microsoft Windows.

NFS, первоначально разработанный Sun Microsystems, позволяет клиенту хранить и просматривать файлы на сервере, как если бы они находились на клиентском компьютере. Вся или часть файловой системы может быть смонтирована на сервере, где она будет доступна клиентам с назначенными правами доступа к файлу. SMB использует пакеты данных, отправляемые клиентом на сервер, который отвечает на запрос. Большинство сетевых хранилищ (NAS) поддерживают NFS и SMB, которые ранее были известны как Common Internet File System.

Файловое и блочное хранилище

В то время как системы хранения на уровне блоков записывают данные в определенные блоки и извлекают их из них, хранилища на уровне файлов запрашивают данные через интерфейсы представления данных на уровне пользователя. Этот метод связи клиент-сервер возникает, когда клиент использует имя файла данных, расположение каталога, URL-адрес и другую информацию. При использовании хранилища на уровне блоков сервер получает запрос на регистрацию, ищет места хранения данных, в которых хранятся данные, и извлекает их с помощью функций уровня хранилища. Сервер отправляет файл клиенту не в виде блоков, а в виде байтов файла. Протоколы файлового уровня не могут понимать блочные команды, а блочные протоколы не могут передавать запросы и ответы на доступ к файлам.

Унифицированное хранилище

, также известное как многопротокольное хранилище , предлагает доступ на уровне блоков Fibre Channel и iSCSI, который можно найти в системах сети хранения данных (SAN), и доступ на уровне файлов NAS в одном устройстве. Унифицированное хранилище было впервые использовано примерно в 2002 году и теперь является общей архитектурой хранения.

Отдельные корпоративные файловые хранилища NAS и SAN также могут предлагать расширенные функции управления данными, такие как дедупликация данных и тонкое выделение ресурсов, которые могут обеспечить большую ценность с виртуальными инфраструктурами.

Рост систем хранения файлов

В последние годы тенденции в центрах обработки данных, такие как аналитика больших данных и технологии облачного хранения, способствовали быстрому росту компьютерных хранилищ файлов. Количество приложений, использующих строго файловый доступ, а не доступ к базе данных, стало еще одним фактором.

Файловые устройства NAS

, как правило, являются наиболее эффективным способом борьбы с ростом данных в файлах. Но слишком много файловых систем может привести к изоляции, поскольку у пользователей может отсутствовать глобальное пространство имен на нескольких платформах. Это заставляет администраторов запускать несколько систем одновременно.

Хотя добавление систем NAS является правильным подходом к решению проблемы резкого увеличения объемов компьютерных хранилищ файлов, предпочтительным методом является использование горизонтально масштабируемой системы NAS, кластерной системы NAS или файловой виртуализации NAS для их одновременного запуска.

См. также : сетевое хранилище (NAS)

Последнее обновление: май 2016 г.

Продолжить чтение О файловом хранилище
  • Управление файловыми ресурсами с помощью Microsoft Azure
  • Файловые системы с открытым исходным кодом могут принести пользу средам хранения
  • Сравнение файловых и блочных хранилищ в средах виртуальных серверов
  • Как различать хранилище на уровне блоков и файлов
  • Как работает файловое хранилище с масштабируемыми сетевыми системами хранения
Подробно изучите архитектуру и стратегию хранения данных
  • SAN, NAS и DAS: ключевые отличия и лучшие варианты использования

    Автор: Рич Кастанья

  • Что такое сетевое хранилище (NAS)? Полное руководство

    Автор: Стивен Бигелоу

  • NAS или облачное хранилище: что лучше для вашего бизнеса?

    Автор: Рич Кастанья

  • Шлюз NAS

    Автор: Гарри Кранц

Аварийное восстановление

  • Рекомендации по сетевой документации для команд аварийного восстановления

    В случае аварии ИТ-команды часто думают о серверах и хранилищах, но забывают о сетях. Узнайте, что вам следует…

  • Как обеспечить непрерывность сети в стратегии аварийного восстановления

    Катастрофа приходит не только в виде пожара, наводнения и программ-вымогателей. Потеря непрерывности сети является реальной проблемой и должна быть …

  • Предотвращайте различные типы сетевых атак с помощью планирования аварийного восстановления

    Команды аварийного восстановления и ИТ-безопасности должны защищать сеть по нескольким направлениям, чтобы защитить данные от потенциальных злоумышленников. А…

Резервное копирование данных

  • Используйте резервное шифрование для защиты данных от потенциальных воров

    Шифрование — это мощный инструмент для защиты конфиденциальных данных от чужих рук. Чтобы обеспечить возможность восстановления после сбоя, данные …

  • 21 сервис облачного резервного копирования для бизнеса в 2023 году

    Прежде чем выбрать услугу поставщика облачного резервного копирования, определите конкретные потребности вашей организации, в том числе какие функции . ..

  • SIOS стремится ускорить автоматическую репликацию SAP HANA

    Новые возможности LifeKeeper для Linux позволяют использовать дополнительные узлы для многоцелевой репликации для обеспечения высокой доступности SAP HANA …

Центр обработки данных

  • 4 модуля PowerShell, которые должен знать каждый ИТ-специалист

    Узнайте, как использовать четыре самых популярных модуля сообщества PowerShell в галерее PowerShell, чтобы лучше управлять своим …

  • Система Nvidia DGX Quantum объединяет процессоры, графические процессоры с CUDA

    Nvidia и Quantum Machines предлагают новую архитектуру, сочетающую центральные и графические процессоры с квантовыми технологиями.

  • Модернизация приложений, мейнфреймы, микросервисы: обзор событий IBM

    На недавнем мероприятии IBM Infrastructure Analyst компания IBM объявила о достижениях в IBM zSystems для ИИ, архитектуры приложений и других областях . ..

Что такое файловая система?

Хранилище

К

  • Эрин Салливан, Редактор сайта
  • Эллен О’Брайен, Исполнительный редактор

В компьютере файловая система — иногда письменная файловая система — это способ, которым файлы именуются и где они логически размещаются для хранения и поиска. Без файловой системы хранимая информация не была бы изолирована в отдельные файлы, и ее было бы трудно идентифицировать и извлечь. По мере увеличения емкости данных организация и доступность отдельных файлов становятся все более важными для хранения данных.

Цифровые файловые системы и файлы названы в честь бумажных файловых систем и созданы по образцу бумажных файловых систем, использующих тот же логический метод хранения и поиска документов.

Файловые системы могут различаться в разных операционных системах (ОС), таких как Microsoft Windows, macOS и системы на базе Linux. Некоторые файловые системы предназначены для конкретных приложений. Основные типы файловых систем включают распределенные файловые системы, дисковые файловые системы и файловые системы специального назначения.

Как работают файловые системы

Файловая система хранит и организует данные, и ее можно рассматривать как тип индекса для всех данных, содержащихся на устройстве хранения. К таким устройствам могут относиться жесткие диски, оптические приводы и флэш-накопители.

Файловые системы определяют соглашения по именованию файлов, включая максимальное количество символов в имени, допустимые символы и, в некоторых системах, длину суффикса имени файла. Во многих файловых системах имена файлов не чувствительны к регистру.

Наряду с самим файлом файловые системы содержат такую ​​информацию, как размер файла, а также его атрибуты, расположение и иерархию в каталоге в метаданных. Метаданные также могут определять свободные блоки доступного хранилища на диске и объем доступного места.

Пример диаграммы дерева файлов

Файловая система также включает формат для указания пути к файлу через структуру каталогов. Файл помещается в каталог — или папку в ОС Windows — или подкаталог в желаемом месте в древовидной структуре. ПК и мобильные ОС имеют файловые системы, в которых файлы размещаются где-то в иерархической древовидной структуре.

Перед созданием файлов и каталогов на носителе данных необходимо создать разделы. Раздел — это область жесткого диска или другого хранилища, которым ОС управляет отдельно. Одна файловая система содержится в основном разделе, а некоторые операционные системы позволяют создавать несколько разделов на одном диске. В этой ситуации, если одна файловая система будет повреждена, данные в другом разделе будут в безопасности.

Файловые системы и роль метаданных

Файловые системы используют метаданные для хранения и извлечения файлов. Примеры тегов метаданных включают:

  • Дата создания
  • Дата изменения
  • Последняя дата доступа
  • Последняя резервная копия
  • Идентификатор пользователя создателя файла
  • Права доступа
  • Размер файла

Метаданные хранятся отдельно от содержимого файла, при этом многие файловые системы хранят имена файлов в отдельных записях каталога. Некоторые метаданные могут храниться в каталоге, тогда как другие метаданные могут храниться в структуре, называемой инодом.

В Unix-подобных операционных системах индексный дескриптор может хранить метаданные, не связанные с содержимым самого файла. Инод индексирует информацию по номеру, который можно использовать для доступа к расположению файла, а затем и к самому файлу.

Примером файловой системы, использующей метаданные, является OS X, ОС, используемая Apple. Он позволяет использовать ряд функций оптимизации, включая имена файлов, которые могут растягиваться до 255 символов.

Доступ к файловой системе

Файловые системы также могут ограничивать доступ на чтение и запись для определенной группы пользователей. Пароли — самый простой способ сделать это. Наряду с контролем того, кто может изменять или читать файлы, ограничение доступа может гарантировать, что изменение данных контролируется и ограничивается.

Разрешения на доступ к файлам, такие как списки контроля доступа или возможностей, также можно использовать для ограничения доступа к файловой системе. Эти типы механизмов полезны для предотвращения доступа обычных пользователей, но не так эффективны против внешних злоумышленников.

Шифрование файлов также может предотвратить доступ пользователей, но оно больше ориентировано на защиту систем от внешних атак. Ключ шифрования можно применить к незашифрованному тексту, чтобы зашифровать его, или ключ можно использовать для расшифровки зашифрованного текста. Только пользователи с ключом могут получить доступ к файлу. При шифровании файловой системе не требуется знать ключ шифрования для эффективного управления данными.

Типы файловых систем

Существует несколько типов файловых систем с различной логической структурой и свойствами, такими как скорость и размер. Тип файловой системы может различаться в зависимости от ОС и потребностей этой ОС. Тремя наиболее распространенными операционными системами для ПК являются Microsoft Windows, Mac OS X и Linux. Мобильные ОС включают Apple iOS и Google Android.

К основным файловым системам относятся следующие:

Таблица размещения файлов ( FAT ) поддерживается ОС Microsoft Windows. FAT считается простой и надежной системой, созданной по образцу устаревших файловых систем. FAT была разработана в 1977 году для гибких дисков, но позже была адаптирована для жестких дисков. Хотя FAT эффективна и совместима с большинством современных операционных систем, она не может сравниться по производительности и масштабируемости с более современными файловыми системами.

Глобальная файловая система (GFS) — это файловая система для ОС Linux, и это файловая система с общим диском. GFS предлагает прямой доступ к общему блочному хранилищу и может использоваться как локальная файловая система.

GFS2 — это обновленная версия с функциями, отсутствующими в исходной GFS, такими как обновленная система метаданных. По условиям Стандартной общественной лицензии GNU файловые системы GFS и GFS2 доступны как бесплатное программное обеспечение.

Иерархическая файловая система (HFS) была разработана для использования с операционными системами Mac. HFS также может называться Mac OS Standard, и на смену ему пришла Mac OS Extended. Первоначально введен в 1985 для гибких и жестких дисков HFS заменила исходную файловую систему Macintosh. Его также можно использовать на компакт-дисках.

Файловая система NT, также известная как New Technology File System ( NTFS ) , является файловой системой по умолчанию для продуктов Windows, начиная с ОС Windows NT 3.1. Улучшения по сравнению с предыдущей файловой системой FAT включают лучшую поддержку метаданных, производительность и использование дискового пространства. NTFS также поддерживается в ОС Linux с помощью бесплатного драйвера NTFS с открытым исходным кодом. Mac OS поддерживает NTFS только для чтения.

Универсальный формат диска ( UDF ) — это файловая система, не зависящая от поставщика и используемая на оптических носителях и DVD-дисках. UDF заменяет файловую систему ISO 9660 и является официальной файловой системой для DVD-видео и аудио, выбранной DVD Forum.

Файловая система и СУБД

Подобно файловой системе, система управления базами данных (СУБД) эффективно хранит данные, которые можно обновлять и извлекать. Однако они не взаимозаменяемы. В то время как файловая система хранит неструктурированные, часто несвязанные файлы, СУБД используется для хранения и управления структурированными связанными данными.

СУБД создает и определяет ограничения для базы данных. Файловая система обеспечивает доступ к отдельным файлам за раз и адресует каждый файл отдельно. Из-за этого такие функции, как избыточность, выполняются на индивидуальном уровне, а не самой файловой системой. Это делает файловую систему гораздо менее согласованной формой хранения данных, чем СУБД, которая поддерживает один репозиторий данных, определенный один раз.

Централизованная структура СУБД упрощает совместное использование файлов по сравнению с файловой системой и предотвращает аномалии, которые могут возникнуть при внесении отдельных изменений в файлы в файловой системе.

Существуют методы защиты файлов в файловой системе, но для усиленной безопасности лучше всего использовать СУБД. Безопасность в файловой системе определяется ОС, и ее может быть сложно поддерживать с течением времени, поскольку файлы доступны и пользователям предоставляется авторизация.

СУБД поддерживает высокие ограничения безопасности, полагаясь на защиту паролем, шифрование и ограниченную авторизацию. Более высокий уровень безопасности приводит к большему количеству препятствий при извлечении данных, поэтому с точки зрения общего и простого в использовании хранения и извлечения файлов предпочтительнее может быть файловая система.

Определение файловых систем развивается

Хотя ранее термин относился к физическим бумажным файлам, термин файловая система использовался для обозначения цифровых файлов еще в 1961 году. К 1964 году он стал широко использоваться для обозначения компьютеризированных файловых систем.

Термин файловая система может также относиться к части операционной системы или дополнительной программы, которая поддерживает файловую систему. Примеры таких дополнительных файловых систем включают сетевую файловую систему (NFS) и файловую систему Эндрю (AFS).

Кроме того, этот термин эволюционировал для обозначения аппаратного обеспечения, используемого для энергонезависимого хранилища, программного приложения, которое управляет аппаратным обеспечением и архитектурой как аппаратного, так и программного обеспечения.

Последнее обновление: август 2018 г.

Продолжить чтение О файловой системе
  • Хранение файлов, блоков и объектов лицевой стороной
  • Общий доступ к файлам в хранилище Ceph
  • Детализация последней версии файловой системы Mac
  • Знакомство с различными файловыми системами
  • Что нового в мире файловых систем
Копать глубже на первичных устройствах хранения
  • отказоустойчивый кластер

    Автор: Рахул Авати

  • атрибут

    Автор: Рахул Авати

  • система управления базами данных (СУБД)

    Автор: Крейг Маллинз

  • Лучшее корпоративное облачное хранилище 2021 года

    Автор: Тим Маккарти

Аварийное восстановление

  • Рекомендации по сетевой документации для команд аварийного восстановления

    В случае аварии ИТ-команды часто думают о серверах и хранилищах, но забывают о сетях. Узнайте, что вам следует …

  • Как обеспечить непрерывность сети в стратегии аварийного восстановления

    Катастрофа приходит не только в виде пожара, наводнения и программ-вымогателей. Потеря непрерывности сети является реальной проблемой и должна быть …

  • Предотвращайте различные типы сетевых атак с помощью планирования аварийного восстановления

    Команды аварийного восстановления и ИТ-безопасности должны защищать сеть по нескольким направлениям, чтобы защитить данные от потенциальных злоумышленников. А …

Резервное копирование данных

  • Используйте резервное шифрование для защиты данных от потенциальных воров

    Шифрование — это мощный инструмент для защиты конфиденциальных данных от чужих рук. Чтобы обеспечить возможность восстановления после сбоя, данные …

  • 21 сервис облачного резервного копирования для бизнеса в 2023 году

    Прежде чем выбрать услугу поставщика облачного резервного копирования, определите конкретные потребности вашей организации, в том числе какие функции .

    No related posts.