Подключение облачного объектного хранилища

КУРСОВАЯ РАБОТА

по дисциплине: «Базы данных»

 

 Тема: «Разработка информационной системы для разметки и хранения данных “Treat”»

 

Работу выполнил:

студент 3-го курса

направления бакалавриата математическое обеспечение и администрирование информационных систем

Мешков Александр

___________________________

______ _______________2019

 

Работу проверил:

ст. преподаватель

Савкин Дмитрий Александрович

__________________________________ ______________2019

 

 

Калининград

2019

СОДЕРЖАНИЕ

 

Введение 2

Глава 1. Постановка задачи при разработке ИС «Treat» 3

1.1. Требования к информационной системе для разметки данных 4

1.2. Анализ и выбор хранилища 5

1.3. Интерфейс информационной системы??

Глава 2. Реализация ИС «Treat»??

2.1. Подключение облачного объектного хранилища??

2.2. Взаимодействие на стороне фронтенда??

2.3. Взаимодействие харнилища и интерфейса??

Заключение??

Список использованных источников??

 

 

 

Введение

 

На текущий момент в сфере искусственного интеллекта сложилась такая ситуация, при которой при обучении хорошей нейронной сети нужны несколько компонентов: железо, софт и, непосредственно, данные. Много данных.

Железо, в принципе, доступно каждому через облака. Софт в большинстве своем Open Source, и его без труда можно скачать себе и работать с ним. Остается последнее – это данные. Вот здесь и возникает проблема.

Deep Learning требует довольно больших данных: сотни тысяч – миллионы объектов. Если для классификации нам помимо самих данных, нужно также передавать класс объекта, то для сегментации и детекции объекта на изображении, получение датасета уже не такая тривиальная задача.

Цель курсовой работы – создание информационной системы, в которой можно размечать нужные нам данные и легко взаимодействовать с ними.

Для достижения цели в процессе работы рассматриваются следующие задачи:

1) Сформулировать требования к хранилищу данных;

2) Сформулировать требования к интерфейсу информационной системы;

3) Реализовать интерфейс информационной системы для разметки данных;

4) Реализовать взаимодействие интерфейса с хранилищем данных;

В результате должна быть создана ИС «Treat», позволяющее клиенту разметить свои данные и работать с ними, либо позволять работать с уже размеченными данными.

 

Глава 1. Постановка задачи при разработке ИС «Фитнес-клуб»

 

Требования к информационной системе «Treat»

Информационная система должна работать с гигабайтами различных неструктурированных данных, будь то фото, видео, аудио или текст. Следовательно хранилище должно поддерживать работу с такими объемами данных, быстро масштабироваться, и быть эффективной в плане скорости работы.

Разметка данных сама по себе довольно тривиальный процесс, поэтому надо сделать этот процесс как можно удобнее для пользователя.  

Поэтому информационная система должна быть интуитивно понятной и удобной в использовании. Также чтобы была возможность иметь доступ без установки какого-либо дополнительного ПО.

В интерфейсе должно быть:

1. Список уже готовых датасетов

2. Возможность добавления датасета

3. Возможность разметки данных, будь то классификация или выделение объектов;

4.

 

 

Анализ и выбор хранилища

Так как мы идем в ногу со временем, то для данной ИС воспользуемся облачным хранилищем.

Существует три типа облачных хранилищ: объектные, файловые и блочные. Каждый из них имеет свои уникальные преимущества.

1. Объектное хранилище. Для приложений, разработанных в облаке, как правило, требуются такие преимущества объектного хранилища, как широкие возможности масштабирования и характеристики метаданных. Объектные хранилища идеально подходят для разработки современных приложений с нуля, когда требуется гибкость и возможность масштабирования. Кроме того, эти хранилища можно использовать для импорта данных из существующих хранилищ с целью анализа, резервного копирования или архивации.

2. Файловые хранилища. Многим приложениям требуется доступ к совместно используемым файлам и файловая система. Решения файловых хранилищ идеально подходят для таких примеров использования, как крупные репозитории контента, среды разработки или личные каталоги пользователей.

3. Блочные хранилища. Корпоративные приложения, например, базы данных или системы планирования ресурсов предприятия, часто нуждаются в выделенном хранилище с низкими задержками для каждого хоста. Решения облачных хранилищ на основе блоков, выделяют хранилище для каждого виртуального сервера и обеспечивают сверхнизкую задержку для рабочих нагрузок, требующих высокой производительности.

 

Из всех трех типов хранилищ мы воспользуемся объектным хранилищем. Потому что:

a) Масштабируемость: Объектное хранилище может содержать практически любое количество данных без необходимости в разбиении набора данных на разделы.

b) Эффективность: Отсутствие иерархии означает отсутствие узких мест, возникающие вследствие использования сложных систем каталогов

c) Доступность: Объектные системы хранения имеют механизмы для сохранения целостности данных, обеспечивают репликацию данных, последовательные обновления и отсутствие простоев.

d) Типы данных: Объектное хранилище идеально подходит для неструктурированных данных, таких как медиаданные и веб-материалы.

 

Интерфейс информационной системы

Так как одно из самых главных требований к интерфейсу информационной системы (фронтед) это, чтобы была возможность иметь доступ без установки какого-либо дополнительного ПО. То будем использовать веб-технологии.

Во-первых, пользователь не нуждается в установке на свой компьютер программного обеспечения. Все, что требуется для полноценной работы – это браузер, который установлен на каждом компьютере.

Во-вторых, веб-приложения не требовательны к ресурсам и не предъявляют никаких требований к аппаратной платформе. Это значит, что нет никакой разницы, какие аппаратные характеристики имеет компьютер и из под какой операционной системы он работает. Лишь бы был доступ и интернет.

Глава 2. Реализация ИС «Treat»

 

Подключение облачного объектного хранилища

Доступ к облачным объектным хранилищам предоставляют многие компании, такие как Amazon, Microsoft, Google и т.д.

Мы воспользуемся услугами mail.ru Cloud Solutions

Для того, чтобы начать загрузку данных в объектное хранилище, необходимо создать бакеты.

Рисунок 2. Создание бакета

Далее для того, чтобы настроить приватный доступ к бакетам, нужно создать аккаунты – пары ключей доступа.

Вводим имя аккаунта Рис. 3

Рисунок 3. Создание аккаунта

    Далее после чего нам выдадут ключ доступа (Access Key ID) и секретный ключ (Secret Key) Рис.4

Рисунок 4. Ключи доступа

Важно запомнить, что лучше куда-либо записать секретный ключ, так как после закрытия окна, его нельзя будет восстановить. Только создавать заново.

На этом создание облачного объектного хранилища можно сказать закончено, далее мы будем создавать интерфейс и соединять это все с нашим хранилищем.