Изучаем WebDav. WebDAV: протокол для "облачных флэшек"

Чтобы организовать доступ сотрудников, находящихся за пределами предприятия, к внутренним файл-серверам, лучше всего воспользоваться встроенным протоколом Windows XP и Windows Server 2003, Web Distributed Authoring and Versioning (WebDAV), который обеспечивает безопасный доступ через приложение-посредник. Пример такого доступа - защищенный доступ Outlook 2003 к Exchange Server через HTTP-proxy. Реализовать WebDAV просто, так как протокол инкапсулирован в классическом HTML. Поэтому брандмауэры не являются препятствием для использования протокола, который совместим не только с платформой Windows, но и с другими операционными системами, в частности Mac OS. Для защиты WebDAV достаточно применить HTTP Secure (HTTPS).

Рассмотрим этапы подготовки удаленного доступа через WebDAV к папке на внутреннем файл-сервере. Основные компоненты - сервер Microsoft Internet Information Services (IIS) 6.0, файл-сервер, офисное сетевое соединение и клиентские компьютеры. Сервер IIS и файл-сервер не обязательно должны размещаться на одном компьютере. Также необходима система Windows 2003, подключенная к внутренней сети и доступная через Internet. Этот сервер называется WebDAV-сервером, так как он будет работать с IIS 6.0 и серверным модулем расширения WebDAV. Не беда, если WebDAV-сервер еще не подключен к Internet; однако его нужно защитить.

Доступ к серверу WebDAV через Internet

Способ доступа к серверу WebDAV через Internet зависит от текущего состояния среды и размеров предприятия. Обязательное условие - назначить IP-адрес или имя DNS и номер TCP-порта, с помощью которых удаленные пользователи будут обращаться к серверу WebDAV. Рассмотрим типичные сценарии. На малом предприятии единственное устройство, подключенное к Internet, - типовой широкополосный маршрутизатор/брандмауэр, но это не помешает организовать доступ с использованием WebDAV. Необходим IP-адрес, по которому удаленные пользователи будут обращаться к файл-серверу. Во-первых, следует выяснить, имеется ли у маршрутизатора статический IP-адрес. Если нет, то проще всего получить его у Internet-провайдера. Если статический IP-адрес получить нельзя, можно использовать DDNS. Большинство широкополосных маршрутизаторов совместимы с DDNS. Затем нужно решить проблему TCP-порта. Если для доступа к узлам за маршрутизатором уже применяется HTTPS, можно просто сделать в брандмауэре исключение для передачи входящих соединений в TCP-порт 443 внутреннего сервера, на котором выполняется IIS 6.0 с WebDAV. На данном этапе порт открывать не следует; предварительно необходимо убедиться, что внутренний сервер готов к этому.

Если IIS-сервер еще не подключен к Internet, можно назначить файл-сервер WebDAV-сервером.

В более сложной сети, возможно, уже имеется система Windows 2003, подключенная к Internet напрямую или через брандмауэр, как описано выше. Не составит труда задействовать эту систему. Если сервер Windows 2003 уже работает с IIS, например для Microsoft Outlook Web Access (OWA), SharePoint или общедоступного Web-узла, можно создать виртуальный каталог в существующем Web-узле или подготовить новый узел. Различие в том, что при использовании существующего Web-узла для настройки клиентского доступа WebDAV нужно к имеющемуся URL-адресу Internet добавить имя виртуального каталога. Если создан новый узел, то для него может потребоваться новый номер TCP-порта. При доступе к существующему узлу через HTTPS с использованием стандартного HTTPS-порта 443 необходимо выбрать новый порт для клиентского доступа WebDAV. Если существующий узел настроен на использование порта 443, но никто не обращается к нему через HTTPS, можно изменить текущий порт Secure Sockets Layer (SSL). Если использовать в качестве SSL-порта какой-либо порт, кроме 443, то необходимо добавить к URL-адресу номер порта. Например, для домена с именем webdav.ultimatewindowssecurity.com URL-адрес будет https://webdav.ultimatewindowssecurity.com:XXXXX, где XXXXX - номер порта.

Настройка безопасного WebDAV

В следующих поэтапных инструкциях предполагается, что IIS и WebDAV устанавливаются на системе, отличной от файл-сервера. В этом случае достаточно установить IIS без активизации Active Server Pages (ASP) и любых других необязательных компонентов. После установки IIS следует открыть оснастку Internet Information Services (IIS6) Manager консоли Microsoft Management Console (MMC) (см. экран 1), развернуть папку Web Service Extensions и активизировать узел WebDAV. Чтобы максимально сузить поверхность атаки на IIS, не следует активизировать другие модули расширения.

Затем нужно настроить IIS для приема только проверенных, шифрованных соединений. Из оснастки IIS Manager консоли MMC следует открыть диалоговое окно Default Web Site Properties и выбрать вкладку Directory Security (экран 2). Прежде всего необходим сертификат SSL для сервера. Если в компании запущена служба Microsoft Certificate Services для домена, то запросить сертификат можно с помощью мастера. В противном случае потребуется купить сертификат в общедоступном удостоверяющем центре или создать сертификат с собственной подписью. В комплекте ресурсов Microsoft Windows Internet Information Server Resource Kit есть инструмент для генерации сертификатов с собственной подписью. Если имеется корпоративный удостоверяющий центр, необходимо щелкнуть на кнопке Server Certificate и пройти по операциям мастера Web Server Certificate Wizard. На странице Delayed or Immediate Request нужно выбрать пункт Send the request immediately to an online certification authority и щелкать на кнопке Next до тех пор, пока не появится страница Your Site?s Common Name. На ней требуется ввести имя DNS или IP-адрес для обращения удаленных пользователей к Web-узлу. Если введен IP-адрес и используется DHCP с DDNS, то сертификат при изменении IP-адреса окажется недействительным. Не следует указывать https:// или номер порта. В приведенном выше примере с URL необходимо ввести webdav.ultimatewindowssecurity.com. Нажимая Next, нужно перейти к странице SSL Port и ввести выбранный ранее TCP-порт, а затем щелкать на кнопке Next до появления кнопки Finish. После щелчка на ней сертификат SSL будет установлен. Вернувшись на вкладку Default Web Site Properties Directory Security, следует щелкнуть на кнопке Edit в разделе Secure communications, чтобы вызвать диалоговое окно Secure Communications и установить флажки Require secure channel (SSL) и Require 128-bit encryption.

На следующем этапе необходимо потребовать, чтобы все пользователи при обращении к серверу проходили проверку подлинности. На вкладке Directory Security следует щелкнуть Edit в разделе Authentication and access control. Сбросив флажок Enable anonymous access (экран 3), нужно установить флажок Basic authentication (password is sent in clear text). Не обязательно выбирать обычную проверку подлинности, если на предприятии имеются только клиенты Windows. Можно не обращать внимания на предупреждение о простом тексте от IIS - шифрование SSL уже активизировано. Стандартный домен следует настроить в соответствии с параметрами домена, в котором размещены учетные записи удаленных пользователей; в результате пользователям не придется добавлять перед своими именами domain name. Вид диалогового окна Authentication Methods должен быть похож на экран 3.

Настраиваем IIS на общедоступную папку

Всякий раз, когда устанавливается новый IIS-сервер, создается виртуальный каталог на существующем Web-узле или новый Web-узел на имеющемся IIS-сервере; необходимо настроить IIS на соответствующую папку файл-сервера, в которую будут направляться запросы от URL-адреса WebDAV. Если создан узел или виртуальный каталог в существующем узле, то IIS предоставляет возможность указать папку, которая содержит информацию для этого каталога или узла. Поскольку используется экземпляр IIS, выделенный для WebDAV, необходимо только связать корневой каталог выбираемого по умолчанию Web-узла с файл-сервером. В диспетчере IIS Manager следует вернуться к Default Web Site Properties и выбрать вкладку Home Directory, затем установить флажок A share located on another computer и ввести в текстовом поле Network directory путь в формате Universal Naming Convention (UNC) для общей папки, к которой предстоит обращаться удаленным пользователям (экран 4).

Необходимо убедиться, что IIS олицетворяет текущего пользователя перед доступом к файл-серверу. Следует щелкнуть на кнопке Connect As... и установить флажок Always use the authenticated user?s credentials when validating access to the network directory. Чтобы пользователи могли получать, отправлять и просматривать файлы в папке через WebDAV, нужно установить флажки Read, Write и Directory browsing на вкладке Home Directory (экран 4). Эти флажки определяют только операции WebDAV, которые может запросить пользователь. Файл-сервер применяет разрешения NTFS для доступа к файлам так, как будто пользователь подключен локально. Остальные параметры на вкладке Home Directory активизировать не нужно, а параметру Execute permissions следует присвоить значение, обеспечивающее максимально надежную защиту.

На этом завершается подготовка IIS к приему запросов WebDAV для доступа к файл-серверу. Перед тем как открыть WebDAV-сервер для внешнего мира, необходимо убедиться, что на сервере установлены все исправления для системы безопасности IIS. Наконец, можно открыть соответствующий порт брандмауэра и приступить к работе на серверной стороне.

Активизация пользователей

Теперь остается лишь активизировать удаленных пользователей. Для этого нужно создать ярлык Add Network Place для пользователей, чтобы они могли получить доступ в My Network Places на своих клиентских компьютерах. Затем каждому пользователю необходимо обратиться в My Network Places, дважды щелкнуть на ярлыке Add Network Place и ввести URL-адрес узла WebDAV. При первом обращении к ярлыку в My Network Places программа Windows Explorer запрашивает учетные данные; впоследствии пользователи получают доступ к файл-серверу как к обычной общей папке.

Проблемы безопасности

Насколько безопасен этот метод? Удаленный доступ через WebDAV сопоставим по защищенности с VPN-доступом на основе пароля пользователя. Единственное различие - увеличенная площадь атаки WebDAV из-за открытого порта 443. Однако, чтобы воспользоваться HTTP для проникновения в систему, взломщикам требуется успешно пройти проверку подлинности. Чтобы усилить безопасность, можно внести элемент неизвестности, изменив номер HTTPS-порта Web-узла с 443 на более высокий. Следует иметь в виду, что при этом ограничивается доступ удаленных пользователей, находящихся за брандмауэром другой компании со строгими ограничениями для исходящих соединений. Лучший способ еще более надежно защитить любой тип Web-соединений - требовать клиентские сертификаты наряду с аутентификацией с применением пароля. Для получения сертификата удаленным пользователям достаточно пройти по нескольким Web-страницам.

Рэнди Франклин Смит - редактор Windows IT Pro и ведущий инструктор и разработчик курсов для программы по безопасности Windows NT/2000 института MIS Training. Его компания, Monterey Technology Group, занимается консалтингом в области информационной безопасности. Связаться с ним можно по адресу:

Если у вас подключен платный тариф, вы можете подключиться к сервису по протоколу WebDAV. На вашем компьютере Облако будет выглядеть как обычная файловая система.

Настройка на Windows

1. Перейдите в «Этот компьютер».

2. В верхней панели нажмите «Подключить сетевой диск».

3. В открывшемся окне нажмите на надпись «Подключение к веб-сайту, на котором вы можете хранить документы и изображения».

5. Выделите надпись «Выберите другое сетевое расположение» и нажмите «Далее».

6. В поле «Сетевой адрес или адрес в Интернете» введите https://webdav.cloud.mail.ru и нажмите «Далее».

7. Введите логин и пароль от аккаунта, к которому подключено Облако.

8. Укажите имя сетевого диска и нажмите «Далее».

9. Нажмите «Готово». Сетевой диск будет доступен в «Проводнике».

При загрузке больших файлов возникает проблема с индикатором: он останавливается на 99%. На самом деле загрузка начинается именно в этот момент. Чтобы файл появился на Облаке, подождите еще некоторое время. Это специфика работы протокола WebDAV на Windows. К сожалению, мы не можем на неё повлиять.

Исправление ошибок

Если у вас возникла ошибка при подключении Облака по протоколу WebDAV, попробуйте настроить доступ через консоль Windows. Для этого:

1. Нажмите клавиши Win+R.
2. В открывшемся окне напишите «CMD» и нажмите «ОК». Откроется командная строка.
3. Введите команду net use R: https://webdav.cloud.mail.ru/ /user: /persistent:yes где — ваш почтовый ящик, к которому подключено Облако, и — пароль от него.

Если ошибка сохранилась, проверьте, запущена ли у вас служба «Веб-клиент». Для этого:

1. Перейдите «Пуск» → «Панель управления» → «Система и безопасность» → «Администрирование» → «Службы».
2. В списке найдите службу «Веб-клиент» и откройте ее.
3. В списке «Тип запуска» выберите «Автоматически».
4. Нажмите «ОК» и перезагрузите компьютер.

Настройка на macOS

1. На рабочем столе в панели задач Finder нажмите «Переход» → «Подключение к серверу».

2. Введите https://webdav.cloud.mail.ru и нажмите «Подключиться».

3. Введите логин и пароль от аккаунта, к которому подключено Облако, и нажмите «Подключиться».

Откроется окно с Облаком пользователя.

Настройка на Linux

1. Перейдите в ваш файловый менеджер.

2. Нажмите надпись «Подключиться к серверу» («Connect to Server»).

3. В поле «Адрес сервера» («Server Adress») введите davs://<логин>@webdav.cloud.mail.ru:443 , где <логин> — адрес вашего ящика, к которому подключено Облако, в формате [email protected].

4. Нажмите «Подключиться» («Connect»).

5. Введите пароль от ящика и снова нажмите «Подключиться» («Connect»).

Откроется Облако. Чтобы в дальнейшем попасть в него, откройте файловый менеджер. Ссылка находится снизу в левом меню.

Чтобы выйти из Облака, нажмите на значок рядом с его названием.

Здравствуйте, уважаемые друзья. Наверняка вы пользуетесь Яндекс.Диском или, по крайней мере, слышали о нём. Это популярное облачное хранилище позволяет хранить файлы на серверах Яндекса и обмениваться ими в интернете, настраивать общий доступ и делать скриншоты. А ещё вы можете подключить Яндекс.Диск, как удалённый диск и работать с ним на любом компьютера, который имеет выход в интернет.

Примерно год назад я написал статью о том как , где ответил на вопросы:

— Как зарегистрировать и настроить диск?

— Как установить программное приложение на компьютер?

— Как увеличить дисковое пространство в облачном хранилище?

— Как создавать скриншоты с помощью Яндекс.Диска?

Но, на наряду с общим количеством вопросов по настройке Яндекс.Диска, мне регулярно задают два вопроса:

1. Как подключить диск через ?
2. Как установить пароль на Яндекс.Диск?

В этой статье я отвечу на первый вопрос. И покажу универсальное решение второго вопроса, которое надёжно защитит ваш диск без дополнительных паролей.

Удалённое подключение к Яндекс.Диску.

Сразу скажу, — подключить Яндекс.Диск через ftp соединение нельзя. Зато это можно сделать через WebDAV (набор расширений и дополнений к протоколу HTTP).

По сути это-то же самое, для рядового пользователя разницы никакой, только настраивается немного по-другому.

Суть в том, что используя технологию WebDAV, вы удалённо подключаетесь к Яднекс.Диску. Тем самым вы можете создать сетевой диск на своём компьютере и работать с ним через «Проводник» или любой другой файловый менеджер. Примерно все, так же как и при ftp подключении.

При этом все файлы будут храниться на удалённых серверах Яндекса. На вашем компьютере будут отображаться лишь иконки для удобства работы.

И никакой синхронизации с вашим компьютером не происходит, как в случае с установкой приложения Яндекс.Диск на компьютер. То есть файлы будут храниться только в облаке.

В качестве примера создания сетевого диска, я покажу, как это сделать с помощью «Проводника Виндовс» и файлового менеджера Total Commander.

Как создать сетевой Яндекс.Диск в проводнике Windows ?

Добавление нового элемента в сетевое окружение

На этом шаге нужно ввести адрес сервера для подключения:

Https://webdav.yandex.ru

Теперь вводите имя для сетевого диска. Назвать вы его можете как угодно. Разницы это не имеет.

Таким диском можно пользоваться, как любым другим диском на компьютере. И его содержимое будет доступно всем, кто работает за компьютером. Но только если есть подключение к интернету.

Примечание: если вы захотите удалить сетевой диск, достаточно нажать на нём правую кнопку мышки и выбрать пункт «Удалить».

Как создать сетевой Яндекс.Диск в Total Commander?

В отличие от предыдущего способа, этот способен решить оба вопроса, озвученных в начале статьи. То есть и вопрос удалённого подключения, и безопасности.

Но для начала вам нужно будет установить дополнительный плагин в Total Commander.

Итак, для установки плагина его нужно вначале скачать. Для этого переходите на страницу плагинов для TC . Находите плагин WebDAV и скачиваете его на компьютер.

Выбираете раздел «Плагины» и нажимаете на кнопку «Настройка» в подразделе «Плагины файловой системы (. WFX )»

Далее, нажимаете на кнопку «Добавить» — открываете папку с плагином и выбираете файл плагина, в соответствии с разрядностью вашей операционной системы. У меня 64-разрядная система, и я выбираю файл davplug.wfx64.

Выбрав файл, нажимаете кнопу «ОК» . И ещё раз «ОК» .

Всё, плагин установлен и всё готово для подключения Яндекс.Диска с помощью WebDAV клиента.

Для этого открываем «Сеть» и видим там папку WebDAV , открываем её.

Перед вами откроется содержимое папки, где у вас есть два варианта создать удалённое подключение.

Первый вариант, сделать подключение один раз и использовать его постоянно. Но, при этом содержимым диска смогут воспользоваться продвинутые пользователи, которые умеют пользоваться Total Commander.

Второй вариант, использовать быстрое подключение и каждый раз вводить свой логин и пароль при подключении. В таком случае, если вы отключились от диска, то его содержимым можно будет воспользоваться, только введя снова логин и пароль.

Вариант 1.

Итак, если вы хотите создать постоянное подключение по первому варианту, то нажимаете клавишу F 7 – вводите название соединения.

Далее, заполняете адрес сервера (https://webdav.yandex.ru), логин и пароль от почтового ящика Яндекс. И отмечаете чекбоксы, как указано на скриншоте. Быстро это делается выбором настроек по умолчанию Microsoft IIS.

После того как вы нажмёте кнопку «ОК», у вас появится папка с содержимым Яндекс.Диска.

Открыв эту папку – вы подключаетесь к Яндекс.Диску.

Для отключения от диска достаточно нажать на кнопку «Отключение» .

Если же вы хотите удалить это соединение, то просто выберите папку и нажмите F 8 .

Вариант 2.

Если вы хотите использовать Яндекс.Диск на компьютере, но при этом беспокоитесь, что посторонние могут получить доступ к его содержимому, то для вас подойдёт временное подключение.

То есть, вы подключаетесь к диску, работаете с ним, а когда уходите из-за компьютера, то отключаетесь. При этом повторное подключение возможно только после настройки соединения, где нужны логин и пароль.

Это подключение делается точно так же, как и в первом варианте, только вы не создаёте папу с подключением, а открываете папку Quick connection . И настраиваете подключение.

И перед вами сразу откроется содержимое Яндекс.Диска.

А теперь для закрепления материала предлагаю посмотреть видеоурок, где я шаг за шагом показываю и рассказываю описанные выше действия.

Ну, что же друзья, уверен, вы нашли ответы на свои вопросы, но если появились дополнительные, то я буду рад вам помочь.

А у меня на сегодня всё. Всем желаю удачи и хорошего настроения! До встречи в новых видеоуроках и статьях.

Совсем недавно мы рассмотрели две очень интересные темы, связанные с доступом к файлам на компьютере через интернет. Эти статьи доступны по следующим ссылкам: и . Статьи получились большие и, на мой взгляд, очень полезные, но этот комплект не полный. Сегодня я расскажу об ещё одном способе обмена файлами, а точнее протоколе WebDAV. Что же это такое?

WebDAV (англ. Web Distributed Authoring and Versioning ) — это протокол защищенного соединения высокого уровня. WevDAV работает поверх HTTP. Этот протокол позволяет осуществлять любые операции с файлами (и их метаданными) на сервере и даже позволяет работать одновременно с несколькими файлами. То есть, установив WebDAV сервер, мы получаем защищенное соединение для работы с нашими файлами на компьютере с любой точки планеты, где есть интернет. Неплохо? Конечно же, это отлично! И, кстати, именно по протоколу WebDAV работают такие проекты как Google Drive , Яндекс.Диск , DropBox и SkyDrive . Это явный пример того, что этот протокол стоит внимания.

Хватит теории, думаю вы и так уже всё поняли и решили, что вам он нужен. Перейдем к настройке (все операции проводились на Windows 8.1 Final, но применимы так же к Windows 7 и Windows 8):

1) Первое что нам нужно — это включить недостающие компоненты системы. Для этого идём в «Панель управления» → категория «Программы» → «Программы и компоненты» и жмём кнопку слева «Включение или отключение компонентов Windows»:

2) Открываем каталог «Службы IIS» и ставим маркеры на каталоги «Службы Интернета» и «Средства управление веб-сайтом».

Раскрываем «Службы Интернета» и далее совершаем два пункта:
а) Переходим в каталог «Безопасность» и ставим галочку на все пункты;
б) Переходим в каталог «Общие функции HTTP» в этом каталоге так же ставим галочки на все компоненты.

Жмём ОК и ждём, пока Windows включит необходимые нам компоненты.

Возможно после включения понадобится перезагрузка системы.

3) Далее нам необходимо создать пользователей и группу для них, которые смогут работать с нашими файлами по протоколу WebDAV. Для этого идём в «Панель управления» → группа «Система и безопасность» → «Администрирование» → «Управление компьютером». В левой части окна выбираем раздел «Локальные пользователи и группы» → «Группы». Чтобы создать группу, нужно кликнуть правой клавишей мыши по центральной части окна и выбрать соответствующий пункт:

Далее нужно перейти на вкладку «Пользователи» и по аналогии создать нового пользователя. Кликаем правой клавишей по пустому месту и выбираем «Новый пользователь»:

Указываем имя пользователя, полное имя, вводим пароль, снимаем галочку с «Требовать смены пароля…» и ставим галочки на «Запретить смену пароля пользователем» и «Срок действия пароля не ограничен» и создаем пользователя:

Далее открываем свойства нового пользователя и переходим на вкладку «Членство в группах». Жмём кнопку «Добавить» → «Дополнительно» → «Поиск» и выбираем группу, которую мы создали несколько минут назад. Жмём ОК.

4) Теперь нам нужно предоставить новой группе доступ к папкам, доступ к которым будет осуществляться через WebDAV. Для этого открываем свойства нужного каталога и переходим на вкладку «Безопасность», нажимаем кнопку «Изменить»:

Нажимаем «Добавить» и добавляем группу пользователей, которую мы создавали для WebDAV. Выбираем её и даём в нижней части полный доступ:

Жмём ОК, для применения изменений.

5) Теперь переходим к настройке сервера. Для этого идём в «Панель управления» → группа «Сеть и безопасность» → «Администрирование» и открываем «Диспетчер служб IIS» → «Сайты» и выбираем в левой колонке «Default Web Site»:

В центральной части окна открываем «Правила разработки WebDAV»:

В открывшемся меню, в правой колонке жмём кнопку «Включить WebDAV»:

В открывшемся окне выбираем «Указанные роли или группы пользователей» и вводим имя группы, которую мы создавали для WebDAV. Ставим все галочки в разделе «Разрешения» и жмём ОК.

Возвращаемся в окно работы с сайтом и жмём кнопку «Проверка подлинности»:

Включаем «Проверка подлинности Windows». Для этого нажимаем правой клавишей и выбираем «Включить». Если сервер будет использовать только для WebDAV, можно отключить анонимную проверку.

Ещё раз возвращаемся в меню работы с сайтом и выбираем пункт «Правила авторизации»:

В этом окне нам нужно добавить разрешающее правило, нажав кнопку справа. Указываем нашу группу пользователей.

Настройка сервера почти завершена, осталось за малым: указать папку, доступ к которой будет осуществлять по протоколу WebDAV. Для этого жмём правой клавишей по выбираем «Управление веб-сайтом» и кликаем по «Дополнительные параметры»:

В открывшемся окне вводим путь до папки, доступ к которой будет осуществляться через протокол WebDAV и жмём ОК.

Сервер WebDAV настроен и готов к работе. Если у вас постоянный IP, можно купить доменное имя и привязать его к вашему компьютеру.
Для удобства использования WebDAV сервера, можно , это значительно упростит его использование. Так же к вашему вниманию доступны статьт о подключении к серверу с телефона на Android через или .

На этом всё. Надеюсь эта статья оказалась вам полезной, нажмите одну из кнопок ниже, чтобы рассказать о ней друзьям. Также подпишитесь на обновления сайта, введя свой e-mail в поле справа.

Если бы в качестве введения я начал расписывать достоинства облачных хранилищ данных, ты бы подумал, что меня только что разморозили после двадцатилетнего анабиоза или что я серьезно злоупотребляю снотворными:). Поэтому скажу кратко, по-программистски: когда передо мной встала задача сделать программу, которая могла бы без привязки к API конкретного сервиса работать с файлами на множестве хранилищ (речь шла о бэкапе), оказалось, что это не так просто. Обо всех тонкостях и подводных камнях проделанной работы я решил тебе рассказать в этой статье.

WebDAV

WebDAV (Web Distributed Authoring and Versioning) - это протокол для передачи данных и работы с ними, построенный поверх HTTP 1.1. Здесь следует заметить, что передача может быть как защищенной, так и незащищенной. В самом протоколе защищенность отсутствует, но она может быть добавлена через реализацию аутентификации на веб-сервере и шифрование посредством SSL, следовательно, в таком случае будет использоваться не HTTP, а HTTPS.

Изначально DAV разрабатывался для совместного создания и редактирования веб-страниц, но в процессе использования он нашел применение в качестве сетевой распределенной файловой системы, эффективной для работы в высоконагруженной среде и поддерживающей неустойчивое соединение. Таким образом, DAV подходит для управления файлами на веб-серверах, иными словами, реализации облачных хранилищ информации, где и был применен. С его помощью можно выполнять основные операции над файлами, содержащимися на сервере, проводить расширенные операции, как то: блокировка, получение метаданных, контроль версий и другие. Этот протокол стал заменой для старого доброго FTP, чье время подошло к концу.

WebDAV предоставляет семь команд:

• PROPFIND - получение свойств объекта на сервере в формате XML;

• PROPPATCH - изменение свойств объекта;

• MKCOL - создать папку на сервере;

• COPY - копирование на стороне сервера;

• MOVE - перемещение на стороне сервера;

• LOCK - заблокировать объект;

• UNLOCK - снять блокировку с объекта.

Таким образом, WebDAV позволяет изменять свойства хранящихся на сервере объектов, выполнять поиск с учетом свойств, блокировать объект (в нашем случае - файл) для организации возможности его редактирования только одним пользователем в распределенной среде, в которой доступ могут иметь много юзеров, управлять версиями файлов (посредством унаследованных команд check -in, -out), а также производить расширенный контроль доступа к файлам на основе списков.

Кроме того, WebDAV поддерживает унаследованные команды: GET - для скачивания файла, PUT - для заливки на сервер и DELETE - для удаления объекта. Мы не будем рассматривать все команды; в моем случае для реализации функционала утилиты мне понадобилось лишь четыре.

Ныне в разработке протокола участвуют Microsoft, Mozilla, Novell, IBM и другие. Поэтому не стоит удивляться тому, что поддержка WebDAV присутствует во многих продуктах Microsoft (в том числе Internet Explorer, проводнике, веб-сервере IIS и других), браузере Mozilla Firefox, продуктах фирмы Novell, IBM. Дополнительно, с помощью установки плагинов «подружить» с протоколом можно Total Commander и FAR.

Как уже было упомянуто, в Windows удаленное хранилище WebDAV можно подключить в проводник как дополнительный диск. Подобным образом можно поступить в OS X, организовав подключение к WebDAV-серверу как дополнительную директорию в обозревателе Finder.

Возможные решения

Передо мной стояла задача подключиться и организовать работу с данными на двух файловых хранилищах: Яндекс.Диск и Dropbox. Оба эти сервиса поддерживают работу по протоколу WebDAV. Регистрируя почту на Яндексе, ты автоматом получаешь доступ к 10 Гб облачного хранилища, к которому можно подключиться не только через стандартный клиент, но и с помощью сторонней тулзы (например, своей программы) посредством протокола WebDAV. При регистрации на Dropbox ты получаешь 5 Гб дискового пространства, которое можно использовать через стандартный клиент. Однако, чтобы получить доступ к хранилищу по WebDAV, надо пройти дополнительную регистрацию. В итоге, как выяснилось, этот доступ не бесплатный, тем не менее после регистрации дается свободный доступ на две недели. Размеры хранилищ можно увеличивать: или через доплату, или с помощью участия в разных акциях, проводимых сервисами, например находить баги и сообщать о них разработчикам.

Когда мне понадобилось написать программу для работы по WebDAV-протоколу, я первым делом заглянул в Win32 API, чтобы посмотреть, есть ли там функции для этого, подобно имеющимся для работы с FTP. Забегая вперед, отмечу, что сроки у меня стояли сжатые, поэтому использовать функции уровня API я не собирался. Как и следовало ожидать, в Win32 API, начиная с версии для Windows Vista, входит WebDAV API . В него входит одно перечисление, три структуры и набор функций. Я подумал, что это хороший знак, поскольку на основе стандартного API непременно имеются более высокоуровневые решения и мне не придется засиживаться с функциями API-интерфейса.

Тут под руку попалась Delphi XE3, и я решил проверить, какие инструменты для работы с протоколом WebDAV есть у нее. Оказалось, что в ней (на вкладке Indy Clients палитры компонентов) есть компонент IdWebDav. Я уже подумал, что на этом исследования закончились… Но обнаружилось, что этот компонент ни в какую не коннектится к Яндексу (Яндекс.Диск был для меня более приоритетным сервисом, поэтому все тесты я в первую очередь проводил на нем).

Затем я решил воспользоваться старой, но проверенной временем сетевой библиотекой Synapse для Delphi. К тому же в Рунете есть прекрасный сайт, содержащий несколько статей, посвященных этой либе, www.webdelphi.ru . На первых порах работа двигалась хорошо, и мне удалось реализовать несколько функций протокола: создание папки, скачивание файлов, получение свойств объектов. Но самую главную функцию - загрузку файлов на сервер с локального компа - реализовать так и не удалось. Стало грустно: в интернете об этом протоколе толковой информации нет. Bing нашел несколько платных наборов компонентов для работы с сетью, одной из которых я ради интереса решил воспользоваться, чтобы выяснить, реально ли загрузить файл на Яндекс.Диск. Этой либой оказалась Clever Internet Suite. Создав компонент класса clWebDav, одной строчкой кода удалось закинуть файл на сервер:

где stream - файловый поток, предварительно созданный для чтения.

Прекрасно, но отталкивает стоимость этой либы: более 500 у. е., что не есть гуд. Если ты захочешь воспользоваться этим способом, то обрати внимание на версию библиотеки: к Яндексу можно подключиться только с помощью версии 7.0 и выше, если воспользоваться распространенной на просторах Сети версией 6.0, то загрузка данных на сервер не удастся. На этом «играться» с Delphi мне надоело, и я решил обратиться к dotNET и C#.

Подключаемся к Yandex.disk + создаем коллекцию

Поскольку WebDAV работает поверх HTTP/S, я решил воспользоваться классами HttpWebRequest и HttpWebResponse, которые входят в.NET Framework начиная с версии 2.0. При этом мы будем использовать.NET Framework 4.0 - почему, скажу ниже. Коротко говоря, первый из перечисленных классов представляет HTTP-запрос, второй - HTTP-ответ. Наша задача - правильно сформировать запрос таким образом, чтобы его мог понять WebDAV-сервер. Чтобы узнать, как правильно оформлять запросы WebDAV-серверу, обратимся к документации Яндекса по использованию протокола WebDAV .

Следующим действием напишем небольшую программу, способную выполнить четыре операции: создать папку на удаленном хосте, загрузить объект, скачать объект и удалить объект. Этих операций достаточно для большинства приложений, решающих производственные задачи. Для простоты создадим WinForms-приложение. В паре слов расскажу о своей проге. Она представляет собой консольное приложение, запускаемое батником по расписанию. Ее основное действие - это заливка файлов на удаленный хост, при этом в ее задачи входит корректная обработка маски для выбора файлов, а также обработка путей, по которым они размещены, плюс правильное создание в облаке иерархии папок, подобной размещенной на локальном диске. Кроме того, поскольку программа работает в автоматическом режиме, она создает файл с логами. В нашей сегодняшней программе мы опустим эти действия (очевидно, что они не относятся к теме) и сконцентрируемся на протоколе WebDAV.

Обрати внимание: при создании заготовки проекта за основу лучше взять.NET Framework 4.0. И хотя поддержка WebDAV появилась еще во второй версии, по тестам стало видно, что та же самая программа, перекомпилированная с использованием.NET 4, работает в два раза быстрее, и это касается скорости работы с файлами и их пересылкой.

После создания заготовки приложения размести на его форме четыре кнопки. Первой операцией, которую мы реализуем, будет создание папки (или коллекции). Она самая простая из всех. На заметку: хотя Яндекс.Диск работает по защищенному протоколу HTTPS, папку можно создать по HTTP. Также на форме нам понадобятся четыре поля ввода: для задания адреса удаленного хоста (пока нацелимся на Яндекс.Диск: https://webdav.yandex.ru/), для ввода имени пользователя, пароля (для аутентификации на Яндексе) и ввода имени папки, которую мы хотим создать в облаке (рис. 1). Обрати внимание: адрес сервера надо вводить вместе с указанием протокола, в данном случае https://.

Первым делом в коде подключи пространства имен: using System.Net; - для работы с сетью и using System.IO; - для файлового ввода-вывода. Затем создай обработчик события нажатия на кнопку CreateDir. В него напиши такой код:

String folder = folderEdit.Text; String url = urlEdit.Text; String userName = nameEdit.Text; String password = passwordEdit.Text; url += folder; url = url.TrimEnd(); HttpWebRequest request = HttpWebRequest.Create(url) as HttpWebRequest; request.Credentials = new NetworkCredential(userName, password); request.Method = WebRequestMethods.Http.MkCol; HttpWebResponse response = (HttpWebResponse)request.GetResponse(); HttpStatusCode code = response.StatusCode;

Вкратце обсудим код. В начале для удобства размещаем данные из полей ввода в переменные: имя папки, адрес хоста, имя и пароль юзера. Далее формируем URL-адрес: к адресу хоста прибавляем имя создаваемой папки. Как и у HTTP, у WebDAV есть стандартный номер порта - 443, поэтому его указывать необязательно. Теперь на основе URL мы можем создать объект HTTP-запроса, что делается в следующей строке. После создания надо заполнить некоторые его свойства. То есть необходимо указать такие данные, которые будут переданы серверу в заголовке запроса. Смотрим документацию Яндекса (ссылка приведена выше). В число необходимых параметров входят данные аутентификации. Яндекс принимает эти данные в двух видах: Basic - логин и пароль, QAuth - токен по протоколу QAuth. Мы выберем первый путь. Однако в таком случае данные должны быть закодированы. Это осуществляет объект класса NetworkCredential, конструктор которого получает имя и пароль в виде строк. Созданный объект этого класса присваивается свойству Credentials объекта запроса. Следующей строкой мы сообщаем, какую команду мы хотим выполнить, - MKCOL. В этом случае никакие данные передавать/получать не требуется, и сразу после этого мы отправляем запрос. Далее мы можем посмотреть, какой ответ вернул сервер, в случае успеха ответом будет строка Created. В классе HttpWebRequest определено много ответов на все случаи совместного общения клиента и сервера.

WebDAV-протокол не позволяет создать несколько вложенных папок за один запрос, например /folder1/folder2/; можно создать только одну папку: /folder1/. Если каталог существует, а отправленный запрос пытается создать одноименную директорию, в таком случае сервер сгенерирует исключение, которое надо перехватить конструкцией try/catch. В приведенном выше примере не происходит обработка исключений, поэтому если будешь использовать этот код в своем приложении, то не забудь ее добавить. Если необходимо узнать, существует каталог или нет, то для этого можно воспользоваться запросом PROPFIND, а потом получить и пропарсить ответ сервера, содержащий инфу в формате XML о имеющихся на сервере объектах. Но это получится долго, и, на мой взгляд, лучше использовать запрос MKCOL и в случае присутствия одноименной папки обработать исключение. Таким образом в своей консольной утилите я создаю иерархию папок. Кроме того, если одноименный каталог уже существует, происходит заход в него.

Удаление объекта

Удаление файла и/или директории по протоколу WebDAV реализуется так же просто, как создание коллекции. Для реализации этой задачи послужит приведенный выше код, в котором надо заменить строчку, задающую выполняемый сервером метод, на следующую:

Request.Method = "DELETE";

Как видно, в классе WebRequestMethods.Http отсутствует метод Delete, но мы можем задать желаемый метод в виде строки. Она будет отправлена на сервер, главное, чтобы он был в состоянии обработать и выполнить этот метод, а WebDAV-сервер, как мы знаем, на это способен.

В этом случае также лучше использовать конструкцию try/catch для перехвата исключения, которое может возникнуть по причине отсутствия удаляемого объекта.

Скачивание файла

Чтобы скачать файл из облачного хранилища по протоколу WebDAV, нужно проделать не так уж много манипуляций с имеющимся кодом. Но для начала закинь какой-нибудь файл в облако стандартными средствами (через веб-интерфейс или десктопный Яндекс-клиент). По замыслу, при скачивании файла в четвертое (нижнее) поле ввода мы будем вводить имя файла, который хотим закачать. Это же имя присвоим файлу-результату на локальном компе. Заметь, на сервере мы можем указать /Software/file.txt и будет получен доступ к файлу в папке Software, однако в локальной файловой системе автоматом папка создана не будет, поэтому ее предварительно надо создать. Коротко говоря, мы будем качать файл ZuneSetupPkg.exe (незаменимая тулза для работы с Windows Phone, которую частенько приходится доустанавливать на чужих компах, поэтому она всегда у меня под рукой - в облаке) из корня Яндекс.Диска в директорию с экзэшником.

В обработчике нажатия на кнопку Download после инициализации переменных, создания объекта-запроса и задания полномочий (Credentials) задай тип метода: GET (см. исходник в материалах к номеру). Затем, получив ответ сервера (объект класса HttpWebResponse), объявим переменные для чтения данных:

Int byteTransferRate = 8192;// Размер буфера byte bytes = new byte;// Буфер int bytesRead = 0; long totalBytesRead = 0; long contentLength = long.Parse(response.GetResponseHeader("Content-Length"));

В последней строчке кода читаем из заголовка ответа от сервера размер файла и сохраняем его в переменную. Дальше создаем файловый поток для записи файла на диск:

FileStream fs = new FileStream(fileToDownload, FileMode.Create, FileAccess.Write);

Затем получаем поток от сервера:

Stream s = response.GetResponseStream();

Порциями читаем из него данные и пишем их в файл, пока есть что писать:

Do { bytesRead = s.Read(bytes, 0, bytes.Length); if (bytesRead > 0) { totalBytesRead += bytesRead; fs.Write(bytes, 0, bytesRead); } } while (bytesRead > 0);

После того как все данные записаны в файл, закрываем оба потока и серверный ответ. Во время считывания данных мы увеличивали переменную totalBytesRead на количество считанных байт. В этом случае при отсутствии ошибок размер этой переменной должен стать равным размеру, который мы считали из заголовка, и если это так, то файл скачан корректно и мы выводим сообщение об этом (рис. 2), если же размеры не равны, тогда произошла неудача, об этом мы тоже сообщаем пользователю.

Этот код не лишен исключений, которые надо ловить, среди них: (404) невозможно найти файл (на сервере), невозможно записать в указанное место и многие другие.

Загрузка файла на сервер

Последняя операция, без которой наша утилита будет неполной, - это загрузка файла на удаленный хост. Это самая «хитрая» операция. Обсужденные выше операции не вызвали ни малейшего затруднения, но эта оказалась покруче! Я уже рассказывал, что с реализацией загрузки файла были трудности при использовании других средств разработки. И не все гладко было на C#. Вначале в документации посмотрим, какой запрос для заливки файла ждет Яндекс (рис. 3).

В полноценной программе надо осуществлять закачку сразу нескольких файлов (по желанию юзера), выбор файлов по маске, создание иерархии каталогов и, наконец, обработку ошибок. Мы же, чтобы не толочь воду в ступе, все это опустим и сконцентрируемся на загрузке одного заданного файла, без создания папок и обработки ошибок. Все это оставим тебе в качестве домашнего задания. Итак, в подготовленной мной проге из обработчика нажатия на кнопку вызывается метод UpdateFile, ему передаются имя хоста и имя загружаемого файла, которые берутся из соответствующих полей ввода. Начало самого метода подобно рассмотренным выше, однако теперь в заголовке запроса мы передаем на выполнение сервером команду PUT, то есть выказываем наше желание загрузить файл. Если при выполнении предыдущих запросов мы особо не опирались на документацию, то на этот раз она нам очень пригодится: включим в заголовок запроса все рекомендуемые Яндексом поля, а также некоторые дополнительные. Итак, рассмотрим код заголовка, а потом обсудим траблы:

Request.ContentLength = fileLength; request.KeepAlive = false; request.ReadWriteTimeout = -1; request.Timeout = -1; request.AllowWriteStreamBuffering = false; request.PreAuthenticate = true; request.SendChunked = false; request.ContentType = "application/binary"; request.ProtocolVersion = HttpVersion.Version11; request.ServicePoint.ConnectionLimit = 1; request.AllowAutoRedirect = false; //request.Expect = "100-continue"; request.ServicePoint.Expect100Continue = true; request.Accept = "*/*";

Значения некоторых параметров выведены методом научного тыка. Некоторые свойства зависят от других. Так, лучше отключить постоянное подключение (вторая строчка), ибо при этом генерируется исключение о невозможности одновременной чтения и записи в поток. Следующие два свойства задают тайм-аут для чтения и записи в сетевой поток. Значение -1 означает бесконечность. Размер загружаемого файла может быть неопределенно большим, поэтому мы не можем загадывать на время, которое понадобится для его загрузки. Следующее свойство: AllowWriteStreamBuffering - очень любопытное, оно включает или отключает буферизацию данных перед отправлением. При включении отправляемый файл сначала загружается в память, только после этого выгружается на сервер. Странность этого свойства заключается в том, что на некоторых хостах можно без проблем, отключив буферизацию, залить файл, однако на других будет всплывать исключение о необходимости буферизации. Возможно, это связано с какими-то настройками реестра или связи; не исключаю также различия между сервисами. В случае если буферизация включена и на сервер отправляется большой файл, может не хватить ресурсов (исключение SystemOutOfMemory). В свою прогу можешь добавить флажок для включения и отключения буферизации. Если буферизация отключена, тогда надо включить флаг PreAuthenticate (следующее свойство), с помощью которого данные аутентификации отправляются вместе с заголовком. Следующий параметр SendChunked (только для Яндекс.Диска) позволяет загружать на удаленный хост файлы заранее неопределенного размера, на что Dropbox отвечает исключением. Далее указываем тип передаваемых данных, версию используемого протокола (11 означает 1.1), количество возможных HTTP-подключений: больше одного ни к чему. Запрещаем автоматическое перенаправление. Чтобы задать следующее рекомендуемое поле: “Expect: 100-continue”, включающее ожидание ответа для запроса загрузки, нельзя использовать закомментированное свойство, надо использовать код, который строчкой ниже: request.ServicePoint.Expect100Continue = true;. Последним свойством HTTP-заголовка включается маска для принимаемых объектов, в нашем случае принимаются любые файлы: с произвольным именем и расширением.

После того как запрос сформирован, надо получить сетевой поток, в который мы будем записывать данные, отправляемые на сервер. Также открываем локальный файл для чтения. Выделяем байтовый буфер для временного хранения считанных из файла данных; затем в цикле начинаем читать и отправлять, записывая данные в поток. После этого закрываем сетевой и файловый потоки, в общем, как обычно. Получив ответ от сервера, проверяем HTTP-статус на его равенство флагу Created и сравниваем размер файла с количеством переданных байт; если оба условия выполняются, значит, пересылка успешна, иначе - возникла проблема.

Итоги

На этом разработка нашей утилиты подошла к концу. В ней мы реализовали весь планируемый функционал - четыре самые нужные команды, без которых не может обойтись ни один менеджер управления файлами на удаленном хосте. Мы не стали привязываться к услугам определенного хостинга, используя его API, мы разработали универсальное приложение, общающееся с сервером по стандартному протоколу WebDAV. Это позволило нашей программе, используя один код, подключаться сразу к нескольким серверам (я тестировал на Yandex.disk и Dropbox). Тем не менее, как мы увидели, разные сервисы несколько по-разному интерпретируют и поддерживают протокол.

Дальнейшее развитие проги предоставляю тебе, по ходу статьи я указал на возможные улучшения: это и загрузка нескольких файлов, и создание иерархии папок, и распараллеливание загрузки, и многое другое. Если копнуть глубже в протокол WebDAV, можно реализовать другие команды для управления контентом на сервере.

На этой ноте я хочу пожелать тебе удачи во всех делах и быть побольше на свежем воздухе:). До встречи на страницах ][!