Делали мы систему хранения и доступа к данным для небольшого фото коллектива.
Число внешних USB дисков с данными у них превысило разумные пределы, и назрела необходимость собрать все данные на сетевом хранилище.
Учитывая, что компьютеры там в основном от Apple, хотелось использовать имеющиеся Thunderbolt интерфейсы для скоростного доступа к сетевому накопителю.
Что и было реализовано:
http://electronhouse.ru/systems/net/114-studio_net.html
Система хранения медиа для фотостудии с 10G интерфейсом
Всего 25 сообщ.
|
Показаны 1 - 20
Система хранения медиа для фотостудии с 10G интерфейсом
Re[sakharov]:
Ииии?
Re[sakharov]:
Это чё, РЕКЛАМА? 
Re[sakharov]:
Это рассказ о реализованном проекте.
Возможно, кому-то будет интересно, как можно обустроить систему хранения - обработки фото и видео материалов.
Возможно, кому-то будет интересно, как можно обустроить систему хранения - обработки фото и видео материалов.
Re[sakharov]:
от: sakharov
Это рассказ о реализованном проекте.
Возможно, кому-то будет интересно, как можно обустроить систему хранения - обработки фото и видео материалов.
Если бы предложили тему обработки одной фотографии сразу же с нескольких интерфейсов. то - да-ааа!!!
Re[sakharov]:
молодцы конечно что статью написали.
НО ничего нового думаю никто кто в теме не узнает.
Шесть дисков и подключение через 10гигабит карточки + 10 гигабитный маршрутизатор. Это же куча денег.
Да и задержки думаю все равно будут некоторые хоть и 10 гигабит, но с сата3 у которого 300 мб/с разницы не то что не будет, будет думаю даже хуже из за задержки которая свойственна любой сетке. Но это так предрассудки.
Мы думали такое у себя на работе делать. Не решились, куча бабла в некуда.
Особенно без бэкапа.
НО ничего нового думаю никто кто в теме не узнает.
Шесть дисков и подключение через 10гигабит карточки + 10 гигабитный маршрутизатор. Это же куча денег.
Да и задержки думаю все равно будут некоторые хоть и 10 гигабит, но с сата3 у которого 300 мб/с разницы не то что не будет, будет думаю даже хуже из за задержки которая свойственна любой сетке. Но это так предрассудки.
Мы думали такое у себя на работе делать. Не решились, куча бабла в некуда.
Особенно без бэкапа.
Re[FreeSTYLE]:
от:FreeSTYLE
молодцы конечно что статью написали.
НО ничего нового думаю никто кто в теме не узнает.
Шесть дисков и подключение через 10гигабит карточки + 10 гигабитный маршрутизатор. Это же куча денег.
Да и задержки думаю все равно будут некоторые хоть и 10 гигабит, но с сата3 у которого 300 мб/с разницы не то что не будет, будет думаю даже хуже из за задержки которая свойственна любой сетке. Но это так предрассудки.
Мы думали такое у себя на работе делать. Не решились, куча бабла в некуда.
Особенно без бэкапа.Подробнее
Куча денег - это очень не конкретно.
Если взять цену дисков, то они сейчас по $170-180 в розницу. 6 штук - чуть больше $1000. Это меньше бюджета одной съемки для заказчика.
10G сетевые карты - тут как повезет. Самую дорогую я покупал за $460. Как раз для этого NAS. Остальные - по $200-300.
Про задержки по сети - я мысль не понял.
Там нет никаких заметных в работе задержек, все формирование TCP пакетов ведется на аппаратном уровне процессорами сетевых карт.
Если вы обратили внимание, в статье была ссылка на сайт, где для этой системы все IT детали разобраны. Все IOPSы, гигабайты и гигабиты.
http://habrahabr.ru/post/245993/
И еще - при малом числе рабочих станций (1-2), которым требуется подключение по 10G можно обойтись без коммутатора, подключив их к 10G карте на NAS напрямую.
Re[sakharov]:
Совершенно непонятно, зачем это нужно? Неужели 4-м компьютерам постоянно требуется одновременный доступ с такой скоростью? И операторы, надо полагать, успевают этот поток обрабатывать? На вскидку, это 1 кадр в секунду (RAW 20 Мп) сразу всем четверым, и это если делить 1 гб на всех... А если таких интерфейсов 2-4?
Re[СВ-]:
Не совсем так считаете.
У вас после съемки получается массив данных. Скажем, из 2000 - 3000 кадров. Каждый кадр от 20 до 50 мегабайт. Плюс какой-то объем видео. И со всем этим вы работаете не как с единичными файлами, а как с наборами, коллекциями и т.д.
Их надо просматривать, расставлять рейтинги, раскладывать по разным альбомам.
С видео надо тоже работать. Не ждать, пока оно подгрузится в редактор, а быстро работать.
И задержки при работе будут определяться в основном скоростью процессора вашего компьютера, а не скоростью доступа к данным.
Как если бы все данные лежали на быстром SSD, подключенном напрямую к рабочей станции. Только объем у этого SSD в 15ТБ. И работать с ним могут несколько человек.
У вас после съемки получается массив данных. Скажем, из 2000 - 3000 кадров. Каждый кадр от 20 до 50 мегабайт. Плюс какой-то объем видео. И со всем этим вы работаете не как с единичными файлами, а как с наборами, коллекциями и т.д.
Их надо просматривать, расставлять рейтинги, раскладывать по разным альбомам.
С видео надо тоже работать. Не ждать, пока оно подгрузится в редактор, а быстро работать.
И задержки при работе будут определяться в основном скоростью процессора вашего компьютера, а не скоростью доступа к данным.
Как если бы все данные лежали на быстром SSD, подключенном напрямую к рабочей станции. Только объем у этого SSD в 15ТБ. И работать с ним могут несколько человек.
Re[sakharov]:
от:sakharov
Делали мы систему хранения и доступа к данным для небольшого фото коллектива.
Число внешних USB дисков с данными у них превысило разумные пределы, и назрела необходимость собрать все данные на сетевом хранилище.
Учитывая, что компьютеры там в основном от Apple, хотелось использовать имеющиеся Thunderbolt интерфейсы для скоростного доступа к сетевому накопителю.
Что и было реализовано:
http://electronhouse.ru/systems/net/114-studio_net.htmlПодробнее
а не проще было бы взять сразу NAS с Thunderbolt 'ом ?
типа такого - http://store.apple.com/us/product/HE153VC/A/promise-pegasus2-r6-18tb-6-by-3tb-thunderbolt-2-raid-system?fnode=5f&fs=f%3Dthunderbolt2%26fh%3D3783%252B401f
Re[sterling]:
от:sterling
а не проще было бы взять сразу NAS с Thunderbolt 'ом ?
типа такого - http://store.apple.com/us/product/HE153VC/A/promise-pegasus2-r6-18tb-6-by-3tb-thunderbolt-2-raid-system?fnode=5f&fs=f%3Dthunderbolt2%26fh%3D3783%252B401fПодробнее
То, на что вы прислали ссылку - это не NAS, это DAS - direct attached storage.
По сути своей - локальное хранилище.
Как его сделать сетевым, не потеряв в скорости - я не знаю.
Re[sakharov]:
Извиняюсь конечно за наезд. Просто тут тема про обработку, а не про конструктивные решения (как и сборка компьютеров, что тут модно). Лишь по этому, хотел я сказать.
А так от меня - респект и уважение
За такой подход к работе 
Было бы у меня так на работе. А то работаю не понятно на чём, сеть 10 мб/с, а файлы печати под 900 мб. Сначала комп тормозит, потому им ещё неандертальцы мамонтов пугали, потом сетка пока прокачает такой объём, а потом принтер без постскрипта начинает своим процессором разлагать присланное на бит и кривые. Через пол часа получаешь картинку и то если она имеет одну страницу.
А так от меня - респект и уважение
За такой подход к работе Было бы у меня так на работе. А то работаю не понятно на чём, сеть 10 мб/с, а файлы печати под 900 мб. Сначала комп тормозит, потому им ещё неандертальцы мамонтов пугали, потом сетка пока прокачает такой объём, а потом принтер без постскрипта начинает своим процессором разлагать присланное на бит и кривые. Через пол часа получаешь картинку и то если она имеет одну страницу.Re[Rafael Fomenko]:
от: Rafael Fomenko
Извиняюсь конечно за наезд. Просто тут тема про обработку, а не про конструктивные решения (как и сборка компьютеров, что тут модно). ...
Re[фоторулюбитель]:
Уважаемые, не ругайтесь.
Тема действительно специфичная, фотографу не очень близкая.
Я сколько раз встречал ситуацию, когда с десяток внешних дисков по квартире разбросано, и все с чем-то нужым :-)
Тема действительно специфичная, фотографу не очень близкая.
Я сколько раз встречал ситуацию, когда с десяток внешних дисков по квартире разбросано, и все с чем-то нужым :-)
Re[sakharov]:
Дисклейм: я нисколько не сомневаюсь, что вы проделали хорошую работу. Сомневаюсь, что заказчику это действительно нужно. Возможно, я ошибаюсь, поэтому хочу понять в каких ситуациях это действительно нужно.
Вы пишите, что нужно делать операции с группами файлов: например, выставить рейтинги. Разве для этого не нужно сначала увидеть файл? За время, которое человеку требуется на принятие решения, загрузится гораздо больше файлов.
Кроме того, в данном случае мне видится более правильным все операции, кроме непосредственного изменения файла, хранить в базе данных (можно использовать какую-нибудь стандартную). С большой вероятностью даже изменения файла можно проводить над локальной копией с последующей синхронизацией (все-таки это не большое издательство, где всем одновременно нужны эти материалы).
Если коротко, вот несколько моментов, которые непонятны:
- не вижу ситуаций, когда сотрудники работают одновременно над одним и тем же файлом, что требует его частого обновления на сервере;
- на создание локальной копии того объема материалов, что вы указали, нужен примерно час-полтора, если делить гигабитный канал сразу на 4-х... да и то, не обязательно же дожидаться, пока все 100% загрузятся.
- вы сами же и отметили, что процессор вызывает куда большие задержки, чем даже гигабитная сеть (совершенно верно, в этом легко убедиться просто просматривая RAW, размещенный локально).
ЗЫ
Вы ведь наверное тестировали гигабитную сеть, перед тем, как предложить продвинутое решение? Тестировали в реальных условиях, или искусственно создав максимальный трафик?
Вы пишите, что нужно делать операции с группами файлов: например, выставить рейтинги. Разве для этого не нужно сначала увидеть файл? За время, которое человеку требуется на принятие решения, загрузится гораздо больше файлов.
Кроме того, в данном случае мне видится более правильным все операции, кроме непосредственного изменения файла, хранить в базе данных (можно использовать какую-нибудь стандартную). С большой вероятностью даже изменения файла можно проводить над локальной копией с последующей синхронизацией (все-таки это не большое издательство, где всем одновременно нужны эти материалы).
Если коротко, вот несколько моментов, которые непонятны:
- не вижу ситуаций, когда сотрудники работают одновременно над одним и тем же файлом, что требует его частого обновления на сервере;
- на создание локальной копии того объема материалов, что вы указали, нужен примерно час-полтора, если делить гигабитный канал сразу на 4-х... да и то, не обязательно же дожидаться, пока все 100% загрузятся.
- вы сами же и отметили, что процессор вызывает куда большие задержки, чем даже гигабитная сеть (совершенно верно, в этом легко убедиться просто просматривая RAW, размещенный локально).
ЗЫ
Вы ведь наверное тестировали гигабитную сеть, перед тем, как предложить продвинутое решение? Тестировали в реальных условиях, или искусственно создав максимальный трафик?
Re[СВ-]:
Этот проект - не первый прецедент использования 10G соединений для подобных систем http://habrahabr.ru/post/181822/
Но там надо было использовать уже имеющееся оборудование. А этот проект - с нуля.
У фотографов - заказчиков основной рабочий инструмент обработки - Lightroom. На NAS лежат и сами исходные файлы и XMP с инструкциями по обработке. Если кто-то меняет что-то в файле, остальных Lightroom предупреждает, что у них не последняя версия и предлагает обновиться.
С одним файлом одновременно работает только один человек. Но с архивом одной съемки могут работать несколько. Например один рейтинги расставляет и отбраковывает явный мусор, а другой помеченные файлы обрабатывает в первом приближении.
По ощущениям и пролистывание превьюшек, и просмотр их в полоном разрешении в модуле Library, и подгрузка файла для обработке в модуле Develop происходит на 10G канале в разы быстрее, чем на 1G.
Я допускаю, что кому-то удобно работать с локальными копиями, а потом выгружать их на сервер. Здесь решалась задача ускорения для конкретного рабочего процесса.
Что же до нескольких Gigabit Ethernet каналов, то 2х1G Ethernet на рабочей станции и 2х1G Ethernet на NAS не дают в результате 2G канал. Балансировки нагрузки при таком соединении добиться не удается.
А в случае iMac и Macbook Pro такое подключение и не реализуемо. Если же использовать переходник Thunderbolt - 10G, все работает на ура.
Но там надо было использовать уже имеющееся оборудование. А этот проект - с нуля.
У фотографов - заказчиков основной рабочий инструмент обработки - Lightroom. На NAS лежат и сами исходные файлы и XMP с инструкциями по обработке. Если кто-то меняет что-то в файле, остальных Lightroom предупреждает, что у них не последняя версия и предлагает обновиться.
С одним файлом одновременно работает только один человек. Но с архивом одной съемки могут работать несколько. Например один рейтинги расставляет и отбраковывает явный мусор, а другой помеченные файлы обрабатывает в первом приближении.
По ощущениям и пролистывание превьюшек, и просмотр их в полоном разрешении в модуле Library, и подгрузка файла для обработке в модуле Develop происходит на 10G канале в разы быстрее, чем на 1G.
Я допускаю, что кому-то удобно работать с локальными копиями, а потом выгружать их на сервер. Здесь решалась задача ускорения для конкретного рабочего процесса.
Что же до нескольких Gigabit Ethernet каналов, то 2х1G Ethernet на рабочей станции и 2х1G Ethernet на NAS не дают в результате 2G канал. Балансировки нагрузки при таком соединении добиться не удается.
А в случае iMac и Macbook Pro такое подключение и не реализуемо. Если же использовать переходник Thunderbolt - 10G, все работает на ура.
Re[sakharov]:
фсё это для лохоф лохофских. у фсех нармальных пацанов давно infiniband 
Re[фоторулюбитель]:
от:фоторулюбительПодробнее
Вот именно
"смешались в кучу, кони, люди, и даже что то от орудий..." 
Re[Rafael Fomenko]:
от: Rafael Fomenko
Вот именно
нормально это :-)
цифровая же фотография
была бы плёнка - обсуждали бы состав растворов, фильтры ...
Re[sakharov]:
честно говоря в плане удобства вы всё сделали более чем правильно.
Разработчики только тормозят процесс и уже не один год до сих пор стоимость 10 гбит сетки в разы больше, шарового (в любом компе) гигабита.
Это печально да.
Деньги потратили, зато теперь можно нормально работать.
Разработчики только тормозят процесс и уже не один год до сих пор стоимость 10 гбит сетки в разы больше, шарового (в любом компе) гигабита.
Это печально да.
Деньги потратили, зато теперь можно нормально работать.
