Куда сложить мегабайты?

После ухода Джорджа Буша из Белого дома в январе 2009 г. в Национальное управление архивов США поступило около 140 Тб данных (1 Тб равен 1000 Гб). Электронное наследие Буша оказалось в 50 раз больше цифрового архива, оставшегося после президентства Клинтона. Эксперты полагают, что к концу правления Обамы его архив вырастет до многих петабайтов (тысяч терабайтов).

По данным Ассоциации производителей сетей хранения данных, всего в мире за 2007 г. было сгенерировано порядка 281 экзабайта (миллионов терабайтов, или тысяч петабайтов) данных. Около 35% этого объема приходится на корпоративный сектор, при том что в обработке данных доля бизнеса достигает 85%.

«Мир оцифровывается гораздо быстрее, чем когда-либо прежде, – замечает директор по стратегиям в области систем хранения IBM Марк Варго. – Раньше медицинские снимки занимали по 1 Мб, сейчас – по 1 Гб, это тысячекратный рост. Медицина совершенствуется, но потоки данных увеличиваются, и больничные информационные системы должны с ними как-то справляться».

«Объемы накапливающихся данных растут экспоненциально, – утверждает директор по информационным технологиям британского благотворительного фонда Comic Relief Джон Томпсон. – Раньше мы держали архивные данные на слайдах и пленке, теперь используем сетевую систему хранения данных».

Колоссальные объемы данных создаются не только корпорациями, но и индивидуальными пользователями. Принятая в ЕС директива по хранению данных, которой должны руководствоваться интернет-провайдеры, требует сохранять обширные сведения о веб-трафике и почтовых отправлениях. Увеличиваются сроки хранения данных в медицинской и фармацевтической отраслях. С целью повышения сохранности информации одни и те же данные зачастую многократно дублируются и помещаются в разные хранилища. Подсчитано, что каждая деловая презентация PowerPoint существует в среднем в семи копиях.

Это значит, что компаниям нужны все более емкие и при этом дешевые хранилища и все более эффективные системы управления данными. Если раньше данные хранились в основном на дисках, сейчас все шире применяются так называемые сети хранения данных (SAN), в которых все имеющиеся накопители используются как общее распределенное хранилище. К сожалению, в крупных компаниях реально задействовано лишь 20–30% имеющихся емкостей. Чтобы увеличить этот показатель, IT-подразделения внедряют специальные технологии, включая виртуализацию и консолидацию систем хранения. Виртуализация предполагает, что каждый пользователь работает с виртуальными пулами накопителей как с реальными устройствами. Стремясь к консолидации, IT-подразделения переходят на более производительные устройства хранения и уменьшают дублирование информации.

«Компании часто не понимают, что система хранения – это не просто набор дисков, – отмечает консультант PA Consulting Group Аластер Маколи. – Важнейшая ее составляющая – весьма сложные процедуры по перераспределению информации».

Во многих случаях необходимо соблюдать жесткие требования, связанные с процессом сохранения данных. Особенно это актуально для США, где закон может потребовать от компании предоставить корпоративную информацию в качестве свидетельства на суде. «Но если законы и регулирующие нормы не требуют хранить определенные виды информации, дешевле и безопаснее бывает попросту уничтожить ее, – говорит менеджер Ernst & Young Марк Лагодински. – В современных условиях отношение к хранению данных должно определяться прежде всего соображениями сокращения затрат. Надо задаться вопросом: а может, мы храним больше информации, чем нам реально требуется? Нельзя ли взять и избавиться от части данных? Обычно привычка хранить все имеющиеся данные свойственна компаниям, которым пришлось участвовать в судебных разбирательствах и предоставлять электронные материалы суду».

Есть и более радикальное предложение – наказывать компании за излишние объемы хранимых данных. Многие считают также необходимым использовать для хранения корпоративных данных аутсорсинговую схему, когда сама компания не хранит информацию, а доверяет это сторонней фирме. С некоторых пор такие услуги предлагают Amazon, EMC, Symantec и Iron Mountain. Правда, в большинстве случаев компании боятся доверять свою информацию посторонним – даже на хранение.