Самый первый компьютер разменял восьмой десяток лет, но по сравнению даже с самым простым современным телефоном он не умел ничего. Он тратил на простые математические операции по несколько секунд и всю информацию получал с перфорированных лент, не имел собственной оперативной и встроенной памяти. Сегодня мы в мгновение ока обмениваемся сообщениями и даже мультимедийными файлами через крошечное устройство — смартфон, который не привязан ни к чему.
Мы даже не задумываемся, какой объем данных генерируем в течение дня, и где все эти данные хранятся. Благодаря интернету в 2017 году Google в день обрабатывает больше данных, чем было написано во всех литературных работах на всех языках до появления интернета, и это при том, что к паутине подключена только половина планеты.
Безусловно, стремительный рост данных подтолкнул к появлению сайтов и распространению интернета — ведь одно дело копить информацию, другое — иметь возможность ею делиться. Первый сайт появился в 1990 году и содержал исключительно текстовую информацию — описание технологии World Wide Web.
Первые годы количество сайтов в интернете росло в два раза за каждые три месяца. К июню 1993 года в мире существовало уже 130 сайтов. А к декабрю — 623. К началу 1996 года количество сайтов в интернете достигло 100 000. В 2014 году их стало больше миллиарда, а к нынешнему времени — 1,2 млрд. Это примерно в шесть раз меньше, чем людей на Земле, и в три раза меньше, чем интернет-пользователей (3,6 млрд). То есть, грубо говоря, на каждый сайт в интернете приходится 3 интернет-пользователя.
Если первое время интернет был местом для интеллектуалов и снобов, хакеров и пионеров технологий, которые потребляли и создавали контент, то сегодня интернет — это социальные сети, YouTube-видео, сайты для взрослых и другие не самые узкоспециализированные активности.
Сайт internetlivestats.com рассказывает о том, что происходит в интернете в режиме реального времени — за последнюю секунду, день или год.
Но вернемся к трафику. По данным Google, в 2008 году компания обрабатывала 20 петабайт данных в день. Сегодня аналогичный результат достигается меньше чем за 8 минут. За последний год эта цифра достигла 636 эксабайтов! На это было потрачено 554 524 478 мегаватт-часов.
Для сравнения все сезоны сериала «Игра престолов» весят около 70 Гб в разрешении видео 1024х576 — столько трафика обрабатывается Google за пару секунд.
Количество поисковых запросов, обрабатываемых Google:
- 1998 г. — 9800 в день, 3,2 млн в год;
- 2007 г. — 1,2 млрд в день, 438 млрд в год;
- 2016 г. — 3 млрд в день, 1,2 трлн в год.
Предполагается, что к 2020 году на планете будет 50 млрд подключенных устройств, из них 6,1 млрд — смартфоны. Население Земли достигнет 7,75 млрд (то есть в 6,5 раз меньше), и каждый житель будет генерировать 1,7 Мб информации в секунду. Примерно треть всех данных будет храниться в облаке. В 2013 общий объем данных в интернете составлял 4,3 зеттабайта, каждые два года он удваивается.
Предположительно, к 2020 году этот показатель возрастет до 44 зеттабайтов. Сложно сравнить это с чем-то осязаемым. Но попробуйте представить, что разместить их все можно будет, например, на 4,4 млрд 10-терабайтных накопителях.
Интернет-гиганты строят огромные дата-центры для хранения информации. Обычно данные об их расположении, оснащении и размерах хранятся в секрете. В лучшем случае, в интернете можно найти фотографии фасадов. Но Google три года назад приоткрыли завесу тайны над одним из своих дата-центров и объемами инвестиций в него.
Дата-центр Google, где находятся серверы с Youtube-роликами и где обрабатываются поисковые запросы, об объемах которых мы уже писали выше, занимает 10 000 квадратных метров. Но Google — огромная корпорация с миллиардными доходами, которая может себе позволить столько дата-центров и такого размера, как ей нужно.
На новый дата-центр в Орегоне площадью 15 240 кв. м компания потратила $600 млн в 2015 году. К 2020-му году, несмотря на удешевление технологий, скорее всего расходы будут еще выше. Apple строит дата-центр в Ирландии стоимостью $1 млрд и площадью 500 акров. От тепла, которое он будет вырабатывать, будут отапливаться близлежащие дома. В компании планируют покрыть этим дата-центром потребности по обеспечению своими сервисами европейских пользователей на ближайшие 10-15 лет.
Но для обычных пользователей, которые как раз и генерируют основной объем, эта информация едва ли важна. Кто задумывается о том, где конкретно YouTube хранит видео, а Instagram – фотографии, сколько это весит и во сколько обходится компаниям? Разработчики уже подумали об этом, чтобы пользователи комфортно занимались своими делами в их сервисах.
Другое дело бизнес – сами сервисы, торговые сети, интернет-магазины. Развитие технологий идет рука об руку с ростом объема данных, и чем дальше, тем больше их будет. И тут речь идет не только о картиночках, сообщениях и прочем UGC, но и о данных о поведении пользователей, Big Data.
Big Data — это нефть нашего времени, она позволяет делать многие вещи, среди которых — адаптация сервисов и даже городской инфраструктуры под потребности людей (об этом мы писали, например, тут), производить более точные измерения (например, фактического потока туристов в городе, о чем мы рассказывали тут), анализировать поведение пользователей и делать на основании этих данных более точные прогнозы. Во всех примерах выше речь идет не о заморских странах, а об украинских государственных проектах и стартапах, которые уже становятся более эффективными и в будущем оставят конкурентов далеко позади.
Несмотря на то, что Big Data — это уже реальность и в Украине, многие бизнесы до сих пор думают, что это дорого и для этого нужен некий суперкомпьютер. По факту есть две разные статьи расходов. Первая — это место под хранение данных. Оно нужно постоянно, но стоит сравнительно недорого. Вторая — анализ данных. Для этого нужны большие вычислительные мощности, которые как раз стоят дорого. Но при этом потребность в них нерегулярная — только на этапе анализа, а все остальное время ресурсы просто простаивают.
Современные технологии позволяют обрабатывать Big data в облаке, комбинируя публичные и частные облака — то есть используя гибридное облако. Частные облака подходят в том случае, когда доступ к ресурсу должен быть постоянным — например, когда речь идет о хранении данных. В таком случае есть смысл в том, чтобы строить свою инфраструктуру. Публичные — когда ресурсы требуются время от времени. В частности, их анализе и построении прогнозов. Их выгоднее «покупать» в публичном облаке, оплачивая только используемый ресурс.
Успех работы с облачными мощностями зависит не столь от производительности и мощности оборудования, на котором размещены данные, сколько в грамотно разработанной стратегии. Важно правильно поставить цель и определиться со стратегией работы в облаке — как на данном облаке будут работать аппликации, базы данных, какая сетевая и физическая инфраструктура сможет реализовать облачные нагрузки и работать без простоев, какими процессами будет управлять технический персонал провайдера, а какими-собственные сотрудники.
Гибридное облако является удобным решением для тех компаний, которые по какой-то причине не могут или не хотят отказаться от частного облака (например, по причинам безопасности), но в какой-то момент появляется необходимость выделить задачи с повышенной производительностью в публичное облако для быстрого наращивания мощностей. Такая модель облака помогает компаниям без предварительного опыта не только быстрее адаптироваться к облачной среде, но и подстраховаться на случай неожиданного роста больших данных. В среднем бизнес, максимально использующий возможности арендованного облака вне зависимости от его типа, может в течение 5 лет достичь снижение общих IT-расходов на 40%.
Ниже приводится сортируемый список стран по числу пользователей Интернета по состоянию на 2017 год. Пользователи Интернета определяются как лица, которые подключались к Интернету в течение последних 12 месяцев с любого устройства, включая мобильные телефоны.
| 2005 | 2010 | 2017* | |
| Мировое население | 6.5 миллиарда | 6.9 миллиарда | 7.4 миллиарда |
| Пользователей по всему миру | 16% | 30% | 48% |
| Пользователей в развивающихся странах | 8% | 21% | 41.3% |
| Пользователей в развитых странах | 51% | 67% | 81% |
| * По оценкам.Источник: International Telecommunications Union. | |||
| 2005 | 2010 | 2017* | |
| Африка | 2% | 10% | 21.8% |
| Северная и Южная Америки | 36% | 49% | 65.9% |
| Арабские страны | 8% | 26% | 43.7% |
| Азия и Океания | 9% | 23% | 43.9% |
| Страны СНГ | 10% | 34% | 67.7% |
| Европа | 46% | 67% | 79.6% |
| * По оценкам.Источник: International Telecommunication Union. | |||
Ниже представлен список стран по числу пользователей Интернета на 30 июня 2017 года [1] :
Как известно мы живем в мире информации. Как бы это банально не звучало, но каждый день в мире что то происходит. Благодаря появлению компьютеров информация обрела единицу измерения, а благодаря интернету появилась возможность распространять ее огромное количество по всему миру со скоростью света.
И так, сегодня хотелось бы вам рассказать сколько доступной и не очень доступной информации имеется в свободном и не совсем свободном доступе, или же иными слова сколько "весит" интернет!
Начну пожалуй с небольшой справки. Вы скорее всего знаете что раньше информация измерялась в байтах (в самом начале вообще в битах. 1 байт=8 бит). Поскольку количество информации постоянно растет, а измерять что либо большими числами не совсем удобно, используются специальные приставки которые обозначают количество нулей после единицы т. е. 1 Килобайт=1 000 байт, 1 Мегабайт=1 000 000 байт и т. д. Вы наверняка слышали про Гигабайты, Терабайты, возможно даже про Петабайты. Кроме вышеперечисленных существуют еще Эксабайты, Зеттабайты и Йоттабайты. Для простоты восприятия переведем все выше перечисленные обозначения в Гигабайты. И так
1 Терабайт= 1000 Гигабайт
1 Петабайт=1 000 000 Гб
1 Эксабайт= 1 000 000 000 (Миллиард) Гб
1 Зеттабайт = 1 000 000 000 000 (Триллион) Гб
1 Йоттабайд = 1 000 000 000 000 000 (Квадриллион) Гб
В общем вы оценили масштаб. А теперь вернемся непосредственно к теме поста. Объем данных, хранящихся в Интернете на момент 2009 года, вплотную приблизился к отметке в 500 эксабайтов (500 млрд Гб). Такие данные приводит аналитическая компания IDC, проводившая исследование по заказу EMC Corporation. По прогнозам аналитиков, через полтора года количество данных вырастет еще в 2 раза. Аналитики подчеркивают, что объем хранящейся в Интернете информации удваивается приблизительно каждые полтора года.
И так если предположить что такая тенденция сохранялась на протяжении всего это времени(2009-2015) т. е. объем информации в интернете удваивался в 2 раза каждые 1,5 года то на данный момент общий объем всего контента в интернете составляет 8 Зеттабайт (хотя с учетом развития интернета и увеличения скорости передачи данных это число скорее всего в несколько раз больше). Или 8 000 000 000 000 (Триллионов) Гигабайт!! Согласитесь внушительное число! (а если вспомнить старую легенду что 80 % интернета это порнография и прочий не потребный контент, то можно понять чем занималось человечество все это время, и почему мы до сих пор не освоили космос:)) В общем что бы вы сильнее ощутили всю мощь такого количества информации переведу все эти Гигабайты в часы, а именно в видео самого большого разрешение которое имеется на сегодняшний день.
На данный момент самое высокое разрешение видео имеет размеры 4096х3112 пикселей называется 4К или UltraHD, и 1 час такого видео в среднем займет примерно 30 Гигабайт пространства на вашем жестком диске! И так путем не хитрых подсчетов можно узнать что, чтобы посмотреть видео данного формата с размером 8 зеттабайт вам потребуется не много ни мало а. 30 441 400 лет! Не х*евое такое кино! Если учитывать что первый хомо сапиенс появился примерно 200 000 лет назад. мы так не плохо накопили информации за эти 200 000 лет! Но к сожалению из 8 зеттабайт информации полезной можно назвать лишь не большую часть. И это. это печально.
P. S. Данный пост не претендует на звание научного доклада, оперировал лишь поверхностной информацией, не углубляясь в мат часть)))
Дубликаты не найдены
Еще как можно так писать, только не байт а бит.
