5 августа 2020, среда, 02:17
VK.comFacebookTwitterTelegramInstagramYouTubeЯндекс.ДзенОдноклассники

НОВОСТИ

СТАТЬИ

PRO SCIENCE

МЕДЛЕННОЕ ЧТЕНИЕ

ЛЕКЦИИ

АВТОРЫ

19 февраля 2013, 13:22

Большие перспективы индустрии больших данных

Экспертный семинар РВК
Экспертный семинар РВК

Участники состоявшегося 8 февраля экспертного семинара РВК «Big data – новые горизонты» оценили текущее состояние отрасли «больших данных», а также обсудили примеры использования технологии и ее ближайшее будущее.

Вел семинар генеральный директор ОАО «РВК» Игорь Агамирзян. Открывая мероприятие, он определил сущность понятия «Big data»: это технология, которая позволяет сравнивать и сопоставлять ту информацию, которая ранее была принципиально не сопоставима.

В приветственном слове pаместитель министра связи и массовых коммуникаций России Марк Шмулевич рассказал, что его ведомство поддерживает эту отрасль и будет содействовать исследованиям в области Big data. Чиновник с сожалением отметил, что если взять условный top-50 самых сильных ученых в этой области, то окажется, что ни один из них не работает в России. Это связано, в том числе, и с тем, что специалисты в этой области крайне востребованы на Западе. Например, на одном из самых популярных в Соединенных Штатах сайте по поиску вакансий среднее предложение для астронома со степенью PhD – 50 тысяч долларов в год, всего 335 вакансий. Среднее же предложение для специалиста в области Data science – 100 тысяч долларов в год при нескольких тысячах открытых вакансий.

Основной доклад на семинаре представил профессор Высшей школы экономики Леонид Жуков. Он сразу отметил, что является не только исследователем в области Big data, но и использует эти технологии в компании-стартапе.

Жуков рассказал об истории появления термина Big data. Большая шумиха вокруг этой темы возникла после того, как в июне 2011 года консалтинговая компания McKinsey выпустила доклад «Большие данные: следующий рубеж в инновациях, конкуренции и производительности», в котором оценила потенциальный рынок Big data в миллиарды долларов. Вслед посыпались публикации во многих достаточно уважаемых изданиях: от Wall Street Journal до Harvard Business Review. Мнение о том, что сфера Big data как минимум второй по потенциалу сектор IT индустрии стало общепринятым.

В 2012 году Белый дом выделил 200 миллионов долларов для того, чтобы различные американские ведомства организовывали конкурсы по внедрению технологий Big data в жизнь. Если в 2009 году американские венчурные фонды вложили в отрасль всего 1,1 миллиард долларов, то в 2012 — уже 4,5.

Определений понятию Big data существует несколько. Одно из них гласит, что это данные, которые невозможно обработать традиционными способами из-за их большого объема. Другое — что это феноменальное ускорение накопления данных и их усложнение. Третье определение утверждает, что это набор инструментов, позволяющих работать с данными вне зависимости от их типа и объема.

Такая ситуация объясняет тот факт, что для характеристики Big data используют «три v»: объём (от английского volume, имеется в виду объем данных), скорость (от слова velocity, это и скорость накопления новых данных, и скорость и обработки) и многообразие (английское слово variety обозначает разнообразие типов данных, которые могут обрабатываться).

Индустрия Big data возникла из-за того, что все большему количеству структур и компаний необходимо было обрабатывать такое количество данных, что традиционные методы уже не годились. Так, по некоторым данным, Google в день обрабатывает 24 петабайта (24 миллиона гигабайт). Суперкомпьютеры, которые в теории могли справиться с таким потоком, были не по карману большинству IT-компаний, и им стали искать замену. Одна из идей состояла в том, что можно объединить в сеть огромное количество обычных компьютеров и распределять между ними вычисления. Проблема состояла в том, что такая система постоянно давала сбои.

Решением стала программа, дублирующая вычисления в разных участках огромной сети, благодаря чему отказ одного из ее элементов не скажется на конечном результате.

Исторически сложилось так, что инновационные разработки в области Big data начинались не в маленьких стартапах, как это часто бывает в IT-индустрии, а в больших компаниях. Так, например, технология распределенной обработки данных MapReduce была разработана в Google, a Hadoop - свободное ПО для выполнения распределенных вычислений на кластерах из сотен и тысяч узлов – сразу после создания активно поддержала компания Yahoo.

Большинство программных продуктов в области Big data являются свободными, а их адаптацией и продвижением занимаются те самые стартапы. Традиционные поставщики решений в области хранения и обработки данных, такие как IBM и EMC внимательно относятся к новым разработкам в области Больших Данных и стараются использовать их в своих продуктах совместно с собственными технологиями.

Одним из содокладчиков выступил Вячеслав Нестеров, генеральный директор центра разработок EMC (г. Санкт-Петербург) — компании, которая занимается хранением и управлением информацией.

Вячеслав Нестеров рассказал, что ежедневно генерируется около 7 тысяч петабайт новых данных, из них структурированы только 10% — причем эта доля постоянно уменьшается. Сегодня 15-20 процентов информации генерируется в “интернете вещей” – в том числе, во многочисленных телефонах, планшетах и других устройствах. К 2020 году доля информации, генерируемой «интернетом вещей», возрастет до 40 процентов.

Помимо стремительно растущего интернета, появляется огромное количество медицинской информации, например, полученной при секвенировании генома. Сейчас существуют десятки мощных баз данных, в которых аккумулирована гигантская информация о структуре не только генома человека, но и геномов многих других организмов. В одной ДНК содержится около трех миллиардов нуклеотидных пар, что относительно немного с точки зрения объема информации. Но надо еще принять во внимание необходимость хранения «сырой» информации, получаемой из секвенаторов, результатов исследования белковых молекул и прочих биоинформатических данных. Информацию, которую возможно получить из расшифрованного генома, еще только предстоит собрать, осмыслить, подвергнуть сравнительному анализу. Для работы именно с таким огромным количеством научной информации и появляются технологии, которые оказались в центре внимания семинара.

Big data приобретает популярность, потому что существовавшие до этого способы работы с информацией не удовлетворяют запросам бизнеса. Так, Нестеров сравнил работу Data scientist и бизнес-аналитиков. Бизнес-аналитики изучают полученную информацию о прошлом и отвечают на вопрос «а что произошло?». Аналитики данных (Data scientists) способны ответить на вопрос «а что произойдет, если...?». Для этого они должны обладать знаниями в области статистики, математики, разбираться в предметной области исследования и вдобавок уметь немного программировать. Именно поэтому выпускники университетов в сфере Data science в Калифорнии «стоят» от 100 тысяч долларов в год.

Сергей Лихарев, руководитель по развитию бизнеса IBM Big Data Solutions, в своем выступлении рассказал, что думают о технологии Big data в больших компаниях. По его словам, шесть процентов компаний уже применяют соответствующие технологии, 22 процента — планируют их внедрить. 47 процентов рассматривают бизнес-кейсы, то есть примеряют опыт на себя, 24 процента предпринимателей пока раздумывают о целесообразности внедрения технологий Big data.

Big data, по словам Лихарева, позволит компаниям по-новому взглянуть на клиента. Анализ не только структурированных данных о клиентах, но и информации, например, из социальных сетей поможет компаниям лучше понять, почему клиенты пользуются их продуктами и услугами, почему они рекомендуют компанию своим знакомым, что хотят улучшить. Ключевое отличие здесь в том, что в социальных сетях информация часто представлена в виде обычного текста и выделить оттуда ценные знания - не всегда простая задача.

Big data позволяет расширить традиционные системы информационной безопасности. Анализ данных, поступающих из различных источников в разных форматах, возможность сопоставления этих данных, выявления аномалий, реагирование на угрозы в реальном режиме времени – все это стало возможным с использованием технологий обработки и анализа Big data. Важно, что такой анализ можно проводить практически на неограниченном объеме данных.

Big data позволит упростить хранение данных. Зачастую в аналитических хранилищах скапливаются огромные массивы информации, ценность которой уже не очевидна, а затраты на хранение которой относительно высоки. Технологии Big data помогут разгрузить аналитическое хранилище, при необходимости предоставляя архивную информацию для анализа и исследования.

Выступающие сошлись на том, что сейчас отрасль Big data находится на пике общественного интереса и, соответственно, венчурных вложений. Пока нельзя сделать вывод, окажутся ли Big data в скором времени необходимыми в повседневной жизни человечества, как персональный компьютер и Интернет, но то, что они уже меняют нашу жизнь и бизнес на наших глазах, не вызывает сомнений.

Обсудите в соцсетях

Главные новости

04.08 22:39 Глава МВД Ливана: в порту Бейрута взорвалась аммиачная селитра
04.08 22:05 В аэропорту Петербурга экстренно сел самолет с трещиной в стекле
04.08 21:49 В России впервые машинистом локомотива стала девушка
04.08 21:22 Мэрия Улан-Удэ закупит автобусы с цитатами Путина почти на 200 млн рублей
04.08 20:42 В результате мощного взрыва в Бейруте погибли не менее 10 человек
04.08 20:34 Мигранты устроили стычку с правоохранителями на границе России и Казахстана
04.08 19:47 Минюст попросил наказать адвокатов Ивана Сафронова за отказ от подписки о неразглашении
04.08 19:26 В порту Бейрута прогремел взрыв и поднялось облако в виде гриба. Пострадали сотни людей
04.08 18:45 ФАС сочла нарушением продажу авиабилетов на закрытые направления
04.08 18:19 Посещаемость кинотеатров в России после эпидемии сократилась на 90%
04.08 17:57 В Крыму экспериментально вызовут дожди с помощью самолетов
04.08 17:23 «Русская служба Би-би-си»: треть пилотов «Победы» отправили в неоплачиваемые отпуска до конца года
04.08 17:16 В Подмосковье разбился мотодельтаплан. Погибли два человека
04.08 16:43 Власти Чечни заставили вернуться из Москвы 100 человек из-за их «недопустимого» поведения
04.08 16:30 Губернатор Мурманской области задекларировал таунхаус в Испании
04.08 16:03 СК начал проверку действий полиции на московских протестах 2019 года
04.08 15:53 В Италии COVID-19 переболели 1,5 млн человек. Это в шесть раз больше, чем считалось раньше
04.08 15:42 «Интерфакс»: дело о преступлении против Ивана Голунова осталось без заказчика
04.08 14:58 Минфин предложил пересмотреть расходы на президента и его администрацию
04.08 14:32 Роспотребнадзор: вакцину от коронавируса добровольцам будут вводить дважды
04.08 14:22 Шойгу ввел ежемесячную надбавку для 45 тыс. военных. Ее средняя сумма — 23 тыс. рублей
04.08 14:09 Опрос: более половины трудовых мигрантов хотят остаться в России навсегда
04.08 13:47 Лукашенко: задержанные россияне «рассказали все»
04.08 13:28 «Россия боится потерять Белоруссию». Лукашенко высказался об отношениях двух стран
04.08 13:25 Более 42 тыс. пассажиров оштрафовали в московском транспорте за отсутствие масок
04.08 12:44 Роспечать попросила у правительства 94 млн рублей, чтобы создать сервис распознавания фейков
04.08 12:24 Суд в Саратовской области приговорил к семи годам колонии 15-летнего подростка. Он пришел в школу с топором и коктейлями Молотова
04.08 12:00 Новость из прошлого: 4 августа 2000 года — Лужков отказывается отменять регистрацию в столице
04.08 11:44 Росстат: каждый пятый ребенок в России живет за чертой бедности
04.08 11:14 Каждый пятый россиянин хочет поехать за границу после полного возобновления полетов
04.08 11:10 На острове в Тихом океане нашли троих моряков благодаря надписи SOS на песке
04.08 10:46 В России за сутки зарегистрировали 5,1 тыс. новых случаев COVID-19. Выздоровели 7,8 тыс. россиян
04.08 10:42 Дуэйн Скала Джонсон купил лигу американского футбола
04.08 10:18 Черногория открыла границу для россиян
04.08 09:45 В даркнете выставили на продажу паспортные данные участников электронного голосования по Конституции
04.08 09:00 В мире коронавирусом заразились около 18,3 млн человек, свыше 693 тысяч умерли
04.08 08:30 Роспотребнадзор назвал регионы с повышенными дозами облучения радоном. Этот газ вызывает рак легких
04.08 08:00 Лукашенко предложил на референдуме изменить конституцию страны
04.08 07:30 Бывший король Испании Хуан Карлос I покинул страну из-за коррупционного скандала
04.08 07:00 Трамп ограничил найм иностранцев по федеральным контрактам
04.08 06:30 Google представил смартфон Pixel 4a
04.08 05:58 Суд в Петербурге арестовал вдову рэпера Картрайта
04.08 05:30 В Москве за сутки умерли 12 пациентов с коронавирусом
03.08 20:58 Вдову рэпера Картрайта будет защищать тот же адвокат, что и историка Соколова. Обоих подзащитных обвиняют в убийстве и расчленении
03.08 20:23 Медведев и его жена получили дипломатические паспорта
03.08 19:57 ТАСС: в московском метро начали массово штрафовать за отсутствие масок
03.08 19:33 Покрас Лампас рассказал о зашифрованной надписи в «Супрематическом кресте»
03.08 18:51 ФСБ: дело Сафронова не связано с его журналистской деятельностью
03.08 17:27 Суд отменил приговор Кокорину и Мамаеву
03.08 16:54 ФБК: семья Дегтярева купила квартиру во время строительства дома в Подмосковье. Он заявлял, что им пришлось продать все имущество
«АвтоВАЗ» «ВКонтакте» «Газпром» «Зенит» «Мемориал» «Мистраль» «Оборонсервис» «Роснефть» «Спартак» «Яблоко» Абхазия Австралия Австрия Азербайджан Антимайдан Аргентина Арктика Армения Афганистан Аэрофлот Башкирия Белоруссия Бельгия Бразилия ВВП ВКС ВМФ ВПК ВТБ ВЦИОМ Ватикан Великобритания Венгрия Венесуэла Владивосток Внуково Волгоград ГИБДД ГЛОНАСС Генпрокуратура Германия Голливуд Госдеп Госдума Греция Гринпис Грузия ДТП Дагестан Домодедово Донецк ЕГЭ ЕСПЧ Евровидение Еврокомиссия Евромайдан Евросоюз Египет Екатеринбург ЖКХ Израиль Ингушетия Индия Индонезия Интерпол Ирак Иран Испания Италия Йемен КНДР КПРФ Казань Казахстан Калининград Камчатка Канада Каталония Кемерово Киев Кипр Киргизия Китай Коми Конституция Красноярск Кремль Крым Куба Курилы ЛГБТ ЛДПР Латвия Ливия Литва Лондон Луганск МВД МВФ МГУ МКС МОК МЧС Малайзия Мексика Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минпромторг Минсельхоз Минск Минтранспорта Минтруд Минфин Минэкономразвития Минэнерго Минюст Молдавия Мосгордума Мосгорсуд Москва НАСА Нигерия Нидерланды Новосибирск Норвегия ОБСЕ ООН ОПЕК Одесса ПДД Пакистан Паралимпиада Париж Пентагон Польша Приморье РАН РЖД РПЦ РФС Росавиация Росгвардия Роскомнадзор Роскосмос Роспотребнадзор Россельхознадзор Россия Росстат Ростех Ростуризм СМИ СССР США Сахалин Сбербанк Севастополь Сербия Сирия Сколково Славянск Сочи Таджикистан Таиланд Татарстан Трансаэро Турция УЕФА Узбекистан Украина ФАС ФБР ФИФА ФСБ ФСИН ФСКН Филиппины Финляндия Франция Хакасия Харьков ЦИК ЦРУ ЦСКА Центробанк Чехия Чечня Швейцария Швеция Шереметьево Эбола Эстония ЮКОС Якутия Яндекс Япония авиакатастрофа автопром алкоголь амнистия арест армия археология астрономия аукционы бактерии банкротство беженцы бензин беспилотник беспорядки биатлон бизнес благотворительность блогосфера бокс болельщики вандализм взрыв взятка вирусы вузы выборы гаджеты генетика гомосексуализм госбюджет госзакупки госизмена деньги дети доллар допинг драка евро журналисты законотворчество здоровье землетрясение изнасилование импорт инвестиции инновации интернет инфляция ипотека искусство ислам исследования история казнь кино кораблекрушение коронавирус коррупция космос кража кредиты культура лингвистика литература математика медиа медицина метро мигранты монархия мошенничество музыка наводнение налоги нанотехнологии наркотики наука недвижимость нейробиология некролог нефть образование обрушение общество ограбление оппозиция опросы оружие офшор палеонтология педофилия пенсия пиратство планетология погранвойска пожар полиция похищение правительство право православие преступность продовольствие происшествия ракета рейтинги реклама религия ретейл робототехника рубль санкции связь сепаратизм следствие смартфоны социология спецслужбы спутники статистика страхование стрельба строительство суды суицид тарифы театр телевидение теракт терроризм технологии транспорт туризм убийство фармакология физика фоторепортаж футбол хакеры химия хоккей хулиганство цензура школа шпионаж экология экономика экспорт экстремизм этология «Единая Россия» «Исламское государство» «Нафтогаз Украины» «Правый сектор» «Северный поток» «Справедливая Россия» «болотное дело» Александр Лукашенко Александр Новак Александр Турчинов Алексей Кудрин Алексей Навальный Алексей Улюкаев Амурская область Анатолий Сердюков Ангела Меркель Антон Силуанов Аркадий Дворкович Арсений Яценюк Астраханская область Барак Обама Басманный суд Башар Асад Белый дом Борис Немцов Бутовский полигон Валентина Матвиенко Верховная Рада Верховный суд Виктор Янукович Виталий Мутко Владимир Жириновский Владимир Зеленский Владимир Маркин Владимир Мединский Владимир Путин Вячеслав Володин Дальний Восток День Победы Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин Дональд Трамп Евгения Васильева Забайкальский край Интервью ученых Ирина Яровая Иркутская область История человечества Калужская область Кирилл Серебренников Кировская область Конституционный суд Космодром Байконур Краснодарский край Красноярский край Ксения Собчак Ленинградская область МИД России Мария Захарова Михаил Прохоров Михаил Саакашвили Михаил Ходорковский Московская область Мурманская область Надежда Савченко Наталья Поклонская Нижний Новгород Николас Мадуро Нобелевская премия Новосибирская область Новый год Олег Дерипаска Олимпийские игры Ольга Голодец Павел Дуров Палестинская автономия Папа Римский Первый канал Пермский край Петр Порошенко Почта России Приморский край Рамзан Кадыров Реджеп Эрдоган Республика Карелия Ростовская область Саратовская область Саудовская Аравия Свердловская область Сергей Лавров Сергей Нарышкин Сергей Полонский Сергей Собянин Сергей Шойгу Следственный комитет Совбез ООН Совет Федерации Ставропольский край Счетная палата Тереза Мэй Франсуа Олланд Хабаровский край Хиллари Клинтон Человек дня Челябинская область Черное море Эдвард Сноуден Элла Памфилова Эльвира Набиуллина Южная Корея Юлия Тимошенко Юрий Чайка авторское право администрация президента акции протеста атомная энергия баллистические ракеты банковский сектор биология большой теннис визовый режим военная авиация выборы губернаторов газовая промышленность гражданская авиация гуманитарная помощь декларации чиновников дороги России информационные технологии климат Земли компьютерная безопасность космодром Восточный крушение вертолета легкая атлетика лесные пожары междисциплинарные исследования мобильные приложения морской транспорт некоммерческие организации общественный транспорт патриарх Кирилл пенсионная реформа пищевая промышленность права человека правозащитное движение преступления полицейских публичные лекции российское гражданство русские националисты русский язык сельское хозяйство сотовая связь социальные сети стихийные бедствия телефонный терроризм уголовный кодекс фигурное катание финансовый рынок фондовая биржа химическое оружие хроники обнуления эволюция экономический кризис ядерное оружие Великая Отечественная война Вторая мировая война Ирак после войны Ким Чен Ын Революция в Киргизии Российская академия наук Стихотворения на случай Федеральная миграционная служба Федеральная таможенная служба борьба с курением выборы мэра Москвы здравоохранение в России связь и телекоммуникации тюрьмы и колонии Совет по правам человека аварии на железной дороге естественные и точные науки закон об «иностранных агентах» компьютеры и программное обеспечение видеозаписи публичных лекций «Полит.ру» Новые технологии, инновации Сочи 2014 рейтинг Forbes Кабардино-Балкария Левада-Центр Нью-Йорк Санкт-Петербург отставки-назначения шоу-бизнес Ростов-на-Дону ЧМ-2018 Книга. Знание ВИЧ/СПИД Apple Bitcoin Boeing Facebook G20 Google iPhone IT Microsoft NATO PRO SCIENCE видео ProScience Театр Pussy Riot Telegram Twitter Wikileaks YouTube

Редакция

Электронная почта: polit@polit.ru
Телефон: +7 929 588 33 89
Яндекс.Метрика Top.Mail.Ru
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003 года. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2020.