BIg-data - большие данные

Всероссийская образовательная акция «Урок цифры» 2019

«Сегодня у нас пройдет нестандартное занятие в рамках акции «Урок Цифры», которая проводится по всей России. В ее рамках будет проведен цикл необычных уроков информатики, которые пройдут в большинстве школ страны и охватят миллионы учеников с 1-го по 11-й классы. Каждый из них будет посвящен определенной теме: большие данные, сети и облачные технологии, безопасность будущего, персональные помощники, искусственный интеллект. Акция направлена на развитие цифровых компетенций, знаний и навыков, востребованных в современном мире/.

Мы живем в цифровом мире и каждый день сталкиваемся с большими данными, даже если не подозреваем об этом. Например, пользуясь смартфоном, вы приобщаетесь к теме больших данных. Как вы думаете, каким образом это происходит?» (Выслушайте ответы детей).

(переход к следующему слайду)

Большие данные

Что такое большие данные и кем я стану, если буду работать с большими данными?

Мы с вами сегодня вместе постараемся ответить на несколько вопросов. Постараемся понять, что же такое большие данные, а еще узнаем, кем вы можете стать в будущем если захотите работать с данными.  

(переход к следующему слайду)

Характеристики больших данных:

На самом деле, нет четкого и всеми принятого определения, что же есть большие данные. Среди многих специалистов в качестве определяющих характеристик для больших данных традиционно выделяют «три V»: 1) объём ( volume , в смысле величины физического объёма, то их точно должно быть «много»: десятки террабайт, а может, и петабайты), 2) скорость ( velocity, в смыслах как скорости их постоянного прироста, так и необходимости высокоскоростной обработки и получения результатов на основе этих данных), 3) многообразие ( variety , в смысле возможности одновременной обработки различных типов структурированных и полуструктурированных данных). Также некоторые добавляют к ним еще 4) veracity — достоверность (то, что эти данные репрезентативны и непротиворечивы) и value — ценность (у больших данных обязательно есть понимание, что в них лежит что-то полезное, хотя многие данные сегодня собираются и далеко не все из них подлежат обработке, большинство просто хранится до нужного времени). 

(переход к следующему слайду)

Объём (volume)

Скорость (velocity)

Разнообразие (variety)

Достоверность (veracity)

Ценность (value)

Большие данные вокруг

Рекомендация контента в соцсетях

Тренировочные игры с ботами

Мы тоже для вас подготовили несколько примеров (если их уже называли дети – стоит отметить, что они молодцы и почти все называли из наших примеров, и рассмотрите только те, которые остались неохваченными).

(переход к следующему слайду)

Диагностика заболеваний

Фильтрация спама, группировка писем по темам

Создание музыки, текстов, картин

Умный светофор

Бродячая корзина

Количество жителей Избербаша

Годы

41 200 человек

2006 год

41 800 человек

2007 год

50 800 человек

2008 год

51 246 человек

2009 год

55 646 человек

2010 год

55 600 человек

2011 год

55 919 человек

2012 год

55 988 человек

2013 год

56 322 человек

2014 год

56 914 человек

2015 год

57 511 человек

2016 год

58 170 человек

2017 год

58 690 человек

2018 год

59 494 человек

2019 год

Процесс работы с данными

Анализ

Генерация

Предобработка

Построение прогнозных моделей

Сбор данных с датчиков

Соединение блоков данных, валидация, очистка

Сохранение действий

пользователей

Проверка гипотез

Получение внешних данных

Структурирование данных

Поиск инсайтов

Создание и наполнение баз данных

Создание и поддержание инфраструктуры для хранения данных

Профессии, связанные с большими данными

«Кто же создает все эти алгоритмы, нейросети, кто с ними работает? На самом деле — очень много разных специалистов. На слайде – лишь представлены лишь некоторые из них. Давайте попробуем разобраться, кто есть кто и чем занимается. Как вы думаете, какие из них существуют уже сейчас, а какие появятся в ближайшем будущем? А как вы думаете, чем занимаются остальные люди на картинках?»

Примерный текст для рассказа про некоторые новые профессии:

«ИТ-медик

Врач с хорошим знанием информационных технологий, который создает, обрабатывает и анализирует физиологические данные и индивидуальные показатели состояния здоровья пациентов и применяет к ним методики работы с большими данными. На основании проведенного анализа он предлагает индивидуальные рекомендации для выздоровления пациентов.

Архитектор информационных систем

Мало собрать данные. Их нужно упаковать и разместить в некотором месте. Для того, чтобы с данными было удобно работать, крайне важно правильно организовать их хранение и администрирование так, чтобы в любой момент любой пользователь мог получить доступ именно к тем данным и в том виде, в котором они ему необходимы. Этим занимается архитектор информационных систем.

Клинический биоинформатик 

Биоинформатика – это изучение процессов, связанных с организмом человека, но с помощью компьютерного моделирования. В случае нестандартного течения болезни клинический биоинформатик строит компьютерную модель биохимических процессов болезни, чтобы понять первопричины заболевания, выявляет нарушения на клеточном и субклеточном уровнях.

ИТ-проповедник

Обучение людей новым технологиям, убеждение их, что цифровой мир несёт им благо, а не зло, привлечение их на свою сторону – это задача, которая будет становиться все важнее по мере того, как диджитализация будет проникать в привычный нам мир вещей. Задачи для такого специалиста две: обучение людей новым технологиям, помощь им в приобретении новых навыков, а также снятие зачастую иррациональных страхов перед цифровым миром.

Системный инженер интеллектуальных энергосистем

Умные сети постоянно генерируют огромное количество данных на всех своих участках. Использование технологий больших данных в электроэнергетике позволяет не только сократить расходы производителей, транспортеров и конечных потребителей энергии, но и сделать электроэнергию более «зеленой», а планету — более чистой. Поэтому специалисты в этой сфере так необходимы.

BIM (Building Information Model) — проектировщик

Сейчас никто не строит здания по чертежам на бумаге. На всех этапах строительства используется компьютерное моделирование. Но это не просто чертежи, перенесенные в 3D-формат. Это целая система данных о каждом этапе строительства, то есть весь жизненный цикл здания – в одной системе. Конечно, это огромные объемы данных, в которых должен разбираться BIM-инженер.

Дата-инженер

Суть работы дата-инженера заключается в построении стабильных систем добычи и очистки данных, чтобы процесс последующего анализа полученных больших массивов данных был максимально удобным и доступным для аналитиков компании. Именно от написанных им программ зависит качество «сырых» данных на входе в модели, которые используются для создания новых алгоритмов.

Антифейковый менеджер

Этот специалист создает уникальный информационный стиль компании или конкретного человека, чтобы его было сложно скопировать при помощи алгоритмов. Он хорошо понимает, как создаются фейки, умеет отличать созданные нейросетью голос, текст и видео от оригинальных и умеет очищать факты в новостях.

Дата-инженер

Дата-маркетолог

Утилизатор

больших данных

Архитектор

Специалист

информационных систем

по машинному обучению

ИТ-проповедник