По оценкам, к 2020 году будет более 30 миллиардов устройств, собирающих потоки данных. Возможность интерпретировать и использовать все эти данные принесет огромные экономические и социальные выгоды, обеспечивая успехи в таких областях, как электронное здравоохранение и коммуникации, и позволяя большему количеству людей вести более здоровый и продуктивный образ жизни. Согласно отчету CEBR, к 2017 году большие данные принесут экономике Великобритании 40 миллиардов евро.
Эта новая форма данных приносит с собой принципиально новые задачи анализа данных. Например, хотя традиционные статистические методы подходили и легко вычислялись для небольших объемов данных, они не были разработаны с учетом возраста потоковых данных.
Чтобы решить эту проблему, Исследовательский совет по инженерным и физическим наукам финансирует новую программу исследований. Программу 2.75M «StatScale: статистическая масштабируемость для потоковых данных в целях воздействия» возглавляют сотрудники Института науки о данных Ланкастерского университета в партнерстве с коллегами из Статистической лаборатории Кембриджского университета.Идрис Экли, профессор статистики в Ланкастерском университете, сказал: «Повсеместное распространение датчиков в повседневных системах и устройствах, таких как умные часы на промысловых месторождениях нефти, означает, что существует огромный потенциал социальных и экономических выгод, если информация может быть извлечена эффективно.
"Объем, масштаб и структура этих современных данных ставят принципиально новые и интересные статистические задачи, которые невозможно решить с помощью традиционных методов. Наша цель состоит в том, чтобы изменить парадигму в статистике, предоставив новый набор статистических инструментов для решения и извлечения выгоды, эти огромные потоки данных ".Профессор Ричард Сэмворт из Кембриджского университета сказал: «Многие классические методы либо непрактичны, либо не подходят для работы с этими потоками данных. StatScale разработает теоретические и методологические основы, которые будут лежать в основе следующего поколения масштабируемых статистических алгоритмов.
Эти методы срочно необходимы, если Великобритания хочет сохранить свои конкурентные преимущества в решении ряда научных и промышленных задач ».StatScale извлекает выгоду из значительного партнерства с промышленностью. Компании, в том числе Shell UK, BT, AstraZeneca и Управление национальной статистики, согласились опробовать новые методы и модели, вытекающие из программы, чтобы их можно было быстро протестировать и усовершенствовать в реальных ситуациях.
Это сотрудничество будет способствовать формированию исследовательской программы StatScale, а также поможет быстро получить прямую экономическую и социальную выгоду от этого исследования.Сказал профессор Том Родден, заместитель генерального директора Исследовательского совета по инженерным и физическим наукам (EPSRC); «Каждый день, индивидуально и коллективно, мы генерируем и вносим свой вклад в огромные объемы информации, это эпоха« больших данных ». Однако, чтобы эффективно использовать эти данные, которые принесут экономические и социальные выгоды, мы должны иметь надежные , точные методы его интерпретации.
«Проект StatScale, который извлекает выгоду из тесного сотрудничества с промышленными партнерами, будет иметь ключевое значение для предоставления статистических инструментов, необходимых для использования этой информационной революции».