Ученые Томского политехнического университета (ТПУ) создают систему хранения данных, которая даст возможность работать с огромными объемами данных, получаемых в процессе экспериментов на Большом адронном коллайдере Европейской организации по ядерным исследованиям (ЦЕРН). «И так как „пилот“ успешный, лабораторию мы раскрываем, и она должна скоро начать работать», — передал Климентов.
Климентов объяснил, что проектом займется лаборатория обработки и анализа огромных объемов данных ТПУ, где будут работать около 10 профессионалов.
По его словам, такие системы нужны многим промышленным учреждениям, которым нужно стремительно обрабатывать и одновременно хранить большие объемы данных.
«Существует традиционный подход к хранению данных, который действует, например, на основе реляционной базы данных ORACLE».
«При классическом подходе данные хранятся табличным методом». Такая база данных не может масштабироваться: она создается на определенный объем данных. Иную масштабируемую технологию разработали для социальных сетей. Для «нижнего» слоя использован принцип социальных сетей — хранение данных отдельными файлами, что даст возможность хранить множество информации, не требующей постоянного корректирования. На данный момент такую технологию реализует та же компания Google. «Соединением этих 2-х подходов и занимались ученые ТПУ, решение уже найдено», — разъяснил Климентов. Один уровень содержит данные, которые уже нет потребности изменять, иной сохраняет динамические данные. Протестируют новейшую технологию в проектах ЦЕРНа, в частности, в опыте «Атлас». Разработку планируется закончить на протяжении 2-х лет.
Отметим, во время визита в Томский политех уполномоченные ЦЕРНа провели собеседования со студентами университета, лучшие студенты отправятся на стажировку в центр.
