Целью проекта была разработка эффективной системы обезличивания данных при подготовке тестовых стендов.
При подготовке тестовых стендов для задач разработки и тестирования путем копирования части/всей продуктивной БД конфиденциальная информация ограниченного доступа, подпадающая под определение Персональные Данные (ПДн), должна быть обезличена, то есть изменена таким образом, что становится невозможным определить принадлежность ПДн конкретному субъекту ПДн без использования дополнительной информации.
В этих целях возможно применение различных алгоритмов маскИрования данных с основным требованием: обратное восстановления данных невозможно.
С учетом этих и дополнительных требований Заказчика по производительности процесса маскирования нами была разработана процедура обезличивания для БД на платформе Oracle в.19.
Скорость маскирования составила в среднем 1.5Тб/час
Производительность достигается за счет применения технологий:
- Эффективная архитектура in-place маскирования ( update ) , требующая для работы всего 1 стенд. В отличие от source/target схемы (select/insert), требующей 2 стенда на время работы.
- Гибкое распараллеливание операций штатными средствами Oracle, настраиваемое под возможности data storage и производительность сервера БД.
- Избирательное отключение индексов/триггеров на время работы для минимизации времени, необходимого для их пересоздания (rebuild).
- Эффективные методики маскирования данных для различных типов данных.
Из дополнительных преимуществ отметим:
- Автоматизированное сравнение ddl/status объектов БД (indexes/constraints/triggers) до/после маскирования и с эталонной БД.
- Логирование всех операций, необходимое для диагностирования возникших проблем, и информирования о текущем прогрессе выполнения маскирования.
- При необходимости, верифицируемые форматы данных (номер к/к, ИНН, Email) после маскирования сохраняют валидность.
