Миф: Благодаря цифровым технологиям и облачным вычислениям предприятия избегают создания документального мусора или отходов, связанных с хранением информации. Организации избавляются от кучи мусора, включая мультимедийные DVD или Blu-Ray, счета-фактуры, контракты, отчеты, предложения, бюджеты и деловую переписку.
На самом деле потери происходят даже при использовании цифровых технологий. Люди создают различные виды отходов данных, включая ненужные данные, которые занимают место в хранилище, несортированные данные, которые могут быть полезны, но забыты (и их трудно найти), дублирующиеся данные и данные, предназначенные для определенных пользователей, но недостаточно используемые или не используемые вообще предполагаемые пользователи. Это дорогостоящая трата данных которые могут быть решены с помощью следующих передовых практик.
1. Приобретите правильную систему и инструменты для эффективной обработки больших объемов данных
Организации, занимающиеся сбором и аналитикой данных, должны обеспечить эффективность способов хранения, управления и удаления данных. В частности, разработчикам искусственного интеллекта или машинного обучения нужен эффективный способ классификации данных и управления ими, поскольку они постоянно собирают и анализируют разнообразную информацию. Должна существовать система, упрощающая поиск, извлечение и последующее удаление данных, чтобы освободить место для хранения дополнительных данных. Отсутствие которых может привести к избыточности хранилища, длительному хранению ненужных или нежелательных данных и трудностям в поиске данных.
Существуют разные подходы к обработке данных, такие как хранение данных и использование озер данных. Существуют также различные решения для хранения, управления и аналитики данных. Примерами которых являются Druid, ClickHouse, Cassandra, Prometheus и Elasticsearch. Эти подходы и решения имеют разные плюсы и минусы, поэтому важно тщательно их оценить.
Углубленные сравнения или руководства, такие как эта статья о Apache Druid против Clickhouse могут быть полезны при выборе правильных инструментов и стратегий для реализации. Разные организации имеют разные потребности, а разные решения для хранения данных и аналитики также имеют разные функции и возможности. Важно убедиться, что выбранное решение соответствует конкретным требованиям организации.
2. Инвестируйте в эффективную систему для искоренения и предотвращения гниения
ROT относится к избыточным, устаревшим и тривиальным данным. По данным компании по обеспечению безопасности данных ManageEngine, по крайней мере 30 процентов данных в организациях можно считать ROT. Это представляет серьезную проблему для управления данными, поскольку не только увеличивает ненужные затраты на хранение данных; это также затрудняет эффективный поиск и использование конкретных данных, когда они необходимы.
Все существующие данные должны быть проверены, чтобы определить, должны ли они быть сохранены или безвозвратно удалены. Затем оставшиеся полезные или потенциально полезные данные могут быть инвентаризированы и классифицированы/каталогизированы. Если трудно определить, следует ли удалить определенный набор данных, им можно присвоить собственную категорию или место хранения, к которым можно легко вернуться позже.
Однако эффективная система управления данными — это не только аппаратное и программное обеспечение. Одним из важнейших компонентов, который следует учитывать, являются люди, создающие, использующие и управляющие данными в организации. Они должны быть правильно ориентированы или обучены той роли, которую они играют в устранении и предотвращении данных ROT.
3. Установите четкую организацию данных и политику хранения
Accenture говорит, что почти 80 процентов корпоративных данных неструктурированы. Это означает, что хранящиеся данные не имеют логической классификации. Различные виды данных для разных целей хранятся в разных местах произвольно. У некоторых сотрудников может быть какая-то форма сортировки или организации, но схемы, которые они используют, непоследовательны.
Отсутствие организации или структуры хранения данных является одной из основных причин, по которой некоторые данные становятся избыточными и их трудно найти. Избыточность тратит место для хранения не только в локальной среде, но и в облаке. При просмотре коллекций файлов для поиска конкретных данных требуется вычислительная мощность и ненужные затраты времени и усилий.
Чтобы избежать неэффективности и потерь, рекомендуется с самого начала настроить четкую организацию данных и политики хранения. Это помогает подробно изложить, какие данные хранить, где их хранить, как классифицировать данные и как долго хранить данные в хранилище. Это также помогает сделать политику добавления метаданных ко всем сохраняемым файлам, чтобы облегчить обнаружение и оценку данных. Наличие четкой и всеобъемлющей политики в отношении организации и хранения данных также дает дополнительное преимущество, облегчая автоматизацию и соблюдение нормативных требований к данным.
Более того, это помогает принять концепцию «единого источника правды». Это означает наличие центрального репозитория или индекса всех данных в организации. Это позволяет избежать ненужных дублирующих копий, а также упрощает поиск данных, когда это необходимо, и оценку данных для сохранения или удаления.
4. Быть должным образом ознакомленным с законами или положениями о данных
Некоторые организации хранят данные так долго, как могут, потому что не уверены в том, что требуют законы и правила. Эти правила включают правила, установленные IRS и FTC, стандарты ISO, отраслевые стандарты, такие как CCPA и PCI-DSS, а также внутренние политики компании, такие как требования к хранению записей о сотрудниках и схемы контроля версий.
В Соединенных Штатах ряд федеральных законов и законов штатов предусматривают хранение данных. Федеральный закон об управлении информационной безопасностью (FISMA), например, обязывает подрядчиков и федеральные агентства хранить свои данные в хранилище не менее трех лет. Национальная энергетическая комиссия (НКРЭ) требует от организаций, связанных с энергетикой, хранить данные в течение трех-шести месяцев. Закон о переносимости и подотчетности медицинского страхования (HIPAA) устанавливает требование архивирования медицинской информации в течение как минимум шести лет для организаций, связанных со здравоохранением.
Для организаций, работающих в разных частях мира, необходимо ознакомиться с различными законами и правилами конкретных стран. В Швейцарии, например, все бизнес-данные обязаны храниться в течение 10 лет после окончания финансового года. Кроме того, Международная нормативно-правовая база для банков (Базель III) требует, чтобы банки сохраняли историю данных за период от трех до семи лет.
Отходы хранения данных — нетривиальный вопрос
Потери хранения данных не ограничиваются цифровыми затратами. Это также может иметь влияние в автономном режиме. Согласно Здравый совет для вопросов и ответов о Зеленой Земле, 0.2 тонны углекислого газа ежегодно генерируется на каждые 100 ГБ данных, хранящихся в облаке. Это означает, что ненужное сохранение данных в облаке приводит к выбросам, которых можно было бы избежать.
Как и в случае с другими формами отходов, потерь при хранении данных можно избежать или, по крайней мере, уменьшить. Обеспечение эффективного хранения данных и соблюдение передовых практик может значительно ограничить нежелательные потери при хранении данных, в том числе связанные с ними последствия в автономном режиме.
Изображение: Pixabay
Оставить комментарий
Есть что сказать об этой статье? Добавьте свой комментарий и начните обсуждение.