Что означает преобразование данных
Все о Process Mining от ProcessMi
Все о технологии Process Mining — кейсы, термины, решения и аналитика. Российский и зарубежный опыт от группы экспертов ProcessMi
Data transformation (Трансформация данных)
Содержание
Значение
Для дальнейшей обработки данных важным условием является их стандартизированность (её еще называют единообразностью). Различия в данных могут быть вызваны разными источниками, таблицами или типами. Преобразование очень важно не только для анализа данных, но и для сохранения отношений между ними. Как правило, данные необходимо либо “настраивать” друг на друга, либо на конкретный целевой формат.
Если данные стандартизированы, т.е. приведены к единому виду, то их формат определяется как целевой (основной). Тогда все поступающие данные из других источников будут приводиться именно и только к целевому.
В случаях, когда требуется конкретная схема (например, из-за ограничений базы данных или используемого программного обеспечения) данные будут приводиться в соответствии с указанным целевым форматом.
Как происходит преобразование
Чтобы преобразовать данные, обычно сначала необходимо их извлечь. Исключение составляют данные из БД, которые могут быть преобразованы в них самих при помощи языка SQL.
После извлечения данных задаются целевой формат или схема. При проведении преобразования необходимо знать спецификации исходного формата и целевого формата, чтобы было возможно провести операцию (обязательное условие). Используя фиксированные определения и назначения, данные в исходном файле преобразуются и присваиваются определенным значениям, чтобы они соответствовали целевому формату.
Отдельно происходит проработка нюансов пустых значений. Они появляются, например, если у объекта нет определенного атрибута, т.е. нет записи для него. То, как обрабатываются такие значения, зависит от цели преобразования или целевой системы. Например, в базах данных лучше вводить NULL, поскольку пустые значения могут привести к ошибкам во время преобразования или после вычислений.
Таким образом, можно выделить следующие этапы процесса data transformation:
Методы проведения Data transformation
Существует несколько методов проведения преобразования. Это:
Языки преобразования данных
Процесс data transformation был бы невозможен без использования специальных языков. Синтаксис таких языков практически строится по форме Бэкуса-Наура (БНФ). Они отличаются по общей полезности и доступности (стоимости). Среди них:
Преобразование данных
Смотреть что такое «Преобразование данных» в других словарях:
преобразование данных — Процесс изменения формы представления данных. [http://www.morepc.ru/dict/] Тематики информационные технологии в целом EN data conversion … Справочник технического переводчика
преобразование данных — duomenų keitimas statusas T sritis automatika atitikmenys: angl. data reduction vok. Datenreduktion, f rus. преобразование данных, n pranc. transformation des données, f … Automatikos terminų žodynas
Преобразование данных — видоизменение данных, направленное на выполнение тех условий, которых требует определенный метод анализа … Социологический словарь Socium
преобразование данных о безопасности — Набор функций (обеспечения безопасности системы и обеспечения безопасности связи), которые вместе воздействуют на элементы данных пользователя для защиты особым образом этих элементов данных в период осуществления связи и хранения. Рекомендация… … Справочник технического переводчика
Преобразование Барроуза — Уилера — (Burrows Wheeler transform, BWT, также исторически называется блочно сортирующим сжатием, хотя сжатием и не является) это алгоритм, используемый в техниках сжатия данных для преобразования исходных данных. BWT используется в архиваторе bzip2.… … Википедия
Преобразование Барроуза-Уилера — (Burrows Wheeler transform, BWT, также исторически называется блочно сортирующим сжатием, хотя сжатием и не является) это алгоритм, используемый в техниках сжатия данных для преобразования исходных данных. BWT используется в архиваторе Термином… … Википедия
преобразование сигнала данных — преобразование сигнала Образование из одного сигнала данных соответствующего ему другого, отличающегося амплитудой, формой или временными характеристиками. [ГОСТ 17657 79 ] Тематики передача данных Обобщающие термины сигналы данных Синонимы… … Справочник технического переводчика
Преобразование Шиндлера — Преобразование Шиндлера(Schindler Transformation) эффективный алгоритм упорядочивания элементов с большой длиной ключа, использованием обычной поразрядной сортировки. Спустя год после опубликования алгоритма BWT, Михаэлем Шиндлером было… … Википедия
Преобразование Хафа — Преобразование Хафа метод по извлечению элементов из изображения, используемый в анализе, обработке изображения и компьютерном видении. Данный метод предназначен для поиска объектов, принадлежащих определённому классу фигур с использованием … Википедия
Преобразование — [transformation] (в кибернетике) изменение значений переменных, характеризующих систему, например, превращение переменных на входе предприятия (живой труд, сырье и т.д.) в переменные на выходе (продукты, побочные результаты, брак). Это пример П … Экономико-математический словарь
Data + Design
Эта глава освещает более продвинутые статистические понятия, чем остальные главы, но мы бы хотели начать с небольшого введения в преобразования данных на случай, если вы с ними столкнетесь. Если вам необходимо самостоятельно преобразовать данные, больше информации вы найдете в приложении «Ресурсы».
Когда вы снимаете цифровые фото, иногда получаются фотографии, на которых сложно разглядеть отдельные детали. Возможно, цвета слишком темные или слишком светлые, фото расплывчатое или объекты на изображении слишком маленькие, и вы хотели их приблизить. Вы можете загрузить фото в Instagram или Photoshop и, обработав, сделать его более четким и понятным.
Иногда нам нужно преобразовать и данные. Вы можете получить базу данных и визуализировать ее «как есть», и на вашей визуализации будут части, которые сложно разглядеть. Кроме того, если вы собираетесь сделать статистическое тестирование данных, многие традиционные тесты делают определенные предположения о распределении данных (например, что данные распределены нормально). В реальности, мы часто сталкиваемся с данными, которые не соответствуют этим предположениям. Преобразования данных помогут справиться с обеими этими проблемами. Здесь мы рассмотрим некоторых наиболее распространенные преобразования, чтобы столкнувшись с этими терминами в будущем, вы понимали, что сделали с данными.
Преобразования данных − одна из распространенных процедур обработки, способная обнаружить характерные особенности, скрытые в данных и не видимые в их оригинальной форме. Мы можем преобразовать распределение данных, чтобы видеть их лучше, и чтобы соответствовать любым требуемым предпосылкам статистических тестов. Обычно мы делаем это, заменяя одну переменную математической функцией от этой переменной. Например, вы можете заменить переменную х логарифмом х или квадратным корнем из х.
Никогда не осуществляйте преобразования данных в исходном файле! Либо создайте дополнительную колонку для хранения новых значений каждой переменной, которую вы преобразовываете, либо сделайте копию всего набора данных.
Нормальное распределение и асимметрия данных
Одна из наиболее часто встречающихся предпосылок статистических тестов заключается в том, что данные должны быть нормально распределены. Возможно, вы слышали о нормальном распределении, известном как “колоколообразная (гауссова) кривая”; название кривой связано с тем, что нормальное распределение имеет форму колокола, где данные распределены вокруг центрального значения. Некоторые примеры данных, которые обычно следуют нормальному распределению, связаны с измерениями человека, такими как рост, вес, продолжительность жизни и результаты тестов IQ.
В отличие от нормального распределения, которое располагается симметрично вокруг среднего значения, асимметричные данные, как правило, имеют больше отметок с левой или с правой стороны. У данных, смещенных вправо, длинный хвост тянется вправо от среднего значения, а у данных, смещенные влево, хвост тянется влево. Когда данные сильно скошены, увидеть предельные значения на визуализации может быть сложно. Если вы заметите, что распределение ваших данных смещено, об их трансформации можно думать, если вы делаете статистическое тестирование или данные сложно визуализировать в их оригинальном состоянии.
Преобразование данных может быть простым или сложным в зависимости от требуемых изменений данных между исходными (начальными) данными и целевыми (конечными) данными. Преобразование данных обычно выполняется вручную и автоматически. Инструменты и технологии, используемые для преобразования данных, могут сильно различаться в зависимости от формата, структуры, сложности и объема преобразовываемых данных.
СОДЕРЖАНИЕ
Процесс преобразования данных
Преобразование данных можно разделить на следующие этапы, каждый из которых применим по мере необходимости в зависимости от сложности требуемого преобразования.
Эти шаги часто находятся в центре внимания разработчиков или аналитиков технических данных, которые могут использовать несколько специализированных инструментов для выполнения своих задач.
Шаги можно описать следующим образом:
Типы преобразования данных
Пакетное преобразование данных
Традиционно преобразование данных было массовым или пакетным процессом, при котором разработчики пишут код или реализуют правила преобразования в инструменте интеграции данных, а затем выполняют этот код или эти правила для больших объемов данных. Этот процесс может следовать линейному набору шагов, как описано выше в процессе преобразования данных.
Пакетное преобразование данных является краеугольным камнем практически всех технологий интеграции данных, таких как хранилище данных, миграция данных и интеграция приложений.
Когда данные должны быть преобразованы и доставлены с малой задержкой, часто используется термин «микропакет». Это относится к небольшим пакетам данных (например, небольшое количество строк или небольшой набор объектов данных), которые могут быть обработаны очень быстро и доставлены в целевую систему при необходимости.
Преимущества пакетного преобразования данных
Традиционные процессы преобразования данных хорошо служат компаниям на протяжении десятилетий. Различные инструменты и технологии (профилирование данных, визуализация данных, очистка данных, интеграция данных и т. Д.) Достигли зрелости, и большинство (если не все) предприятия преобразуют огромные объемы данных, которые используются во внутренних и внешних приложениях, хранилищах данных и других хранилищах данных.
Ограничения традиционного преобразования данных
Этот традиционный процесс также имеет ограничения, которые снижают его общую эффективность и действенность.
Люди, которым необходимо использовать данные (например, бизнес-пользователи), не играют прямой роли в процессе преобразования данных. Обычно пользователи передают задачу преобразования данных разработчикам, обладающим необходимыми навыками программирования или техническими навыками для определения преобразований и их выполнения с данными.
Этот процесс оставляет большую часть работы по определению необходимых преобразований разработчику. Разработчик интерпретирует требования бизнес-пользователей и реализует соответствующий код / логику. Это может привести к ошибкам в процессе (из-за неверно истолкованных требований), а также увеличивает время, необходимое для достижения решения.
Эта проблема вызвала потребность в гибкости и самообслуживании при интеграции данных (т. Е. Расширении прав и возможностей пользователей данных и предоставлении им возможности преобразовывать сами данные в интерактивном режиме).
Есть компании, которые предоставляют инструменты самообслуживания для преобразования данных. Они стремятся эффективно анализировать, отображать и преобразовывать большие объемы данных без технических и технологических сложностей, которые существуют в настоящее время. Хотя эти компании используют традиционное пакетное преобразование, их инструменты обеспечивают большую интерактивность для пользователей за счет визуальных платформ и легко повторяемых сценариев.
Интерактивное преобразование данных
Хотя IDT следует тем же этапам процесса интеграции данных, что и пакетная интеграция данных, ключевое отличие состоит в том, что этапы не обязательно выполняются линейно и обычно не требуют значительных технических навыков для завершения.
Ряд компаний, в первую очередь стартапы, такие как Trifacta, Alteryx и Paxata, предоставляют инструменты интерактивного преобразования данных. Они стремятся эффективно анализировать, отображать и преобразовывать большие объемы данных без технических и технологических сложностей, которые существуют в настоящее время.
Решения IDT предоставляют интегрированный визуальный интерфейс, который объединяет ранее разрозненные этапы анализа данных, сопоставления данных, генерации / выполнения кода и проверки данных. Интерфейсы IDT включают визуализацию, чтобы показать пользовательские шаблоны и аномалии в данных, чтобы они могли идентифицировать ошибочные или выпадающие значения.
После завершения преобразования данных система может сгенерировать исполняемый код / логику, которые могут быть выполнены или применены к последующим аналогичным наборам данных.
Исключая разработчика из процесса, системы IDT сокращают время, необходимое для подготовки и преобразования данных, устраняют дорогостоящие ошибки в интерпретации требований пользователей и позволяют бизнес-пользователям и аналитикам контролировать свои данные и взаимодействовать с ними по мере необходимости.
Трансформационные языки
Кроме того, такие компании, как Trifacta и Paxata, разработали предметно-ориентированные языки преобразования (DSL) для обслуживания и преобразования наборов данных. Развитие предметно-ориентированных языков было связано с увеличением производительности и доступности для нетехнических пользователей. «Wrangle» от Trifacta является примером такого предметно-ориентированного языка.
оба могут быть преобразованы в более компактную форму, например:
Другими словами, все экземпляры вызова функции foo с тремя аргументами, за которыми следует вызов функции с двумя аргументами, будут заменены одним вызовом функции с использованием некоторого или всего исходного набора аргументов.
Еще одно преимущество использования регулярных выражений состоит в том, что они не пройдут проверку на нулевое преобразование. То есть, используя выбранный вами язык преобразования, запустите образец программы через преобразование, которое не выполняет никаких преобразований. Многие трансформационные языки не пройдут этот тест.
В вычислениях Преобразование данных это процесс преобразования данных из одного формата или структуры в другой формат или структуру. Это фундаментальный аспект большинства интеграция данных [1] и управление данными такие задачи как обработка данных, хранилище данных, интеграция данных и интеграция приложений.
Преобразование данных может быть простым или сложным в зависимости от требуемых изменений данных между исходными (начальными) данными и целевыми (конечными) данными. Преобразование данных обычно выполняется вручную и автоматически. [2] Инструменты и технологии, используемые для преобразования данных, могут сильно различаться в зависимости от формата, структуры, сложности и объема преобразовываемых данных.
Когда отображение данных косвенное, через посредника модель данных, процесс также называют передача данных.
Содержание
Процесс преобразования данных
Преобразование данных можно разделить на следующие шаги, каждый из которых применим по мере необходимости в зависимости от сложности требуемого преобразования.
Эти шаги часто находятся в центре внимания разработчиков или аналитиков технических данных, которые могут использовать несколько специализированных инструментов для выполнения своих задач.
Шаги можно описать следующим образом:
Обнаружение данных это первый шаг в процессе преобразования данных. Обычно данные профилируются с использованием инструментов профилирования или иногда с использованием написанных вручную сценариев профилирования, чтобы лучше понять структуру и характеристики данных и решить, как их нужно преобразовать.
Отображение данных это процесс определения того, как отдельные поля отображаются, изменяются, объединяются, фильтруются, агрегируются и т. д. для получения окончательного желаемого результата. Разработчики или специалисты по анализу технических данных обычно выполняют отображение данных, поскольку они работают с конкретными технологиями для определения правил преобразования (например, визуального ETL инструменты, [3] языки трансформации).
Обзор данных это последний шаг в процессе, который направлен на обеспечение соответствия выходных данных требованиям преобразования. Обычно этот шаг выполняет бизнес-пользователь или конечный пользователь данных. Любые аномалии или ошибки в данных, которые обнаруживаются и сообщаются разработчику или аналитику данных в качестве новых требований, которые необходимо реализовать в процессе преобразования. [1]
Типы преобразования данных
Пакетное преобразование данных
Традиционно преобразование данных было массовым или пакетным процессом, [6] при этом разработчики пишут код или реализуют правила преобразования в средстве интеграции данных, а затем выполняют этот код или эти правила для больших объемов данных. [7] Этот процесс может следовать линейному набору шагов, как описано выше в процессе преобразования данных.
Пакетное преобразование данных является краеугольным камнем практически всех технологий интеграции данных, таких как хранилище данных, миграция данных и интеграция приложений. [1]
Когда данные должны быть преобразованы и доставлены с малой задержкой, часто используется термин «микропакет». [6] Это относится к небольшим пакетам данных (например, небольшое количество строк или небольшой набор объектов данных), которые могут быть обработаны очень быстро и доставлены в целевую систему при необходимости.
Преимущества пакетного преобразования данных
Традиционные процессы преобразования данных хорошо служат компаниям на протяжении десятилетий. Различные инструменты и технологии (профилирование данных, визуализация данных, очистка данных, интеграция данных и т. Д.) Достигли зрелости, и большинство (если не все) предприятий преобразовывают огромные объемы данных, которые используются во внутренних и внешних приложениях, хранилищах данных и других хранилищах данных. [8]
Ограничения традиционного преобразования данных
Этот традиционный процесс также имеет ограничения, которые снижают его общую эффективность и действенность. [1] [2] [7]
Люди, которым необходимо использовать данные (например, бизнес-пользователи), не играют прямой роли в процессе преобразования данных. [9] Обычно пользователи передают задачу преобразования данных разработчикам, обладающим необходимыми навыками программирования или техническими навыками для определения преобразований и их выполнения с данными. [8]
В этом процессе разработчику остается большая часть работы по определению необходимых преобразований. Разработчик интерпретирует требования бизнес-пользователей и реализует соответствующий код / логику. Это может привести к ошибкам в процессе (из-за неверно истолкованных требований), а также увеличивает время для достижения решения. [9] [10]
Эта проблема вызвала потребность в гибкости и самообслуживании при интеграции данных (т. Е. Расширении прав и возможностей пользователей данных и предоставлении им возможности преобразовывать сами данные в интерактивном режиме). [7] [10]
Есть компании, которые предоставляют инструменты самообслуживания для преобразования данных. Они стремятся эффективно анализировать, отображать и преобразовывать большие объемы данных без технических и технологических сложностей, которые существуют в настоящее время. Хотя эти компании используют традиционное пакетное преобразование, их инструменты обеспечивают большую интерактивность для пользователей за счет визуальных платформ и легко повторяемых сценариев. [11]
Интерактивное преобразование данных
Хотя IDT следует тем же этапам процесса интеграции данных, что и пакетная интеграция данных, ключевое отличие состоит в том, что этапы не обязательно выполняются линейно и обычно не требуют значительных технических навыков для завершения. [13]
Ряд компаний, в первую очередь стартапы, такие как Trifacta, Alteryx и Paxata, предоставляют инструменты интерактивного преобразования данных. Они стремятся эффективно анализировать, отображать и преобразовывать большие объемы данных без технических и технологических сложностей, которые существуют в настоящее время.
Решения IDT предоставляют интегрированный визуальный интерфейс, который объединяет ранее разрозненные этапы анализа данных, сопоставления данных, генерации / выполнения кода и проверки данных. [8] Интерфейсы IDT включают в себя визуализацию, чтобы показать пользовательские шаблоны и аномалии в данных, чтобы они могли идентифицировать ошибочные или выпадающие значения. [9]
Как только они завершат преобразование данных, система может сгенерировать исполняемый код / логику, которые могут быть выполнены или применены к последующим аналогичным наборам данных.
Исключая разработчика из процесса, системы IDT сокращают время, необходимое для подготовки и преобразования данных, устраняют дорогостоящие ошибки в интерпретации требований пользователей и позволяют бизнес-пользователям и аналитикам контролировать свои данные и взаимодействовать с ними по мере необходимости. [10]
Трансформационные языки
Для преобразования данных доступно множество языков. Много языки трансформации требуется грамматика быть обеспеченным. Во многих случаях грамматика построена с использованием чего-то очень похожего на Форма Бэкуса – Наура (БНФ). Для таких целей доступно множество языков, различающихся по доступности (стоимости) и общей полезности. [14] Примеры таких языков включают:
Кроме того, такие компании, как Trifacta и Paxata, разработали предметно-ориентированные языки трансформации (DSL) для обслуживания и преобразования наборов данных. Развитие предметно-ориентированных языков было связано с увеличением производительности и доступности для нетехнических пользователей. [15] «Wrangle» от Trifacta является примером такого предметно-ориентированного языка. [16]
Еще одно преимущество недавней тенденции DSL состоит в том, что DSL может абстрагироваться от базового выполнения логики, определенной в DSL, но также может использовать ту же логику в различных механизмах обработки, таких как Искра, Уменьшение карты, и поток данных. В случае DSL язык преобразования не привязан к движку. [16]
Хотя трансформационные языки обычно лучше всего подходят для трансформации, для достижения полезного преобразования можно использовать что-нибудь простое, например регулярные выражения. А Текстовый редактор подобно vim, emacs или же TextPad поддерживает использование регулярных выражений с аргументами. Это позволило бы заменить все экземпляры определенного шаблона другим шаблоном с использованием частей исходного шаблона. Например:
оба могут быть преобразованы в более компактную форму, например:
Другими словами, все экземпляры вызова функции foo с тремя аргументами, за которыми следует вызов функции с двумя аргументами, будут заменены одним вызовом функции с использованием некоторого или всего исходного набора аргументов.
Еще одно преимущество использования регулярных выражений заключается в том, что они не пройдут проверку нулевого преобразования. То есть, используя выбранный вами язык преобразования, запустите образец программы с помощью преобразования, которое не выполняет никаких преобразований. Многие трансформационные языки не пройдут этот тест.