Что понимается под технологией сбора информации
Технологии сбора информации;
Тема 2. ТЕХНОЛОГИИ СБОРА, ХРАНЕНИЯ, ОБРАБОТКИ, ПЕРЕДАЧИ И ПРЕДСТАВЛЕНИЯ ИНФОРМАЦИИ
Сбор предполагает получение максимально выверенной исходной информации и является одним из самых ответственных этапов в работе с информацией, поскольку от цели сбора и методов последующей обработки полностью зависит конечный результат работы всей информационной системы.
Технология сбора подразумевает использование определенных методов сбора информации и технических средств, выбираемых в зависимости от вида информации и применяемых методов ее сбора. На заключительном этапе сбора, когда информация преобразуется в данные, т. е. в информацию, представленную в формализованном виде, пригодном для компьютерной обработки, осуществляется ее ввод в систему.
Хранимые данные должны быть в достаточном объеме доступны для извлечения из места хранения, отображения, передачи или обработки по запросу пользователя. Сбор данных должен обеспечивать необходимую полноту и минимальную избыточность хранимой информации, что может быть достигнуто за счет выбора данных, оценки их необходимости, а также анализа существующих данных и разделения их на входные, промежуточные и выходные.
Входные данные — это данные, получаемые из первичной информации, создающие исходное описание предметной области и подлежащие хранению.
Промежуточные данные формируются из других данных в процессе преобразований и обработки, и, как правило, не подлежат длительному хранению.
Выходные данные есть результат обработки входных данных по соответствующему алгоритму; они служат основанием для принятия управленческих решений и подлежат хранению в течение определенного срока.
Для сбора данных необходимо сначала определить технические средства, позволяющие осуществлять сбор быстро и высококачественно и поддерживающие операции ввода информации и представления данных в электронной форме, которые выбираются в зависимости от типа собираемой информации и ее назначения (сканер, сенсорный экран, диктофон, видеокамеры и фотоаппараты и др.).
В промышленных системах в зависимости от сферы применения используются технические средства для сканирования штрих-кода, захвата изображений, автоматические датчики объема, давления, температуры, влажности, системы распознавания сигналов и кодов и т.д. В целом применение подобных промышленных средств сбора информации называют технологией автоматической идентификации, т. е. прямым сбором данных в микропроцессорное устройство (компьютер или программируемый контроллер) без использования клавиатуры. Такая технология применяется для исключения ошибок, связанных со сбором данных, и ускорения процесса сбора; она позволяет не только идентифицировать объекты, но и следить за ними, кодировать большое количество информации.
Автоматическая идентификация объединяетпять групп технологий, обеспечивающих решение проблемы сбора разнообразных данных:
1.Технологии штрихового кодирования (Bar Code Technologies).
2.Технологии радиочастотной идентификации (RFID — Radio Frequency Identification Technologies).
3.Карточные технологии (Card Technologies).
4.Технологии сбора данных (Data Communications Technologies).
5.Новые технологии, такие, как распознавание голоса, оптическое и магнитное распознавание текста, биометрические технологии и некоторые другие.
В зависимости от целей, сферы деятельности и располагаемых технических средств можно выделить целый спектр методов сбора данных:
1) в экономических информационных системах (например, маркетинга):
• опрос и интервью — групповой, индивидуальный или телефонный опрос, опрос в форме анкетирования, формализованные и неформализованные интервью;
• регистрация (наблюдение) — систематическое, планомерное изучение поведения того или иного объекта или субъекта;
• эксперимент — исследование влияния одного фактора на другой при одновременном контроле посторонних факторов;
• панель — повторяющийся сбор данных у одной группы опрашиваемых через равные промежутки времени;
• экспертная оценка — оценка исследуемых процессов квалифицированными специалистами-экспертами;
2) в геоинформационных системах:
• сбор информации из нормативной и методической документации;
• сбор пространственных (координатных и атрибутивных) данных;
• мониторинг потоков данных, поступающих с научно-исследовательских воздушных и морских судов, береговых станций и буев в оперативном и задержанном режиме;
• сбор данных, поступающих по каналам удаленного доступа к данным;
3) в статистических информационных системах:
• сбор данных с первичных документов;
• заполнение собственных форм и шаблонов при сборе данных;
• сбор данных из подотчетных организаций с помощью заполнения ими предписанных форм отчетности;
4) в информационных системах управления производственными процессами широко применяются методы сбора данных, основанные на технологии автоматической идентификации.
Что понимается под технологией сбора информации
Сбор предполагает получение максимально выверенной исходной информации и является одним из самых ответственных этапов в работе с информацией, поскольку от цели сбора и методов последующей обработки полностью зависит конечный результат работы всей информационной системы.
Технология сбора подразумевает использование определенных методов сбора информации и технических средств, выбираемых в зависимости от вида информации и применяемых методов ее сбора. На заключительном этапе сбора, когда информация преобразуется в данные, т. е. в информацию, представленную в формализованном виде, пригодном для компьютерной обработки, осуществляется ее ввод в систему.
Передача информации — заблаговременно организованное техническое мероприятие, результатом которого становится воспроизведение информации, имеющейся в одном месте, условно называемом «источником информации», в другом месте, условно называемом «приёмником информации». Данное мероприятие предполагает предсказуемый срок получения указанного результата («информация» здесь понимается в техническом аспекте, как осмысленное множество символов, чисел, параметров абстрактных или физических объектов, без достаточного «объёма» которого не могут быть решены задачи управления, выживания, развлечения, совершения преступлений или денежных операций).
Обработка данных (англ. «Data processing») – это процесс последовательного управления данными (числа и символы) и преобразования их в информацию.
Технологии сбора информации
Процесс сбора информации представляет собой деятельность субъекта, целью которого является получение сведений об интересующем его объекте.
Из изложенного выше следует вывод, что система сбора информации может представлять собой сложный программно-аппаратный комплекс. Как правило, современные системы сбора информации не только обеспечивают кодирование информации и ее ввод в ЭВМ, но и выполняют предварительную (первичную) обработку этой информации.
Сбор и регистрация информации происходят по-разному в различных экономических объектах. Наиболее сложна эта процедура в автоматизированных управленческих процессах промышленных предприятий, фирм и т.п., где производятся сбор и регистрация первичной учетной информации, отражающей производственно-хозяйственную деятельность объекта.
Особое значение при этом придается достоверности, полноте и своевременности первичной информации. На предприятии сбор и регистрация информации происходят при выполнении различных хозяйственных операций (прием готовой продукции, получение и отпуск материалов и т.п.). Сначала информацию собирают, затем ее фиксируют. Учетные данные могут возникать на рабочих местах в результате подсчета количества обработанных деталей, прошедших сборку узлов, изделий, выявление брака и т.д.
Для сбора фактической информации производятся измерение, подсчет, взвешивание материальных объектов, получение временных и количественных характеристик работы отдельных исполнителей. Сбор информации, как правило, сопровождается ее регистрацией, т.е. фиксацией информации на материальном носителе (документе или машинном носителе). Запись в первичные документы в основном осуществляется вручную, поэтому процедуры сбора и регистрации остаются пока наиболее трудоемкими.
В условиях автоматизации управления предприятием особое внимание придается использованию технических средств сбора и регистрации информации, совмещающих операции количественного измерения, регистрации, накоплению и передаче информации по каналам связи в ЭВМ с целью формирования первичного документа.
Каналы получения информации:
Неформальные каналы устанавливаются между отправителем и потребителем информации непосредственно (личные встречи, беседы, телефонные разговоры, переписка и т.п.)
Формальные каналы устанавливаются через специально созданные обществом организации и учреждения (систему печатных изданий, библиотеки информационные службы).
Формальный канал: курьером, по почте, по факсу, телеграфу.
Неформальный канал: телефонная связь, радио-телефонная связь.
Процесс сбора информации связан с переходом от реального представления предметной области к его описанию в формальном виде и в виде данных, которые отражают это представление.
Источниками данных в любой предметной области являются объекты и их свойства, процессы и функции, выполняемые этими объектами или для них. Любая предметная область рассматривается в виде трех представлений:
· реальное представление предметной области;
· формальное представление предметной области;
· информационное представление предметной области.
При сборе (извлечении) информации важное место занимают различные формы и методы исследования данных:
· поиск ассоциаций, связанных с привязкой к какому-либо событию;
· обнаружение последовательностей событий во времени;
· выявление скрытых закономерностей по наборам данных путем определения причинно-следственных связей между значениями определенных косвенных параметров исследуемого объекта (ситуации, процесса);
· оценка важности (влияния) параметров на развитие ситуации;
· классифицирование (распознавание), осуществляемое путем поиска критериев, по которым можно было бы относить объект (события, ситуации, процессы) к той или иной категории;
· кластеризация, основанная на группировании объектов по каким-либо признакам;
· прогнозирование событий и ситуаций.
Задача сбора информации не может быть решена в отрыве от других задач, в частности, задачи обмена информацией (передачи).
Среди методов сбора информации выделяют:
· приобретение документов (оптом, в розницу, по подписке, в дар, через систему обязательного экземпляра);
· выявление документов с исходной информацией;
· мониторинг процессов или явлений;
· методы формирования выборки;
· статистическое наблюдение документального или информационного потоков;
· прямые и косвенные методы изучения информационных потребностей;
· анализ производственных, управленческих и информационных процессов;
kpet-ks.ru
Компьютерные сети. г.Котово
Практическое занятие № 1
Тема: Способы хранения, обработки и передачи информации.
Цель: научиться сохранять, обрабатывать и передавать данные при помощи технических средств информации.
Время выполнения: 2 часа
Оборудование: ПК, сканер, фотоаппарат, микрофон, диск.
Теоретические основы
Сбор предполагает получение максимально выверенной исходной информации и является одним из самых ответственных этапов в работе с информацией, поскольку от цели сбора и методов последующей обработки полностью зависит конечный результат работы всей информационной системы.
Технология сбора подразумевает использование определенных методов сбора информации и технических средств, выбираемых в зависимости от вида информации и применяемых методов ее сбора. На заключительном этапе сбора, когда информация преобразуется в данные, т. е. в информацию, представленную в формализованном виде, пригодном для компьютерной обработки, осуществляется ее ввод в систему. Для сбора данных необходимо сначала определить технические средства, позволяющие осуществлять сбор быстро и высококачественно и поддерживающие операции ввода информации и представления данных в электронной форме.
Технологический процесс обработки информации — есть строго определенная последовательность взаимосвязанных процедур, выполняемых для преобразования первичной информации с момента ее возникновения до получения требуемого результата.
Технологический процесс призван автоматизировать обработку исходной информации за счет привлечения технических средств базовой информационной технологии, сократить финансовые и трудовые затраты, обеспечить высокую степень достоверности результатной информации. Для конкретной задачи той или иной предметной области технологический процесс обработки информации разрабатывается индивидуально. Совокупность процедур зависит от следующих факторов:
В общем случае технологический процесс обработки информации включает процедуры.
Современные информационные технологии позволяют обрабатывать информацию централизованным и децентрализованным (т. е. распределенным) способами.
На практике применяют смешанный способ обработки информации, для которого характерны признаки двух способов одновременно (централизованный с частичной децентрализацией или децентрализованный с частичной централизацией).
Вычислительные средства участвуют в процессе обработки информации в двух основных режимах: пакетном или диалоговом.
В случае, когда технология обработки информации на компьютере представляет собой заранее определенную последовательность операций, не требующую вмешательства человека, и диалог с пользователем отсутствует, информация обрабатывается в так называемом пакетном режиме. Суть его состоит в том, что программы обработки данных последовательно выполняются под управлением операционной системы как совокупность (пакет) заданий. Операционная система обеспечивает ввод данных, вызов требуемых программ, включение необходимых внешних устройств, координацию и управление технологическим процессом обработки информации.
Задачи, решаемые в пакетном режиме, характеризуются следующими свойствами:
Пакетный режим возник первым и широко использовался с середины XX в., когда обработка информации на ЭВМ осуществлялась в специально создаваемых вычислительных центрах. Заказчики подготавливали исходные данные (обычно на перфокартах или перфолентах) и отправляли их в вычислительный центр, где данные обрабатывались и результаты обработки возвращались заказчику. С развитием персональных ЭВМ (начиная с 80-х гг. прошлого века) обработка данных стала осуществляться, в основном, непосредственно потребителями, поэтому в настоящее время пакетный режим используется достаточно редко. Сегодня более распространен диалоговый режим, когда необходимо непосредственное взаимодействие пользователя с компьютером и на каждое свое действие пользователь получает немедленные ответные действия компьютера. Диалоговый режим позволяет пользователю интерактивно управлять порядком обработки информации и получать результатные данные в виде необходимых документов либо файлов.
Информационные процессы невозможны без средств передачи и представления информации, поскольку зачастую информация требуется в месте, территориально удаленном от источника ее возникновения, и должна быть представлена в виде символов, образов и сигналов, пригодных для восприятия потребителем.
Современные средства связи способны передавать информацию в любой форме: телефонные, телевизионные, телеграфные сообщения, массивы данных, печатные материалы, фотографии и т. д. В соответствии со спецификой передаваемых сообщений организуется канал передачи информации — совокупность технических средств, обеспечивающих передачу сигналов от источника к потребителю.
Основная характеристика канала передачи — скорость передачи информации, а ее предельно допустимое значение называют емкостью канала, которая ограничивается шириной полосы канала и шумом.
Канал связи соединяет передатчик и приемник с помощью линии связи, которая может быть проводной, кабельной, радио, микроволновой, оптической или спутниковой. Примерами линий связи являются телефонные и вычислительные сети, сети телевизионного и радиовещания, мобильной связи, спутниковые технологии передачи данных.
В современных цифровых системах связи функции передатчика и приемника выполняет модем. Основное достоинство передачи информации в цифровой форме заключается в возможности использования кодированных сигналов, обеспечения защиты информации и наилучшего способа приема.
Для представления переданной или хранимой информации потребителю используются процессы воспроизведения и отображения.
Воспроизведение информации — это процесс, при котором ранее записанная на носителе информация считывается устройством воспроизведения.
Отображение информации — есть представление информации, т. е. генерация сигналов на основе исходных данных, а также правил и алгоритмов их преобразования в форме, приемлемой для непосредственного восприятия человеком.
Потребителем информации наиболее часто выступает человек, и для принятия решений ему необходимы результаты обработки информации. Тем не менее человек не способен ощутить машинное представление информации, а может воспринимать ее лишь органами чувств (органами зрения, слуха, осязания, обоняния и т. д.), поэтому для организации взаимодействия человека с информационными моделями объектов информационная система должна быть наделена специальными средствами отображения данных.
Поскольку зрение используется для восприятия информации наиболее активно, то средства отображения в современных ИС должны представлять информацию в лучшей форме для визуального наблюдения. Заметим, что мультимедиа-системы позволяют также представлять информацию в форме аудио- и видеосигналов, однако для управленческих информационных систем наиболее характерно отображение информации в текстовой и графической форме, что осуществляется за счет использования мониторов и печатающих устройств (например, принтеров, плоттеров).
Прежде чем, например, на мониторе, появится информация в доступной для человека форме, компьютером будет автоматически осуществлена следующая последовательность операций:
Порядок выполнения работы
Отчет
Отчет должен быть оформлен в текстовом редакторе и содержать:
Контрольные вопросы
Сбор данных там, где начинается аналитика
Понимание информации начинается со сбора данных. Технологии Intel® поддерживают инновационные методы сбора данных на периферии.
Выводы в отношении сбора данных:
Сбор и обработка данных — первый шаг конвейера данных для поддержки бизнес-аналитики, исследований, разработки и принятия решений.
Методы сбора данных быстро развиваются, растет разнообразие устройств интернета вещей, генерирующих данные на периферии, и аналитикам приходится работать с постоянно растущими базами данных, которые обрабатываются высокопроизводительными вычислительными системами.
Корпорация Intel предлагает передовые технологии для уровней процессора, сети и хранения, обеспечивающие быстрый сбор данных и их доступность на периферии, в облаке и ЦОД.
Сбор данных — первый шаг к аналитике. По мере развития периферийных технологий и Интернета вещей все больше разнообразных устройств используются для сбора все большего количества типов данных. Технологии Intel® работают, помогая упростить и ускорить процесс сбора данных из многочисленных источников и их сохранения в центре облака.
Сбор данных — первый шаг к аналитике. По мере развития периферийных технологий и Интернета вещей все больше разнообразных устройств используются для сбора все большего количества типов данных. Технологии Intel® работают, помогая упростить и ускорить процесс сбора данных из многочисленных источников и их сохранения в центре облака.
Что такое сбор данных?
Сбор данных или обработка данных — это первый шаг в конвейере данных, предусматривающий сбор информации из разнообразных источников. Цель сбора данных — предоставить необходимую информацию для бизнес-аналитики, исследований и принятия решений. Во многих случаях решения на основе данных могут приниматься в месте генерирования данных. Например, на умном производстве компьютерное зрение с ИИ может использоваться для контроля качества готовой продукции на производственной линии. В других случаях анализ может занимать намного больше времени и включать обработку нескольких петабайт данных, например, в таких сложных вычислительных задачах как геномное секвенирование. По мере развития интернета вещей, периферийных технологий и технологий ЦОД, методы и решения сбора данных становятся все более разнообразными.
Структурированные и неструктурированные данные
Существует два основных типа данных: структурированные и неструктурированные. Некоторые эксперты также используют термин полуструктурированные в отношении данных, имеющих характеристики обоих первых типов.
И структурированные, и неструктурированные данные могут собираться с метаданными, то есть с данными о самих этих данных. Например, цифровые камеры собирают метаданные о дате и времени съемки и оборудовании камеры, и эти метаданные включаются в файл цифровой фотографии.
Источники и способы сбора данных
Сбор данных описывает один из двух процессов: аналитики могут собирать и курировать информацию в базах данных и переносить ее в ЦОД или облачную среду для обработки; в то время как датчики интернета вещей, камеры и другие устройства могут собирать данные на периферии. Во многих случаях при работе с периферийным Интернетом вещей эти данные обрабатываются практически в реальном времени на периферийных серверах, что позволяет использовать их для автоматизированного обнаружения дефектов на умных заводах, интеллектуального управления трафиком в умных городах и т. п. Данные, собираемые на периферии, также можно перемещать в облако для дальнейшей обработки и анализа.
Источники и способы сбора данных стали более диверсифицированными и теперь включают:
Современная стратегия сбора данных может включать широкий спектр таких методик и источников.
Устройства сбора данных на периферии
Технологические требования стратегии сбора данных зависят от того, где генерируются данные и чего организация хочет добиться с помощью этих данных. Существует два важных преимущества обработки данных в том месте, где они собираются или генерируются. Первое преимущество заключается в том, что рабочие нагрузки не нужно перемещать в облако, так что организации могут сэкономить за счет более низких требований к сетевой инфраструктуре. Второе преимущество заключается в том, что обработка данных в месте их генерирования обеспечивает аналитику практически в реальном времени.
Устройства интернета вещей могут воспользоваться преимуществами процессоров машинного зрения Intel Atom® или Intel® Movidius™ Myriad™ X для обеспечения необходимой производительности для аудио-визуальных или сенсорных потоков на периферии. В зависимости от сценария использования, эти процессоры также хорошо подойдут для использования в небольших корпусах или даже на открытом воздухе. В случае периферийных рабочих нагрузок с большими объемами данных, таких как логическая обработка данных ИИ на нескольких видеопотоках, устройства ИИ и периферийные серверы с процессорами Intel® Core™ 11-го поколения или масштабируемыми процессорами Intel® Xeon® 3-го поколения обеспечивают более высокую пропускную способность данных, чем сами по себе периферийные серверы. Эти серверы также открывают более широкие возможности связи с разъемами расширения PCIe, благодаря чему системные интеграторы могут добавить дополнительные ускорители для конкретных моделей развертывания.
Технология сбора данных для облака и ЦОД
Перенос вычислительных нагрузок на периферию не всегда целесообразен. Если для конкретного решения требуется быстрое вертикальное масштабирование ресурсов сверх уровня, доступного на периферийном устройстве, то обработка данных в облаке будет более эффективной. Некоторые рабочие задачи требуют таких объемов вычислительных ресурсов, памяти и ресурсов хранения, что для своевременного генерирования результатов им требуется инфраструктура ЦОД или высокопроизводительных вычислений. В этих случаях технологии сбора данных будут наиболее эффективными в сбалансированной конфигурации, сочетающей в себе ключевые усовершенствования для вычислительных систем, систем хранения и сетевых систем и обеспечивающей более эффективное использование платформы и доступность данных.
Ваша комплексная стратегия сбора данных
Обширный портфель Intel от периферии до облака обеспечивает производительность, пропускную способность и доступность данных, необходимые для быстрого, согласованного и надежного сбора и обработки данных. Корпорация Intel предлагает комплексный фундамент для вашего конвейера данных, позволяя использовать интеллектуальные периферийные устройства, сетевые решения с высокой пропускной способностью и высокую производительность вычислений с несколькими точками входа и форм-факторами. Решения Intel® позволяют организациям быстро перемещать данные, получать полезные аналитические данные и использовать их с пользой.