工业场景下IOT数据处理

HCIA-IoT V3.0:华为物联网技术与实践全面指南 物联网可定义为“通过信息传感设备按照约定的协议,把任何物品与互联网连接起来进行信息交换和通讯,以实现智能化识别、定位、跟踪、监控和管理的一种网络概念”。它由感知层、网络层和应用层组成。感知层:包含各类传感器、识别装置等,负责捕获信息。网络层:涉及传输媒介与技术,如各种通信网络与协议,负责信息的传输。应用层:基于前面两层收集的数据,执行具体应用功能的层面,例如数据分析、决策支持等。 阅读详情

 

 

昨天偶然聊起工业场景下IOT时序处理问题,有人讨论时序数据库哪家强,有人询问数据收集应该用云服务商的PaaS还是自己搭建,不一而足。笔者认为没有最强的产品,只有最合适的架构。抛开具体应用场景而去谈单一产品性能,无异于缘木求鱼,刻舟求剑。针对客户具体情况,选择相应的架构,灵活结合开源工具和云厂商服务;同时以实用性为原则,解决问题而非为了所谓的最新科技而选择一些实用性有限的产品。在此分享个人一点看法,水平有限,抛砖引玉,欢迎切磋讨论。

首先,我们可以把整个系统分成几部分,随后逐一探讨。在此暂且采用将整个架构分为,终端、分析、行动三部分。

在“终端”部分,微软近期动作很大,预期投入50亿美金进行IOT研发的大部分都花在了这里,其中产品AzureSphere备受期待,目前已经和台积电等厂商联合生产开发中,子弹还要飞一会~其最大的优势就是双套安全机制,确保客户终端安全

暗黑科技Azuresphere传送门:https://azure.microsoft.com/en-us/services/azure-sphere/

 

在“分析”部分,微软IOT solution包含了丰富的产品。

传送门:https://azure.microsoft.com/zh-cn/overview/iot/

 

先从数据收集说起,常见几种收集方式如下:

数据收集说起,常见几种收集方式如下:

其中最常被比较的两种方式为使用云厂商PaaS (在此以微软IOT Hub,Event Hub为例)vs 开源自建(在此以Kafka为例),对比如下:

 

使用微软服务

(IOT Hub)

使用微软服务

国内外主流物联网平台深度解析与实战应用 物联网(IoT)作为新一代信息技术的核心方向,正以前所未有的速度推动着各行各业的数字化转型。从智能家居到工业自动化,从智慧城市到车联网,物联网技术正在深刻改变人们的生产和生活方式。本章将首先介绍物联网的基本概念,包括其定义、组成要素与典型技术架构,帮助读者建立对物联网平台的系统性认知。随后,我们将深入分析当前国内外主流物联网平台的发展现状,包括其技术架构、功能特点与市场定位。最后,展望未来发展趋势,重点探讨边缘计算、AI融合、安全增强等关键技术方向对物联网平台演进的影响,为后续章节的技术实践打下理论基础。 阅读详情

相关推荐

sec-ml-experiments-iot23:使用IoT23数据集进行ML实验

sec-ml-experiments-iot23 使用IoT23数据集的ML实验[1] 1.先决条件(工具和技术) 不 姓名 描述 1个 程式语言 2个 Python机器学习工具 2.如何运行此示例 下载并提取 克隆此仓库 打开config.py并修改“ iot23_dataset_location”以指向数据集中的“ iot23_small”文件夹 为输出文件创建新的输出文件夹 打开config.py并修改“ iot23_output_directory”以指向新创建的输出文件夹 [1]“平流层实验室。 带有恶意和良性IoT网络流量的标记数据集。 1月22日。 奥古斯丁·帕米萨诺(Agustin Parmisano),塞巴斯蒂安·加西亚(Sebastian Garcia),玛丽亚·何塞·厄基加(Maria Jose Erquiaga)。 在线: :

iot23-experiments

ml-experiments-iot23 使用IoT23数据集的ML实验[1] 1.先决条件(工具和技术) 不 姓名 版本 描述 1个 3.8.8 程式语言 2个 0.24.1 Python机器学习工具 3 1.19.5 Python科学计算工具 4 1.2.2 Python中的数据分析和数据处理工具 5 3.3.4 用Python可视化 6 0.11.1 统计数据可视化 7 5.8.0 跨平台库,用于检索Python中正在运行的进程和系统利用率(CPU,内存,磁盘,网络,传感器)的信息 8 -- 用于模型序列化的Python对象序列化 2.如何运行此示例 下载并提取 克隆此仓库 打开config.py并修改“ iot23_dataset_location”以指向数据集中的“ iot23_small”文件夹 [1]“平流层实验室。 带有恶意和良性IoT网络流量

IoT23-network-traffic-anomalies-classification:基于IoT23数据集的网络流量异常检测与分类

网络流量异常的检测和分类 实验基于 数据集的版本。 1.先决条件 1.1。 安装项目依赖项 不 姓名 版本 描述 1个 3.8.8 程式语言 2个 0.24.1 Python机器学习工具 3 1.19.5 Python科学计算工具 4 1.2.2 Python中的数据分析和数据处理工具 5 3.3.4 用Python可视化 6 0.11.1 统计数据可视化 7 5.8.0 跨平台库,用于检索Python中正在运行的进程和系统利用率(CPU,内存,磁盘,网络,传感器)的信息 8 0.3.7 可视化库 9 -- 用于模型序列化的Python对象序列化 1.2。 下载并提取数据集 下载的较轻版本(存档大小-8.8 GB) 较轻的版本仅包含带标签的流,而没有pcaps文件 提取档案(大小-大约44 GB) 2.安装项目 克隆此仓库 安装缺少的库 打开config.py并

入侵检测领域数据集总结

本文数据引用自以下文献:数据集后括号内值依次对应:KDD99数据集由 Lee 和 Stolfo (2000) 从 DARPA 网络数据集文件创建。该数据集包含七周的网络流量,大约包含 490 万条记录 。攻击类型分为:(1)用户到root(U2R); (2)远程到本地(R2L); (3) 探查; (4) DoS。每个实例由三个类别的 41 个特征表示:(1)基本; (二)流量; (3) 内容。基本特征是从 TCP/IP 连接中提取的。流量特征分为具有相同主机特征或相同服务特征的流量特征。内容特征与数据部分的

airen的博客 1万+

【网络安全】安全数据集资源

目录Vizsec 网站AWS 网站数据挖掘与网络安全资源 网站博客网络安全公开数据集 博客园 (cnblogs.com)MACCDC 比赛 Vizsec 网站 https://vizsec.org/data/ (最强大) USB-IDS Datasets Mordor Project Advanced Research in Cyber System Data Sets UNSW-NB15 Dataset 地址:https://research.unsw.edu.au/projects/unsw-nb

weixin_39798910的博客 2170

IOT物联网平台发布,可私有化部署

摘要:本文介绍了一站式IoT平台解决方案,支持多协议设备连接、数据处理、远程控制和智能分析。核心功能包括亿级设备接入、边缘计算、数据可视化、OTA升级和多租户管理,适用于农业、工业、智慧城市等场景。平台具有高并发、低延迟特性,支持公有云/私有云部署,已成功应用于温室大棚、设备监控等多个领域,可帮助客户降本增效30%以上。提供免费POC测试和专业方案定制服务。

willhuo的专栏 1244

azure-iot-remote-monitoring:实时监控物联网设备状态的利器

azure-iot-remote-monitoring:实时监控物联网设备状态的利器 项目介绍 在物联网(IoT)技术飞速发展的今天,远程监控成为了确保设备稳定运行、提高系统可靠性的关键环节。azure-iot-remote-monitoring 是一个开源项目,旨在为开发者提供一个强大的远程监控解决方案。该项目允许用户实时监控物联网设备的状态,及时发现并解决问题。 项目技术分析 azure-io...

gitblog_00147的博客 1214

物联网和工业物联网关系你清楚吗?

物联网和工业物联网的关系

超人的超的博客 603

rust-iot-platform:高性能物联网开发平台

rust-iot-platform:高性能物联网开发平台 项目介绍 rust-iot-platform 是一个基于 Rust 语言构建的高性能物联网(IoT)开发平台。它专为支持多种协议和提供实时数据处理能力而设计。该平台兼容 MQTT、WebSocket (WS)、TCP 以及 CoAP 协议,为各种物联网应用场景提供了极高的灵活性。 项目技术分析 rust-iot-platform 利用 Ru...

gitblog_00084的博客 1378

物联网云平台(Kaa IoT Platform)

Kaa IoT Platform是一个开源的、跨平台的物联网应用框架,为开发者提供了一套完整的工具集,用于构建和管理各种规模的IoT解决方案。通过提供服务器和SDK组件,可实现对连接对象和后端基础设施的数据管理,能管理无限数量的设备,支持收集和分析传感器数据、分析用户行为等功能。

weixin_43156294的博客 1652

推荐文章:Serverless IoT 后端参考架构

推荐文章:Serverless IoT 后端参考架构 项目介绍 Serverless IoT 后端参考架构 是一个通用的、事件驱动的物联网数据处理架构,利用 AWS Lambda 实现。该架构非常适合需要摄取物联网数据、应用自定义规则并准备进行进一步分析(如机器学习)的工作负载。 本项目提供了一个框架,通过 AWS IoT Core 和 AWS Lambda 摄取物联网消息。在示例应用中,土壤湿度...

gitblog_00849的博客 1093

工业物联网和民用物联网的区别探究

工业物联网是工业领域的物联网技术,它将具有感知、监控能力的各类采集、控制传感器或控制器,以及移动通信、智能分析等技术不断融入到工业生产过程各个环节。其范畴涵盖了工业自动化控制、电力设备监测、矿山安全系统、智能交通设施、工业数据采集等众多专业领域。在工业生产中,通过工业物联网可以实现设备之间的互联互通,实时采集生产数据,优化生产流程,提高生产效率和产品质量,降低成本和资源消耗,从而将传统工业提升到智能化的新阶段。

Wnq10072的博客 1281

Iot-Fast物联网管理平台完整使用指南

在当前万物互联的时代,如何高效管理海量物联网设备成为众多开发者和企业面临的挑战。Iot-Fast作为一个基于现代技术栈构建的物联网管理平台,提供了从设备接入到数据处理的完整解决方案。 ## 平台核心功能解析 ### 设备全生命周期管理 平台支持设备的分类管理、状态监控和数据采集。通过device模块,用户可以轻松实现设备的注册、配置和状态追踪。 [![设备信息管理](https://raw.

gitblog_00774的博客 609

探索WeeIO:一个高效、灵活的物联网(IoT)框架

探索WeeIO:一个高效、灵活的物联网(IoT)框架 在数字化转型的大潮中,物联网(IoT)扮演着至关重要的角色,它连接物理世界与数字世界,使设备能够自动化和智能化操作。而今天我们要介绍的项目,正是这样一个专为IoT开发者设计的强大框架——WeeIO。 WeeIO是什么? WeeIO是一个轻量级且高度可扩展的开源IoT平台,它的目标是简化物联网应用的开发流程,让开发者能够快速构建、部署和管理各种I...

gitblog_00027的博客 540

优秀的基于 MQTT 5.0 的开源项目和框架,适合工业物联网(IIoT)、智能家居、设备管理和大规模数据处理场景

每个项目都支持 MQTT 5.0 协议,提供高性能、可扩展性和可靠性,结合你的需求(工业场景,基于 .NET 8.0 的 MQTTnet 实现),我将详细介绍每个项目的特点、适用场景、中文解释,并提供代码示例和 GitHub 链接。三、与你的项目集成你的项目(Communication.MQTT、Communication.Serial 和 IndustrialIoT)使用 MQTTnet 5.0.1.1416,已实现串口(RS-485)到 MQTT 的数据桥接。

专注于前沿技术的探索与实践,热衷于从代码逻辑、架构设计到行业应用等多维度深挖技术本质。期待在技术之路上与你共同成长~ 1059

Zeus IoT工业物联网平台的百万级设备并发解决方案

你是否曾经为物联网设备管理而头疼?面对海量设备接入、实时数据处理和系统稳定性的多重挑战,传统的监控方案往往力不从心。今天,让我们一起来探索Zeus IoT这个基于Zabbix的开源物联网平台,看看它如何为企业级应用提供强有力的技术支撑。 ## 工业物联网的三大痛点与应对策略 想象一下,你的工厂里有成千上万的传感器和设备需要实时监控,数据传输延迟、系统崩溃、存储空间不足等问题频繁出现。这不仅是技

gitblog_00262的博客 1046

探索未来物联网:DGiOT IoT Studio

探索未来物联网:DGiOT IoT Studio 是一个全面且强大的物联网开发平台,旨在简化物联网应用的构建和管理流程。它提供了丰富的功能,包括设备接入、数据处理、规则引擎、云函数计算,以及可视化配置,让开发者可以快速实现IoT解决方案。 技术分析 设备接入与协议支持 DGiOT IoT Studio 支持多种通信协议,如MQTT, CoAP, HTTP等,使得各种类型的硬件设备都能轻松接入。同时...

gitblog_00045的博客 564

taipy物联网集成:连接IoT设备的AI系统

工业物联网(Industrial Internet of Things, IIoT场景中,企业常面临三大核心挑战:设备数据孤岛严重(平均每个工厂存在4-7种不兼容的协议)、实时处理延迟高(传统架构响应时间>500ms)、AI模型部署流程复杂(需6-8周完成从训练到边缘部署)。taipy作为低代码数据应用开发框架,通过"数据-流程-界面"一体化架构,可将IoT系统构建周期压缩70%,同时保持企业...

gitblog_00529的博客 388
TechIdiot
博客等级 码龄8年 1粉丝 1原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值