|
前景
随着物联网(IoT)的蓬勃发展和大数据技术的日益成熟，流式数据作为一种实时、源源不断的数据流，正逐渐成为行业关注的焦点。此类数据能够即刻提供关键的业务洞察，协助企业迅速作出策略调整。特别地，在对设备进行监控的过程中，流式数据集发挥着不可或缺的作用，特别是在那些要求对数据进行即时分析和快速响应的场合。
流式数据具有一些独特的特点，例如，其有效性短暂并不要求长期存储，数据内容变化频繁，这正适合用于反映即时情况和短时间内的状态变化。在工业自动化领域，生产线监控系统就是一个典型的流式数据集的应用实例。这里，机器传感器产生的温度、压力和速度等数据是实时生成的，需要被即时收集和分析以监控设备的运行状况。当系统检测到异常值时，它能立刻启动报警或进行自动调节，以避免事故发生并确保生产效率与安全。
智慧城市构建过程中，交通信号灯、公共Wi-Fi热点、环境监测站点等城市基础设施亦产生了大量的流式数据。通过持续监控这些数据，城市管理者能够即时掌握城市运作情况，并做出及时的资源优化配置，从而提升管理效率和居民生活质量。
因此，利用流式数据集结合脚本语言去快速搭建设备监控平台，不仅能提升数据处理的速度和灵活性，也大幅减少了开发与维护成本。对于现代企业来说，这种方法在处理大规模实时数据方面扮演着举足轻重的角色。
功能说明
在永洪系统中，我们可以预设一个流式数据的入口，使数据可以通过指定格式推送进来，并依据此数据构建监控仪表板，实时进行数据监控。 下面将举自己在使用过程中用到的实际示例来讲解此功能场景。
近期作者在公司通过树莓派搭建了一个小的服务器，但由于该服务器长时间开机以及下班后公司不开空调会导致服务器温度过高，担心对其存在损耗与风险，因此想要对其温度进行监控，顺便带上其内存使用情况。
在永洪系统中创建一个流式数据集，并预设想要填入的数据列：CPU温度、内存占用、内存空闲，最后填入一个数据集的唯一id。
再在服务器中创建一个定时的监控脚本文件system_audit.sh： - # 获取cpu温度
- cpu_temp=$(cat /sys/class/thermal/thermal_zone0/temp| awk '{printf "%.2f", $1/1000}')
- # 获取内存占用
- mem_usage=$(free -m | awk 'NR==2{printf "%.2f", $3}')
- # 获取内存空闲
- mem_free=$(free -m | awk 'NR==2{printf "%.2f", $7}')
- # 向流式数据集发送请求
- curl --location --request GET "http://192.168.10.10/bi/Viewer?proc=20&name=flowdata_system_audit" --data-raw "{"data":[{"CPU温度" : ${cpu_temp},"内存占用" : ${mem_usage},"内存空闲" : ${mem_free}}]}"
通过crontab做一个定时任务 - * * * * * /bin/sh /home/test/system_audit.sh
最后用该数据集做一个简单的报告，呈现效果如下。 通过上述简单的方式我们快速建立了一个服务器的cpu温度内存监控平台。但这仅仅达到了作者最基本需求对cpu温度内存监控，系统中存在这更多的指标以及信息可以用于监控与问题排查。
后续作者又通过python对系统的存储、网络、进程实时资源占比等信息进行了获取，并通过制作多个流式数据集对报告进行改进，最终呈现效果如下。
| 
250 洪豆
回复本帖可获得 5 洪豆奖励! 每人限 1 次
显示全部楼层
发表于 2024-9-5 16:02:45
