Flow是一种数据交换方式,其工作原理是:
Flow利用标准的交换模式处理数据流的第1个IP包数据,生成Flow缓存,随后同样的数据基于缓存信息在同一个数据流中进行传输,不再匹配相关的访问控制等策略,Flow缓存同时包含了随后数据流的统计信息。
一个Flow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流,且所有数据包具有共同的传输层源、目的端口号。
相对于会话(“Session”)而言,“Flow”具备更细致的标识特征,在传统的TCP/IP五元组的基础上增加了一些新的域值,至少包括以下几个字段:
|源IP地址|目的IP地址|源端口|目的端口|IP层协议类型|ToS服务类型(dscp)|输入物理端口(ifindex)|
以上七个字段可以唯1地确定任意一个数据包属于哪个特定的Flow。
换而言之,任何一个字段出现了差异都意味着一个新Flow的发生。对于Flow的分析展示同样也是要基于多维度的:
IP(目的与源)、port(目的与源)、业务、网络架构、城市、IDC等。
具体所需的维度依赖于自己的业务场景。Flow是厂商的私有协议,业界也有多种的Flow格式。例如CISCO、华为、juniper等等的主流厂商的Flow也是均有一定差异性与优劣的,常用的有NetFlow与SFlow。所以这部分的后台能力是需要有异构。 观纵将强大的Argus IT运维监控做到数据化、工具化、可视化。信创智慧运维监控系统
遇到多集群场景问题
多达上百个集群数,而有些业务系统拥有多个集群,其多集群场景特点有:
服务发现隔离:Prometheus的服务发现机制无法发现多个集群的被监控对象;
网络隔离:跨集群可能存在连通性问题;
业务需求:业务系统可能需要跨集群聚合数据。
只用Prometheus能解决吗?
Prometheus本身只支持单机部署,没有自带支持集群部署,对于集群化和水平扩展,官方和社区都没有银弹,需要合理选择VictoriaMetrics、Thanos等开源方案或自研方案。Prometheus的存储空间也受限于单机磁盘容量,磁盘容量决定了单个Prometheus所能存储的数据量,数据量大小又取决于被采集服务的指标数量、服务数量、采集速率以及数据过期时间。在数据量大的情况下,我们可能就需要做很多取舍,比如丢弃不重要的指标、降低采集速率、设置较短的数据过期时间等。 有什么好用的运维监控软件Argus单一业务环境下可以支持多 组采集单元(多zabbix-server),实现真正意义上的分布式采集。
大集群场景特点数据规模大:监控对象targets多,数千万时序数据time-series,单Prometheus负载非常高。
当series数据超过300万时,Prometheus内存增长较为明显,需要使用较大内存的机器来运行。压测过程中,我们使用了工具去生成预期数目的series,工具生成的series每个label的长度及值的长度都较小,固定为10个字符左右。我们的目的是观察相对负载变化,实际生产中由于label长度不同,服务发现机制(比如Pod频繁重启)的消耗不同,相同的series数目所消耗的负载会比压测中高不少。目前Argus有好几个集群的采集端Prometheus消耗内存在30G以上,这会导致查询效率下降,严重的会导致OOM,有的大集群内存消耗达几百G。
对于网络出口与网络专线的有效监控与分析,既能协助业务运维同学有效地定位业务异常、评估业务服务质量等,也能有效地度量业务整体运营成本,毕竟现在带宽的使用成本在整体运营成本中也是占比越来越大。相信运维同学多少都会遇到下面等较高频的使用场景:
这条专线当前利用率多少?
在已经使用的流量中,某个IP使用了多少流量?这些所产生的流量是基于什么协议与方向?
专线与网络出口的丢包率与时延是怎么样的?
每条专线中主要是哪些务在用?哪个是“地主客户”?对
于网络流量的监控来说,其实中心是一个分析平台,通过把采集到的各种流量包抓取过来,然后再把相应的流量送入分析集群。 运维监控体系一般来说包括数据采集、数据检测、告警管理、故障管理、视图管理和监控管理6大模块。
观纵在协调交付与研发做信创产品适配,帮助客户在内部搭建信创环境的时候发现,如果想让运维行业的信创产业高质量发展,是依靠自主创新研发产品是不够的,还需要有领航者来为运维行业发展做“规划”,给予客户足够的安全感和信任感。
如今,观纵的Argus运维监控系统目前已获得部分信创适配证书。未来观纵将继续投入人力与物力,对产品进行创新实践,加快其在信创领域的运维场景落地应用,携手上下游合作伙伴共建生态,领导智能运维行业向高质量发展。 运维、监控系统的本质是通过发现故障、解决故障、预防故障来为了保障业务的稳定。应用智能运维监控平台
Argus运维监控系统-IT网管的救命稻草!信创智慧运维监控系统
基于Zabbix来构建整个监控体系生态圈。下面我们就来监控系统的整个流程:数据采集:Zabbix通过SNMP、Agent、ICMP、SSH、IPMI等对系统进行数据采集;数据存储:Zabbix存储在MySQL上,也可以存储在其他数据库服务;使用数据库是必备技能。数据分析:当我们事后需要复盘分析故障时,Zabbix能给我们提供图形以及时间等相关信息,方面我们确定故障所在;数据展示:Web界面展示、(移动APP、java_php开发一个Web界面也可以);监控报警:电话报警、邮件报警、微信报警、短信报警、报警升级机制等(无论什么报警都可以);报警处理:当接收到报警,我们需要根据故障的级别进行处理,比如:重要紧急、重要不紧急,等。根据故障的级别,配合相关的人员进行快速处理。信创智慧运维监控系统
上海观纵科技有限公司坐落于上海市奉贤区望园南路1288弄80号1904、1909室,是集设计、开发、生产、销售、售后服务于一体,传媒、广电的服务型企业。公司在行业内发展多年,持续为用户提供整套webfunny前端监控,webfunny前端埋点,全链路应用性能监控,Argus-IT运维监控的解决方案。本公司主要从事webfunny前端监控,webfunny前端埋点,全链路应用性能监控,Argus-IT运维监控领域内的webfunny前端监控,webfunny前端埋点,全链路应用性能监控,Argus-IT运维监控等产品的研究开发。拥有一支研发能力强、成果丰硕的技术队伍。公司先后与行业上游与下游企业建立了长期合作的关系。webfunny,walkingfunny,argus致力于开拓国内市场,与传媒、广电行业内企业建立长期稳定的伙伴关系,公司以产品质量及良好的售后服务,获得客户及业内的一致好评。上海观纵科技有限公司通过多年的深耕细作,企业已通过传媒、广电质量体系认证,确保公司各类产品以高技术、高性能、高精密度服务于广大客户。欢迎各界朋友莅临参观、 指导和业务洽谈。