周一至周日 8:00-22:30(免长途费):
学术咨询:400-888-7501 订阅咨询:400-888-7502
征稿授权 经营授权
当前位置:万博体育max官网成为娱乐者的首选之地期刊网 > 通信论文 > 移动网络论文 > 正文
移动网络论文( 共有论文资料 16 篇 )
推荐期刊
热门杂志

python下移动网络优化自动化探析

2021-09-22 09:00 来源:移动网络论文 人参与在线咨询

摘要:由于移动网络复杂度的提升及网络承载数据的激增,网络优化工作人员以传统方式对网络进行优化及对网络数据进行分析就显得捉襟见肘,为能够对网络进行更好的优化及对网络数据进行深度分析,文章基于python对移动网络优化过程中的详细告警监控分析及网络数据深度挖掘分析进行了探索,设计了程序算法完成了上述工作。

关键词:Python;网络爬虫;移动网络优化;网络优化自动化;移动网络数据挖掘分析

0引言

随着移动网络的发展壮大,地市网络优化部门逐渐面临一个重大的难题,即维护的网络越来越复杂,尤其随着5G的到来,形成了2G/3G/4G/5G同时共存的一个复杂而庞大的网络,每个网络在一定程度上都存在独立性,有自己的数据平台,这就导致有多个平台的网络数据需要人工下载并整理分析,耗费了大量的人力资源,公司要承担较大的人力成本,整体效率低下;同时多个平台产生的数据量较大,从用户使用移动手持终端侧流量可印证。据第44次中国互联网网络发展状况统计调查报告称[1],移动互联网接入流量连年快速增高,手机用户数也平稳增长,从统计可知:2019年上半年是2016年上半年的14.7倍,增长约516.4亿GB。手机网络网民人数在2019年也达到了8.4亿人。如此多的流量及用户产生的上网信令等其他数据同样巨大,普通的数据处理分析软件如excel等无法满足数据分析要求,导致网络问题等无法快速发现,数据资源挖掘力度不足,巨大潜力无法释放。研究目的一方面是为减轻工作人员重复性劳动,提升工作人员工作效率,节省公司人工成本,另一方面对移动网络正常运行及影响用户感知的告警,做到及时发现,自动提出解决措施,及时处理故障,提高用户使用网络的感知,提升用户对网络的满意度。本文特设计了具有代表性并有可延展性的基于python的移动网络优化告警实时监控程序,同时为探索地市住宅小区的网络覆盖情况、用户感知及住宅小区内用户市场占有率等情况,本文基于python对地市住宅小区进行了数据挖掘探索,为网络未来建设及市场未来发展提供决策参考。基于python的移动网络优化与数据分析挖掘对移动网络优化自动化及智能化发展有助推剂的作用,为国家数字化经济转型提供技术支持。

1Python概述

1.1什么是python

python是一种丰富而强大的类似胶水的编程语言,由于其简单、容易上手等原因,在不同领域均有很强的需求。特别在数据分析、机器学习及人工智能等领域受到人们热烈的追捧。在2018年7月的编程语言排行榜[2]中,python稳居所有编程语言第一名。

1.2选择python的原因

因运营商移动网络优化领域现如今面临的挑战主要有:(1)移网网络复杂、多种制式网络共存,存在多个网管平台及数据平台,简单来说就是多而杂,维护困难度高。(2)网络优化中数据庞大,因平台较多,数据量也逐渐上升,如果通过人工来每天监控及分析相关指标会变得力不从心,且如果对非常细化的指标进行监控并对出现的问题提出解决方案,此项工作就会消耗较多的人力资源。移动网络优化是追求网络在动态平衡中的最优状态,为达到这种最优状态及应对以上挑战,有的工作数据已经大到excel等无法操作,python此时就脱颖而出。同时现如今用户对网络敏感度越来越高,快速定位用户问题就显得至关重要,而python的自动化及智能化分析就有了较大的优势。

1.3基于python的网络爬虫

网络爬虫顾名思义就是从浩瀚的网络上爬取你所需要的数据。Python在这方面就是一个很有优势的语言。通过类型可分类为:通用型爬虫、聚焦型爬虫、增量型爬虫、深层爬虫。爬虫的通用流程是:程序调用爬虫模块端后给定URL,后续根据一定规则爬取网页信息,后通过下载指令完成对网页数据的爬取,再通过网页解析器将下载的数据解析成我们看懂的信息。

2移动网络优化基于python的告警自动化分析设计

移动网络优化中告警监控自动化分析程序在本文中主要采用python的深层爬虫技术及pandas模块等其他模块来完成数据分析,为移网优化工作人员提供每日网络的告警情况,为优化及其他工作做好准备工作。图1展示本次python自动化分析程序结构,方便了解程序过程。

2.1移动网络告警数据获取

(1)爬取数据前的准备工作因python有很多自带及第三方库,当我们需要的时候,就需要将这些库先引入到程序中才能进行操作。在爬虫程序中涉及到了selenium、time、os、PIL、requests、request、json、base64这个几个模块,很好地帮助我们进行网络数据的爬取。首先我们需要对浏览器加装webdriver的补丁,由此补丁后才能完成对浏览器的调用。其次就需要将用到的三方库进行引入。通过import语句来完成上述库的引入工作。在引入python自带库与第三方库后,我们需要对浏览器进行配置,来保证浏览器能自动下载并存入我们想要保存的位置。以火狐浏览器FireFox来举例,需要完成一下配置,对浏览器内下载路径,保存提示框的显示与否,快速自动保存等进行配置,将爬取的数据保存到我们指定的位置。至此,爬虫的准备工作就已经结束,下面就开始对移动网络数据平台进行爬虫,来爬取我们需要的文件。(2)移动网络数据平台登录在爬虫准备工作完成后,就开始爬虫工作,因移动网络数据平台安全性要求较高,因此该系统存在用户名、密码、验证码的三层验证后才能登录。为完成以上工作,采用深层型爬虫技术来爬取数据。主要是一个登录移动网络综合平台的爬虫程序。在本次登录过程中,因验证码的存在,需要对验证码进行识别,通过调用百度智能云API或者联通智能网络中台的API来进行识别,经过多次实践发现百度云识别成功率几乎保持在99.9%以上。识别成功率非常高,很适合此次分析的要求,所以我们最后就借用了百度智能云的算法能力。在验证码的自动识别过程中,需要先将验证码的图片截取下来,通过对网页的分析,确保截取的图片是完整清晰的,后将图片发送到百度智能云接口,因百度智能云有加密过程,需要设定自己的AK与SK密匙。完成此步操作后,百度云就会将识别后的验证码发送回来,经过解码就是我们验证码图片中的验证码。(3)数据爬取下载经过安全验证进入到移动网络数据平台后需要进行有关多个数据的表格的爬取,爬取过程中需要对HTML5语言及CSS有所了解,主要通过网页id及xpath路径等对网页元素定位,以此来完成对数据的爬取。对于HTML5及CSS语言问题,本文不再赘述。

2.2移动网络数据分析与呈现

(1)数据预处理对爬取的数据进行分析前,需要对数据进行预先处理,因下载的数据文件名称每次都有变化,需要对所在目录进行监控,确保数据下载完成后再对数据进行处理,通过自定义了一个判断文件,对文件下载目录进行监控。当监控到文件下载完成后,程序就会对文件目录内文件进行遍历查询,查询出所有文件的详细地址情况,通过对文件名的关键字进行筛选匹配后,找到每天需要分析的文件。(2)数据分析对数据预处理进行完成后,通过python的pandas的模块打开需要分析的文件,使用drop、contains、loc、fillna、merge、concat、sort及datetime等模块对数据进行删除、筛选、vlookup、告警分类,如:驻波、时钟、零话务、RRH故障原因判断、光的衰弱问题等告警进行归类、聚合,同时又对告警时间等进行判断,频闪或者自动恢复,或者仍未恢复,由此来保证数据的一体性,可关联性,高准确性、高可靠性。(3)数据呈现通过数据分析后,对最后汇总的2G、3G、4G、5G数据进行旗县级别的分类,每日分发到各旗县及网管进行问题点的处理,保证网络健康度、保证用户使用感知。图2列出了移动网络自动化分析的告警监控的部分结果,地市公司以此结果为依据处理影响用户感知的问题点,此项工作原来由网优人员每天处理时大概需要30分钟,现在实现自动化后,每日仅需2分钟就可以搞定。极大地提升了工作效率。

3基于python的某地市住宅小区网络情况及用户感知分析

3.1基于python的某地市住宅小区爬取

本次通过python在百度地图上对某地市住宅小区进行了爬取,主要通过百度地图标签为住宅小区的地点进行爬取,同时利用网络围栏对住宅小区进行划分,后以此为依据对住宅小区进行移动网络深度覆盖等分析,为住宅小区用户提供体验感知更为良好的网络,同时发现住宅小区覆盖盲点,公司以此进行精准投资。此次网络爬虫共爬取到了502个住宅小区。各住宅小区在旗县分布情况,旗县1有173个,旗县2有100个,旗县3有65个,旗县4有59个,旗县5有56个,旗县6有26个,旗县7有23个。住宅小区旗县分布情况与城市大小相吻合,爬取数据检验准确。

3.2基于python的地市网络覆盖情况获取

经过分析,该地市运营商在住宅小区内总体网络情况平稳,LTE无线接通率98%,日均网络资源利用率43%,CQI大等7的比例为93%,平均CQI为11.23,用户感知速率为25.77Mbps,但是在网络忙时,住宅小区网络负荷较大,平均无线资源利用率为116.73%,需加大住宅小区网络容量,为用户提供良好体验感知。从旗县住宅小区覆盖情况排名中得知,旗县6为-89.7dBm、旗县7为-91.13dBm、旗县1为-91.23dBm,以上几个旗县中排名较好,其他旗县覆盖不理想,覆盖不理想后会对VOLTE通话,上网感知等都会有影响。针对覆盖较差的住宅小区已提交建设进行基站建设等相关措施,争取使旗县住宅小区整体覆盖达到提升。

3.3基于python的住宅小区用户爬取

本次通过对全部在网用户进行数据爬取,通过对比基站覆盖范围来划分覆盖住宅小区的基站,然后通过住宅小区占该基站覆盖的面积为比值即:(1)其中a为概率,b为住宅小区面积,c为基站覆盖面积,为基站小区在住宅小区内覆盖的面积,以概率a为系数计算住宅小区内用户数。即:d=a×k(2)其中d为住宅小区用户,k为基站小区下用户数。通过以上的方法对住宅小区用户数进行统计。从爬取数据知,本次地市共选取502个住宅小区,日均用户总数达到了123858人,其中旗县1为59092人,旗县2为21416人,旗县3为18126人,旗县4为11654人,旗县5为7174人,旗县6为3406人,旗县7为2990人。按照区县每个住宅小区平均人数排名为:旗县1(342人)、旗县3(279人)、旗县2(214人)、旗县4(198人)、旗县6(131人)、旗县7(130人)、旗县5(128人)。根据全市住宅小区日均规模来看,我们发现住宅小区内联通用户占比并不高,在携号转网的情况下,用户其实更无顾虑地来选择运营商,这既是机遇也是挑战,找到我们网络覆盖优势小区来进行营销,实现用户在住宅小区市场占有率,同时对于覆盖较差住宅小区,及时补齐短板,让移动数据网络在住宅小区中成为精品网络。

3.4基于python的数据分析与呈现

本次主要基于python的住宅小区数据分析,图3中主要反映了区县住宅小区平均移网覆盖情况(信号强度)、每个住宅小区日均人数、用户感知速率的关系,可以看出在RSRP为(-89dBm,-94dBm)间,用户感知速率与覆盖情况关联不大,与在网用户数关联关系更大,用户越多,用户感知速率越低。同时从区县网络忙时资源利用率与日均网络资源利用率的情况中,分析数据发现,如果日均网络资源利用率过了60%,那么忙时网络资源利用率一般就过了100%。旗县3、旗县1、旗县4网络资源利用率较高,日均资源利用率超过了70%,通过比较,发现该区域用户感知速率排名后三,所以需要对上述区域进行网络扩容,由此才能带来用户感知速率提升。从数据分析后发现,住宅小区区县日均使用流量与区县用户人数成正比,排名相同。但是将维度换成区县每个住宅小区日均流量使用量排名后发现,旗县3、旗县4、旗县2排名靠前,说明这些旗县小区网络投资回报率较高,然后与区县每个住宅小区人数做对比后发现,只有旗县1波动较大,其他排名基本没有变化,流量与人数基本成正比,旗县1区住宅小区平均用户数第一,但旗县1住宅小区流量使用量仅排名第4,可发现旗县1平均到每个小区,每个小区平均价值并不高,还有提升的空间,建议市场积极对旗县1住宅小区加大营销,提高住宅小区价值量。我们又分析了各个区县每个小区人均流量使用情况,发现旗县5、旗县6、旗县4排名靠前,旗县7、旗县3、旗县1排名靠后。造成这样的原因可能有以下几种:(1)用户上网习惯的不同造成此种结果。可能旗县5用户更爱用LTE网络上网。(2)融合套餐(手机+宽带)发展不均衡的影响。(3)用户使用LTE网络感知速率好,其中旗县5用户感知速率最高,人均也使用最高。

4结语

综上所述,在大数据与人工智能时代,移动网络优化的自动化分析将是每个移动网络优化人员必备的技能,将复杂庞大的网络维护做成简单的网络维护是我们一直努力的方向,此次自动化分析将原来网优人员每天30分钟的工作量在2分钟内完成,极大地提升了工作效率,节省了公司的人力资源,同时通过大数据分析,寻找移动网络问题点,发现网络薄弱环节,助力市场发展及精准营销有很大的辅助作用。最后希望网络优化在python的加持下朝着自动化与智能化方向发展。

参考文献:

[1]第44次中国互联网络发展状况统计报告[EB].工信部.

[2]张俊红.python数据分析[M].北京.电子工业出版社,2019.2.15-25.

作者:云成龙 单位:中国联通内蒙古分公司数字化部

在线咨询
推荐期刊阅读全部
.