可视化网络攻击地图开发 基于地图的数据可视化
一、可视可视有关网络攻击的化网化世界地图是怎么开发的
有关网络攻击的世界地图是怎么开发的?比如 ZoomEye经常有一些这样很酷的地图~
数据可视化一直是一个很有趣的领域。许多普通人直观上难以感受的络攻数据,如漏洞分布、击地实时流量分析等,图开图通过数据可视化的发基手法,可以清晰地看出数据的于地结构特点和每一个部分之间的内在联系。
数据可视化除了常用的数据图表之类,与地理位置信息系统(GIS)的可视可视结合也是其中一个有趣的应用。
首先是化网化数据的准备,要做全球的络攻分布图,得有全网扫描的击地实力才行哦。HeartBleed风波的图开图当天晚上,ZoomEye就给全球的发基公网机器做了一次大体检,第一时间统计了受影响 443端口服务器的于地数据,包括地区分布数量、经纬度等信息。第二天我们就公布了这个3D版的全球影响分布。在接下来的几天内,我们又针对同样受波及的465,993,995等端口进行了持续监测,得到了第一手数据。
IP到经纬度的转换使用了著名的 MaxMind- GeoIP2,一个 IP地址的地理位置数据库,可以根据 IP获取国家、地区、经纬度等信息。这里插播一个花絮,很多人都注意到 HeartBleed漏洞分布在南极点上也有一个红点。我检查了数据发现的确是有这样一台存在漏洞的服务器,IP地址在 MaxMind的数据库查询结果也真是南极点。南极要是真有服务器,能省下很多机房散热的成本呢,不过保持网络连接就很困难了。这可能只是 MaxMind里的一个彩蛋而已?
这个3D地球仪是从 Chrome的实验项目 WEBGL-Globe修改而来。WEBGL-Globe基于 THREE.js,是利用 WEBGL技术在网页上创建 3D交互内容的一个演示,可以直直观地在地球仪上展示数据的地理位置和数量。关于这个工具,在官网上可以看到更多例子。
基于 WEBGL-globe开发的应用还有这个实时的比特币交易展示 Realtime Bitcoin Globe。在每一笔交易发生的时候,在地图上会根据数额显示对应大小的图形,并自动跳转到对应经纬度。数据实时传输使用了 WebSocket技术,同样也是 HTML5的新特性。这个演示本身不开源,但是在 GitHub上有一个类似的工程 diox/bitcoin-websockets-globe可做参考。
Google在 3D地球的应用上还有另一个很有代表性的例子 Small Arms Imports/ Exports。这个演示是 Google Ideas在 2012年根据和平研究所Oslo提供的军火进出口数据描绘的交互可视化工具。比 WEBGL-Globe多了一个非常重大的突破是,他的国家地区是可以点击的,单击之后可以出现对应国家的数据,还提供了一个时间轴以切换不同年份。
视觉效果让人印象极其深刻,不过在这几个演示里面是最消耗系统资源的。
这个演示的源代码在 dataarts/armsglobe· GitHub。不过编码风格比较差,跨脚本的全局变量共享给二次开发造成了巨大的难度,学习一下就好了。
真正把 3D技术做到登峰造极的是逆天的俄罗斯人。卡巴斯基制作的这个实时网络威胁地图,支持的展示有定向攻击路径,地点;切换平面图和3D球体时有变换动画;每一个国家区域都是矢量图,无限放大也不会影响清晰度;交互性和实用性上简直丧心病狂;渲染3D的代码中没有依赖任何第三方库(包括THREE.js)。
不仅在视觉上非常炫目,性能优化也做到了极致。数据传输使用了二进制数组,编码成base64之后打包成JSON的办法,压缩率非常理想。在以上介绍的几个网页 3D程序中,这是资源占用最少,操作最流畅的一个。
唯一有些坑爹的是“real-time”有些名不副实,其实这个程序只会每隔一段时间去请求服务器后端静态的 json数据文件。不过已经非常逆天了。这个东西不开源,压缩过的脚本读起来也比较吃力,应用在自己的项目中有些困难。
看完上面几个演示估计都目瞪口呆了吧。WEBGL目前还没有大规模地在网页开发中应用,许多项目都只是实验性质。前端开发者最要命也是最痛恨的是用户浏览器的兼容问题,尤其是大量过时的 IE浏览器。
所以在全球分布图的方案上,除了 3D,我们还提供了备选的平面图版本。
ZoomEye使用的 2D分布图和 HoneyMap都用了 jVectorMap开源库。这个开源库使用矢量图渲染地图,可以无限缩放。支持两种类型:散点分布(HoneyMap的实时地点)和地区统计(ZoomEye的漏洞分布图)。还可以根据需要选择地图,常用的有全球国家/地区,中国省份地图,美国各州地图等。支持IE6。
做平面图还可以直接使用 Google Maps API,而且浏览器兼容性也不错。Google Maps上的附着物可以放路标、折线、多边形、自定义绘图、热力图等。可能唯一的缺点就是会遇上我朝特有的偶发性打不开网页的情况了。
当然,百度什么的也是不错的。
二、如何建设工业大数据可视化系统
1.深圳市儿童医院成功部署IBM集成平台与商业智能分析系统
IBM利用其行业领先的大数据与分析技术,支持深圳市儿童医院搭建信息集成平台,整合原有分散在多系统中的海量数据,实现各部门的信息共享;同时通过商业智能分析对集成数据进行深入挖掘,为医院各部门人员的科学决策提供全面的辅助,提升医院的服务水平和管理能力。
2. Informatica帮助紫金农商银行深挖数据价值
紫金农商银行ODS数据仓库项目建设使用Informatica产品完成数据的加载、清洗、转换工作显得尤为简单,图形化、流程化设计使维护人员能够快速、顺畅的操作,即使数据源结构发生变化,也不会像以前必须修改大量的程序代码,只需要在PowerCenter中配置一下即可。
3.华为大数据一体机服务于北大重点实验室
经过大量的前期调查,比较和分析准备工作,北大重点实验室选择了华为基于高性能服务器RH5885 V2的HANA数据处理平台。HANA提供的对大量实时业务数据进行快速查询和分析以及实时数据计算等功能,在很大程度上得益于华为RH5885 V2服务器的高可靠、高性能和高可用性的支撑。
4. IBM携手汉端科技为飞鹤乳业打造全产业链可追溯体系
IBM、汉端科技与中国飞鹤乳业联合宣布,通过利用IBM业界领先的全面大数据与分析能力,和汉端科技在商业智能领域丰富的行业经验,飞鹤乳业实现了产品的可追溯与食品安全的数字化管理,完成了系统数字化、透明化、服务化的升级。
5.浪潮大数据平台大大提升了济南的警务工作能力
浪潮在帮助济南公安局在搭建云数据中心的基础上构建了大数据平台,以开展行为轨迹分析、社会关系分析、生物特征识别、音视频识别、银行电信诈骗行为分析、舆情分析等多种大数据研判手段的应用,为指挥决策、各警种情报分析、研判提供支持,做到围绕治安焦点能够快速精确定位、及时全面掌握信息、科学指挥调度警力和社会安保力量迅速解决问题。
6.英特尔携杭州诚道科技构建智能交通
面对大数据挑战,杭州市和杭州诚道科技有限公司紧密合作,部署了基于英特尔大数据解决方案的诚道重点车辆动态监管系统,通过集中的数据中心将全市卡口、电子警察、视频监控、流量检测设备、信号机、诱导设备等有效地连接起来,从交通案件侦破能力、交通警察对机动车辆的监管能力到利用关联车辆的数据分析能力,都得到了极大提升。
7.步步高集团借Oracle Exadata大大提高了IT投资回报率
步步高集团采用 Oracle Exadata数据库云服务器搭建信息化平台,凭借Oracle Exadata数据库云服务器的高扩展性、安全性和冗余性,步步高集团得以在该基础架构上运行一系列Oracle零售行业以及Oracle的应用软件。此外,基于Oracle Exadata的步步高IT新架构比传统架构拥有更好的性价比,最大限度地增加了IT的投资回报率。
8.华为Anti-DDoS助阿里巴巴检测DDoS变革
阿里巴巴现网多个数据中心出口都部署了华为的Anti-DDoS解决方案,平均每天防护的DDoS攻击次数超过100次,每年达数万次,峰值防护的DDoS攻击流量超过100Gbps。如今,DDoS攻击在阿里巴巴安全工程师眼里已经习以为常,由华为Anti-DDoS方案自动调度进行清洗防护即可。“双11”期间,华为Anti-DDoS方案一如既往地成功防护了多轮DDoS攻击事件,有力保障了阿里巴巴网络交易的顺畅平稳。
9.华为大数据方案在福建移动的应用
为进一步提升外呼成功率,从2014年初开始,福建移动联合华为公司开展基于大数据的精准营销工作,采用大数据分析的方法选择外呼目标价值用户。基于大数据分析方法和传统外呼方法分别提供20万目标客户清单,在前台无感知下进行对比验证,确保对比效果不受人为因素影响,经过外呼验证,基于大数据分析方法较传统方法外呼成功率提升50%以上,有效支撑了福建移动4G用户发展战略。
10.北京市人民政府“12345”便民电话中心选择Oracle Exadata实现便携服务
为了进一步提升部门的调度能力、办理水平和群众满意度,北京市人民政府“12345”便民电话中心选择Oracle Exadata数据库云服务器,升级成为北京市非紧急救助服务综合受理调度平台,通过Oracle Exadata Database Machine支撑起新平台的数据库访问需求。升级后的平台能够整合全市的便民呼叫服务,支撑来自群众的各类诉求、求助、批评和建议,并可为公众提供方便、快捷的公共信息服务,真正成为全市的舆情中心、信息汇集中心和城市名片。
11.民生银行借IBM BigInsights应对金融业的大数据挑战
IBM BigInsights大数据解决方案和企业级NoSQL数据库SequoiaDB合作,为民生银行搭建低成本、高性能、高可靠且水平扩张的数据平台,帮助民生银行通过大数据分析应对金融业的大数据挑战,完善交易流水查询分析系统,产业链金融管理系统,以及私人银行产品货架管理系统。
12.中信银行信用卡实施EMC Greenplum数据仓库解决方案
中信银行信用卡中心选择实施EMC Greenplum数据仓库解决方案。Greenplum数据仓库解决方案为中信银行信用卡中心提供了统一的客户视图,借助客户统一视图,中信银行信用卡中心可以更清楚地了解其客户价值体系,从而能够为客户提供更有针对性和相关性的营销活动。基于数据仓库,中信银行信用卡中心现在可以从交易、服务、风险、权益等多个层面分析数据。通过提供全面的客户数据,营销团队可以对客户按照低、中、高价值来进行分类,根据银行整体经营策略积极地提供相应的个性化服务。
13.惠普助力雅昌集团掘金大数据
成立于1993年的雅昌集团首创“传统印刷+IT技术+文化艺术”的商业模式,形成环环相扣的文化产业链,为艺术市场提供全面、综合的一站式服务。基于企业内容数据管理体系,惠普为雅昌搭建了从数据采集、处理、管理到应用的全过程处理流程,使雅昌可以快速利用所需数据,缩短新品上线时间,快速响应市场变化。
14.德国足球队采用SAP大数据方案迎战世界杯
德国足协和SAP公司通过联合创新引入SAP Match Insights解决方案,该方案基于SAP HANA平台运行处理海量数据,可以为球员和教练提供一个简明的用户界面,帮助双方开展互动性更强的对话,分析球队训练、备战和比赛情况,从而提升球员和球队的成绩。
15. 1号店借Oracle Exadata改善终端客户体验
1号店采用Oracle Exadata数据库云服务器成功优化统一整合的数据平台,满足了不断增长的业务处理需求,并进一步改善了终端客户体验。经过Oracle Exadata整合后的新平台采用混合负载互备架构,将平均处理性能提升7倍,既可以支持目前规划业务量的业务处理,还能够随着业务量的增长进行在线升级、扩容,满足处理能力和数据量的增长需求。软、硬件集成设计的Oracle Exadata协助解决了1号店的I/O瓶颈问题,实现了比传统架构更高的性能和可扩展性。同时,基于Exadata的1号店IT新架构比传统架构拥有更好的性价比,最大限度地发挥了IT投资回报率。
16.大数据在青岛银行:提升银行交易性能、简化运营和管理
利用IBM大数据专家PureData,青岛银行能够高效集成业务数据,简化运维。PureData for Transactions作为青岛银行重要业务处理系统,能够在一个系统中整合超过几十个数据库,同时提供良好的性能、可用性和可扩展性支持实现广泛的业务目标,例如地域扩张,突发的业务交易高峰,新柜面、流程银行等大规模的业务上线等。
17. Informatica方案帮助南京儿童医院实现信息互通共享
南京市儿童医院目前已建成包括HIS、LIS、PACS、电子病历EMR、医生工作站、移动护理、病案、财务管理、库房管理和手术麻醉等几十个应用系统,这些异构系统间数据调用分散,不能集中统一标准化管理。通过采用Informatica ETL工具构建数据仓库系统,并基于数据仓库建设医院数据调用公共资源中心库,南京市儿童医院实现了实时的数据交互和信息共享,干净、标准的数据为跨应用系统数据关联分析打下扎实基础。
18.东吴大学采用达索系统EXALEAD启动大数据应用暨产学合作
台湾东吴大学采用达索系统EXALEAD大数据智能应用开发解决方案,全方位地整合校务信息,积极开发校务经营发展的各项应用。此外还将启动三方产学合作计划,协助建立校内大数据相关课程、人才培训和实习机制,使学生自入学就开始不断提升其未来职场所需的关键竞争力,学用合一,实现学校、学生、企业三赢。
19.百度大脑PK人脑大数据押高考作文题
为了帮助考生更好地备考,百度高考作文预测通过对过去八年高考作文题及作文范文、海量年度搜索风云热词、历年新闻热点等原始数据与实时更新的“活数据”进行深度挖掘分析,以“概率主题模型”模拟人脑思考,反向推导出作文主题及关联词汇,为考生预测出2014年高考作文的六大命题方向。
20. IBM助力同仁医院构筑强大的分析体系
同仁医院通过与IBM合作,同仁医院建立起了强大的分析能力和体系,包括对临床、运营、科研、考核等信息的分析,实现智慧的医院管理与考核;同时也能看到医疗设备的平均故障间隔周期,从而降低了设备的故障率、平均维修时间。这一切都让工作效率稳步提升,也缓解了病人看病难的问题,提高了患者就医满意度。
21.微软助上海市浦东新区卫生局更加智能化
作为上海市公共卫生的主导部门,浦东新区卫生局在微软SQL Server 2012的帮助之下,积极利用大数据,推动卫生医疗信息化走上新的高度:公共卫生部门可通过覆盖区域的居民健康档案和电子病历数据库,快速检测传染病,进行全面的疫情监测,并通过集成疾病监测和响应程序,快速进行响应。与此同时,得益于非结构化数据的分析能力的日益加强,大数据分析技术也使得临床决策支持系统更智能。
22.湖南电信通过分析掌握电信市场动向、针对性定制营销计划
利用IBM大数据专家PureData,湖南电信实现了通过分析掌握市场整体经营情况、快速制定市场策略以及加强客户经理营销维系的高效执行。PureData for Analytics作为湖南电信本地数据集市建设工程重要组成部分,高效整合了湖南电信旗下各本地网数据,为进一步分析创造先机。
23.携程借SQL Server增强了数据采集和掌控
作为国内领先的综合性旅行服务公司,携程计算机技术有限公司曾面临分支机构、服务城市和员工数量的增长所带来的运营数据分散和数据集成难的 IT问题。借助微软SQL Server 2012商业智能解决方案,携程增强了其对所有下属分支机构的数据采集和掌控,大大减少了计划性停机时间以及非计划性停机的时间,灵活的部署选项也可以根据携程的需要实现从服务器到云的扩展。
24.上海公共研发平台部署Oracle Exadata应对扩展需求
上海公共研发平台部署Oracle Exadata数据库云服务器,以应对其系统和应用的扩展需求。Oracle Exadata融合了一系列同类最佳的预配置的服务器、网络、存储和软件,能为数据仓库和在线事务处理应用程序提供超强性能。上海公共研发平台运行Oracle Exadata期间相对稳定,CPU占用率控制在5%以内,极大改善了用户应用体验。同时,Exadata平台的可扩展性极好的满足了上海公共研发平台的系统需求,目前整个公共研发平台的20多个应用系统已经全部迁移到Exadata上,应用部署量增长1倍,且运行十分稳定。
25. 360手机卫士10KB解决iPhone骚扰
360手机卫士通过对海量数据的运算和精准匹配下发,将一组大小仅为10KB的数据即1000个骚扰号码同步到用户手机上,打造个性化的骚扰号码数据库,此外,每天更新的骚扰号码库数据,会依据标记趋势调整骚扰号码库中各类数据比例,即每一位360手机卫士用户手机中的1000个骚扰号码都是动态的,随地域、身份以及骚扰趋势的变化而变化。
26.神州数码助张家港市更“智慧”
在张家港实践的城市案例中,市民登录这款“神州数码”研发的市民公共信息服务平台后,市民只要凭借自己的身份证和密码,即可通过该系统平台进行240余项“在线预审”服务、130余项“网上办事”服务等,还可通过手机及时查看办事状态。相比于以前来说,市民办事的时间最少可以节省一半以上。
27. IBM助中网组委会构建安全和敏捷的内联网
IBM专门为中网设计了具有实时大数据分析功能的MatchTracker(赛事追踪系统),可以为球迷提供数据呈现、计分等功能。 MatchTracker基于IBM SlamTracker分析技术,使球迷能够利用历史和实时性数据,洞悉比分之后的态势和策略。此外,IBM还为中网组委会构建了安全和敏捷的内联网。
28. Cortana基于微软Bing大数据预测世界杯
微软为Cortana增加了世界杯预测的功能,基于微软Bing大数据,并综合考虑世界杯各支球队的过往比赛结果、比赛时间、天气情况、主场优势以及其他因素,使用大量的博彩市场公开数据、民意调查、社交媒体以及其它在线数据,利用大数据分析来判断每场比赛的结果。
29.中科曙光助同济大学科研领域再创新高
为了满足爆炸式增长的用户和数据量,同济大学携手中科曙光,在全面整合云计算平台和现有资产的基础上,采用 DS800-F20存储系统、Gridview集群管理系统,以及Hadoop分布式计算平台构建出了业内领先的大数据柔性处理平台,使得同济大学在信息学科及其交叉学科研究领域迈上一个新台阶。
30.华为助农行完成海量数据分布式处理的需求
华为向农行提供了良好的计算平台,基于华为RH2288 V2服务器的分布式并行计算集群进行测试,以及还提供了快速响应客户需求的研发能力,以及业界最快捷的售后服务。农行的测试结果表明,华为解决方案完全满足农行对海量数据进行分布式处理的要求。
三、卡巴斯基网络实时攻击地图是真的吗
卡巴斯基网络实时攻击地图是真的。
因为卡巴斯基实验室上线了一张描述全球网络安全的实时互动地图,是实时更新的,是威胁实时地图的,所以kaspersky网络威胁实时地图是真的。
地图是遵循相应的数学法则将地球也包括其他形体上的地理信息,通过科学的概括并用符号系统表示在一定载体上的图形。
参考资料:云原生APM