大数据与安全生产综述汇总.ppt

大数据与安全生产综述,张瑞新 博士、教授,国家安全监管总局通信信息中心 主任 国家安全监管总局信息办 副主任 2015年5月12日,2014年12月12日，总局党组书记、局长杨栋梁主持召开党组（扩大）会议，提出“建立安全生产统一数据库，实现来源可查、去向可追、责任可究、规律可循,贯彻落实总局栋梁局长的指示,2015年4月2日，国务院办公厅印发关于加强安全生产监管执法的通知（国办发201520号,要大力提升安全生产“大数据”利用能力，加强安全生产周期性、关联性等特征分析，做到检索查询即时便捷、归纳分析系统科学，实现来源可查、去向可追、责任可究、规律可循,贯彻落实国办20号文件精神,云计算,移动互联网,智慧城市,大数据,物联网,社交网络,社会管理,大数据时代已经到来,互联网思维、大数据等信息技术正在改变,汇报提纲,3,云计算、移动互联网、物联网、社交网络、电子商务、即时通信等技术形式的涌现，推动人类从现实社会快速切换到网络社会形态，形成了人类不同于传统生活方式的虚拟生活方式,一）信息时代的特征,移动 互联网,社交 网络,社交网络,网上教学,门户网站,网游,网上购物,互联网金融,三、大数据时代,一）信息时代特征,1PB1024T一年国产电视剧（1.7万部）容量,1EB1024PB；5EB 相当于至今全世界人类所讲过的话语 1ZB1024EB；全世界海滩上的沙子数量总和,1TB1024G 一家大型医院 X光图片,1GB1024M 一部广播级电影,1MB1024K50万个汉字,1KB1024B 500个汉字,MegabyteMB,KilobyteKB,GigabyteGB,TerabyteTB,PetabytePB,三、大数据应用,二）数据的概念,上传30小时视频 130万人评论,200万条搜索,27.7万人登录 600万条信息发布,2.04亿封邮件,全球产生7.5PB数据,互联网上一分钟,三、大数据应用,二）数据的概念,三）互联网、互联网,新的媒体形式的出现,起源 上世纪90年代中后期 应用领域 邮件、门户网站、电子商务 政府、企业大规模信息化建设,新的商业模式的出现,互联网开始颠覆 传统产业之旅,互联网 让传统行业插上互联网的翅膀,互联网可以 ,互联网正在改变物质之上的所有组织形态、改变物质生产的组织方式,信息技术不是在融合，而是在融化、重构和颠覆其他产业形态,三）互联网、互联网,传统模式 每个业务需要配备独立的设备（服务器、存储等） 计算资源难以共享、孤岛现象、资源浪费,办公,人事,财务,网站,虚拟机,虚拟机,虚拟机,虚拟机,云计算模式 把计算资源合并成一个大的计算资源池（云计算中心） 云计算中心根据各个业务需要，提供相应的计算能力,四）云计算、云服务,云计算的目标是让用户像用电、用水一样使用信息基础设施,各自配备小发电机,电厂集中发电,云计算的本质是把计算能力的专用服务变为了公用服务,电网集中供电,四）云计算、云服务,虚拟化 “一拆多,分布式 “多合一,虚拟拆分,物理计算机,虚拟机,虚拟整合,物理计算机,虚拟机,四）云计算、云服务,五）物联网,物联网The Internet of things的概念是在1999年提出的，又名传感网，物物相连的互联网。把所有物品通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备与互联网连接起来，进行信息交换和通讯，实现智能化识别、定位、跟踪、监控和管理,国际电信联盟曾描绘“物联网”时代的图景当司机出现操作失误时汽车会自动报警；公文包会提醒主人忘带了什么东西；衣服会“告诉”洗衣机对颜色和水温的要求等等,人类的网络社会行为，包括聊天、购物、搜索、点赞等，产生了诸如日志、图片、音频、视频等规模巨大、类型多样的存贮在各类介质上的数据。 人类由此进入大数据时代,六）大数据,单日信息产生量超过50TB,存储量40PB,淘宝,国家电网,到2012年10月资讯系统累计产生大资料2PB,第一医院所存资讯2008年130TB,预计2015年1PB,高峰期每秒100万次回应请求,联通,用户上网记录83万条/秒，对应信息量3.6PB/年,每天产生信息超过10TB，现已存20PB，预计该基因库最终将达1EB,每天1千亿次服务调用、55万亿次计算、300TB存储量,公交一卡通每天刷卡4000万次地铁1000万次,每秒产生2千元的交易额，累计各种信息达到PB,中山大学,新浪微博,华大基因,每天约处理60亿次搜索请求几十PB数据,百度,腾讯,交通银行,北京公交,每日约处理600G数据。存量信息超过70TB,京东商城,农夫山泉每天从销售其矿泉水的超市回传10张照片，每月3TB,三、大数据应用,六）大数据,核心技术自然语言处理 语义分析 机器学习 垂直搜索,综合门户,新闻门户,交友社区,娱乐网站,音乐网站,体育网站,网上购物,旅行网站,网上招聘,网络游戏,新闻评论 博客博文 讨论话题 音视点播 网购记录 网上简历,交互信息 痕迹信息,民生民意,生活习惯,网民喜好,关注焦点,人群分类,人性分析,行为分析,全民记录 记录全民,六）大数据,大数据技术在海量、无序的数据中,洞察规律，发现价值,数据的价值不在于数据本身 在于数据之间的关联关系,大数据将成为国家竞争力的重要标志，与矿产、土地、石油一样成为国家的基础性战略资产。 提高国家治理体系和治理能力现代化要靠大数据,六）大数据,汇报提纲,3,一）大数据概念溯源,http/,2001年，Meta Group（Gartner的前身）指出，随着网络及其应用（电子商务等）发展，数据将呈现出爆炸式增长的趋势，并提出3D Data Management的技术预测，即 Data Volume、Data Velocity 和 Data Variety,2012年，Gartner的IT技术发展趋势战略报告指出大数据正在逼近“Tipping Point”（爆发点），40以上的企业开始大数据方面的投资,一）大数据概念溯源,2008年9月4日自然（Nature）刊登了一个名为“Big Data”的专辑，从互联网技术、网络经济学、生物医药等多个方面探讨了大数据的挑战与机遇,2009年7月OReilly Media出版了名为“Beautiful Data”，介绍大数据相关的技术,2009年10月微软为纪念Jim Gray, 出版了“第四范式数据密集的科学发现”，认为科学研究范式的发展 “理论科学 实验科学计算机仿真数据科学,2011年2月11日Science刊登了一个名为“Dealing with Data”的专辑，联合Science Signaling、Science Translational Medicine和Science Careers推出相关专题，讨论数据对科学研究的重要性,2012年4月，欧洲信息学与数学协会会刊ERCIM News出版专刊“Big Data”讨论了数据管理、数据密集型研究等问题,21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据,二）大数据概述,想驾驭这庞大的数据，我们必须了解大数据的特征,地球上至今总共的数据量 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 市场研究机构预测到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB10 亿TB）,随着信息不断膨胀与爆炸，已经积累到了引发变革的程度。更多的信息增长速度也在指数级加快,1TB1024GB 1PB1024TB 1EB1024PB 1ZB1024EB,二）大数据概述,大数据无法在容许的时间内，用常规软件工具对其内容进行抓取、管理和处理的数据集合； 大数据规模的标准是持续变化的； 大数据当前泛指单一数据集的大小在几十TB和数PB 之间 - 维基百科定义,三、大数据应用,二）大数据概述,2008年9月美国自然杂志刊登了一个名为“Big Data”的专辑，首次提出大数据（Big Data）概念。 大数据，或称巨量资料，是指由数量巨大、结构复杂、类型众多的数据所构成的数据集合，必须通过特殊化处理分析才能形成有规律、可预测的信息服务能力,二）大数据概述,二）大数据概述,4V 特征,数据类型繁多 Variety,V,数据体量巨大 Volume,V,处理速度快Velocity,V,价值密度低 Value,v,数据存储量大、计算量大（Volume,预计到2020年，中国产生的数据总量将是8.5ZB，全球的数据总量预计将达到40ZB。若以光盘存储，其总重量相当于424艘满载的尼米兹航空母舰,2020年 35ZB,光盘重量43,078,400吨,424艘尼米兹号航母重量,101,600吨,数据来源多、格式多（Variety,大数据类型分为结构化数据和非结构化数据，结构化数据是指用数据或统一的结构加以表示，如数字、符号；非结构化数据是指无法用数字或统一的结构表示，如文本、图像、声音、网页、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求,大数据的来源,互联网快速发展，社交网络成熟 移动终端普及 物联网、传感器、监控设备 云计算 主要三类人和人之间、人和物（机器）之间、物和物之间 数据量骤增，数据来源多样。 主动、被动和自动方式产生数据，数据产生方式的巨大变化导致大数据的产生,移动互联网,智慧城市,物联网,电子商务,社交网络,iPhone,iPad,NoteBook,PC,条码,RFID,视频采 集设备,GPS终端,二维码,淘宝,微博,百度,腾讯,华大基因,国家电网,联通,北京公交,价值密度低Value,浪里淘沙又弥足珍贵。一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。 如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题,监控卡口1,监控卡口2,监控卡口3,监控卡口4,1亿/天车行轨迹,2300万车辆信息,9000千万人口,3000万驾驶员,卡口信息 牌号鲁F123* 车型解放j6p 颜色蓝色 位置济南经十山大路口 方向自西向东 时间2013.2.5 84530,山东省17地市交通卡口每天采集行车记录数将近1亿条,根据牌号比对一天的车辆行驶信息，耗时30分钟，查出4000多辆嫌疑车辆,监控卡口,套牌车查找 - 大数据的分析计算,车牌号,车型,颜色,距离,卡口信息,卡口信息,卡口信息,卡口信息,卡口信息,数据调取,数据调取,计算 结果,数据增长、处理速度快Volecity,利用各种大数据分析工具，比如Hadoop、SPSS和R，可从各种类型的数据中快速获得高价值的信息，这一点和传统的数据分析技术有着本质的区别,二）大数据概述,大数据正在改变人类的思维方式,随机样本,精确求解,因果关系,全体数据,近似求解,关联关系,传统思维,大数据思维,三）大数据国内外应用现状,1.国外现状,2012 年3 月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力,案例1美国治理警察超速行驶大数据应用,美国佛罗里达州为了治理警察超速行驶问题，通过对不同高速口收费站的原始数据记录（约为110万条）的比对挖掘分析，得到了一个惊人的结果当地的3900辆警车在13个月的时间里共发生了5100多次的超速行驶记录。通过进一步的筛选分析发现，警车超速行驶的时间竟然大部分都发生在上下班时间,通过对海量数据的分析处理可以得出的结论是，警车超速行驶大都不是为了执行公务。分析结果公布在太阳哨兵报之后，翔实的数据纪录与可信的分析结果引起了当地民众的广泛关注，牵扯到超速案件的12个部门近800名警察受到处理，“警察开快车”事件被有效治理和纠正,案例2疾病预防,美国人在去医院前，喜欢在谷歌搜索类似“流感症状”的词汇 谷歌据此预测流感趋势，比美国疾病控制和预防中心CDC的流感通报提早一周到10天 政府由此可提前准备应对措施,谷歌推出流感趋势监测系统Google Flu Trends,2010年，美国西弗吉尼亚州发生死亡29人的矿难，由于该煤矿的监管记录保存完整，每条记录都包括检查的时间、结果、违反的法律条款、处理的意见、罚款的多少、已缴纳的金额、煤矿是否申诉等数据项,逾千条的监管记录为事故追责提供了重要证据，最终事故认定煤矿安全健康局无监管失职，出事煤矿所属公司应承担主要责任,案例3美国矿难大数据应用,GPS,GPS,GPS,小松挖掘机上装有GPS卫星定位系统和工作状态无线传输系统 小松公司在后台能够看到每台挖掘机的位置、工作时间和挖掘量,案例4挖掘机预测经济发展,2.国内现状,国务院总理李克强主持召开国务院常务会议，要求“建立部门间互联共享信息平台，运用大数据等手段提升监管水平”。 李克强总理在山东考察时，“现场办公”要求要以云计算、大数据理念，与企业信息技术平台有机对接，建立统一综合信用信息平台，实现“大数据”共享,三）大数据国内外应用现状,案例1互联网金融,利用掌握的大数据和大数据技术，为中小企业提供贷款服务 从提出申请，到商户收到贷款，整个过程最快只需三分钟 累计贷款总额260亿，单日利息收入100万，坏账率仅千份之三,案例2全国公安系统大数据应用-网上抓逃犯,2014年起，全国公安系统利用基于大数据、云计算技术研发的多点碰撞应用系统助力民警办案。应用系统通过3至10秒的大数据碰撞，即可迅速从2.8亿条旅馆和21亿条网吧数据中，提取出600万住宿人员和2500万网吧上网人员，进行交叉碰撞计算，获得53个候选名单，缩小了排查范围，最后交给办案单位进一步筛选，提高了破案效率,案例3淘宝网大数据应用,淘宝上的买家在购买商品前，会比较多家供应商的产品，进而反映到淘宝网站统计数据中，通过用户比选、购买行为进行贸易分析预测。2008年初，淘宝上买家询盘数急剧下滑，淘宝网预测到欧美对中国的采购在下滑，最后推断出世界贸易即将发生变化,案例4360反欺诈应用,360互联网安全中心通过1亿设备，6.49亿网名，累计监测到网民个人信息多大11.2亿条，内容包括姓名、电话、上网账户、银行卡密、身份证号码等多种用户隐身信息，在GIS地图上生产了中国网络骗子地图。 360通过手机卫士为用户提供骚扰电话拦截服务，识别出骚扰电话中“响一声”最多，占到了总量一半，每天上午10点骚扰电话最猖獗，周一是骚扰电话也要“休息”，统计出骚扰电话分布图,中国网络骗子地图,2014年骚扰电话分布,2012年3月通过“大数据研究与发展倡议”，率先将大数据上升为国家战略，大力提升美国从海量复杂的数据集合中获取知识和洞见的能力,第一波投资两亿多美元，通过公布重要部门的大数据项目规划，扶持重要领域的大数据技术研发，带动其他部门和社会各界对大数据技术的研发投入和推广应用。 具体实现三个目标 1开发能对大量数据进行收集、存储、维护、管理、分析和共享的最先进的核心技术; 2利用这些技术加快科学和工程学领域探索发现的步伐，加强国家安全，转变现有的教学方式; 3扩大从事大数据技术开发和应用的人员数量,四）大数据战略美国,2013年10月31日，英国发布把握数据带来的机遇英国数据能力战略。该战略由英国商业、创新与技术部牵头编制,战略旨在促进英国在数据挖掘和价值萃取中的世界领先地位，为英国公民、企业、学术机构和公共部门在信息经济条件下创造更多收益。为实现上述目标，该战略从提升数据分析技术、加强国家基础设施建设、推动研究与产业合作、确保数据被安全存取和共享等几个方面做出了部署，并作出11项行动承诺，确保战略目标得以落地，投资金额达1.89亿英镑,四）大数据战略英国,2013年10月，澳大利亚政府发布又信息管理办公室成立的“大数据工作组”制定的公共服务大数据战略,该战略旨在推动公共部门利用大数据分析进行服务改革，制定更好的公共政策，保护公民隐私。战略还决定成立数据分析卓越中心DACOE，通过构建一个通用的能力框架帮助政府部门获得数据分析能力，并促成政府与第三方机构合作以培养分析技术专家。列举了2014年7月前需完成的6项大数据行动计划,四）大数据战略澳大利亚,法国政府宣布将在2013年投入1150万欧元，用于7个大数据市场研发项目。 目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展,三、大数据应用,四）大数据战略法国,2012年，中国政府批复“十二五国家政务信息化建设工程规划”，标志着我国开放、共享和智能的大数据时代已经来临,我国在“十二五”战略新兴产业发展规划中就明确提出了，要支持海量数据的存储处理技术的研发和产业化,四）大数据战略中国,2014年底发改委、工信部牵头联合相关部门制定大数据战略与行动纲要,2014年政府工作报告明确提出，“设立新兴产业创业创新平台，在新一代移动通信、集成电路、大数据。,2015年政府工作报告明确提出互联网 大数据、中国制造2015,五）大数据标准化,大数据标准化工作是支撑大数据产业发展和应用的重要基础,国际上若干大数据标准化相关工作组，如ISO/IEC JTC1 WG9、ITU-T、NIST NBD-PWG等 工信部和国标委2014年成立了“全国信标委大数据标准工作组” 与发达国家相比还有差距，需结合我国建设需求和特色，推进标准化的建设,五）大数据标准化,国内大数据标准化工作,工作范围 负责制定和完善我国大数据领域标准体系；组织开展大数据相关技术和标准的研究；申报国家、行业标准，承担国家、行业标准制修订计划任务，宣传、推广标准实施；组织推动国际标准化活动 正在编制大数据标准化白皮书2.0版本 研制2014年下达的大数据领域10项国家标准 征集大数据领域的相关标准需求,六）大数据处理技术,大数据采集与预处理 大数据存储与管理 大数据计算模式 大数据分析与挖掘 大数据可视化分析 大数据安全,大数据采集与预处理 数据的多源和多样性，导致数据质量存在差异，严重影响数据的可用性。很多公司已经推出了多种数据清洗和质量控制工具（如IBM的Data Stage）。 大数据存储与管理 存储规模大，管理复杂，要兼顾结构化、非结构化和半结构化的数据。分布式文件系统和分布式数据库的发展正在有效的解决这些问题。对于大数据存储和管理，尤其值得关注的是大数据索引和查询技术、实时及流式大数据存储与处理的发展,大数据计算模式 大数据处理多样性的需求，出现了多种典型的计算模式，如大数据查询分析计算（如Hive）、批处理计算（如Hadoop MapReduce）、流式计算（如Storm）、迭代计算（如HaLoop）、图计算（如Pregel）和内存计算（如Hana），这些计算模式的混合计算模式将成为满足多样性大数据处理和应用需求的有效手段。 大数据分析与挖掘 对迅速膨胀的数据进行深度分析和挖掘，对自动化分析要求越来越高，越来越多的大数据数据分析工具和产品应运而生，如用于大数据挖掘的R Hadoop版、基于MapReduce开发的数据挖掘算法等,大数据可视化分析 可视化方式可帮助人们探索和解释复杂的数据，有利于决策者挖掘数据的商业价值。各种相关商品不断出现，可视化工具Tabealu 的成功上市反映了大数据可视化的需求。 大数据安全 大数据的安全一直是企业和学术界非常关注的研究方向。通过文件访问控制来限制呈现对数据的操作、基础设备加密、匿名化保护技术和加密保护等技术正在最大程度的保护数据安全,汇报提纲,3,安全生产大数据企业安全生产、政府安全监管、社会个人参与以及与此关联的经济活动全过程所形成的文本、音频、视频、图片等海量信息的集合。当下还处于大数据的初级阶段,一）安全生产大数据概念,监管机构,企业,个人,中介机构,安委会成员单位,来源对象,数据内容,调查报告,视频动态信息,安全管理动态信息,安全管理静态信息,生产图纸信息,事故信息,大安全 大数据 大监管,互联网,真实性安全生产大数据是在依法行政的许可下采集的，任何被采集对象有义务如实地填报各项数据，因此数据要求是真实准确的，并具有法律效用。 原始性安全生产大数据不论是一次采集还是多次采集，均直接来源于政府、企业或个人，都是最为原始可靠的数据采集。 完整性监管机构为了完成一项或几项工作开展数据采集工作，必须努力保证所采集数据对于该项工作的完成是完整的。 公正性安全生产大数据采集所涉及到的组织或个人，都必须履行义务接受采集，任何组织或个人不可以随意拒绝,二）安全生产大数据具有“七性,可持续性安全生产大数据可以根据业务需要定时、定期采集，如安全生产诚信信息等。也可以根据需要经授权后随时获取，确保业务的持续性。 可处理性安全生产大数据是安监机构为了履行行政职能而采集的，数据的内在关系是明确的，数据结构是合理的，是可以和便于机器自动处理的。 可开放性安全生产大数据是安监机构在依法行政下获取的，在确保国家安全、组织或个人的隐私与利益不受侵害的前提下，可以依法开放。任何机构、组织或个人也有权向相关部门提出获得和使用数据的申请,二）安全生产大数据要具有“七性,三）安全生产大数据面临的主要问题,数据规模小缺乏原始信息,缺乏统一 的标准,部门协调 能力不足,信息化 能力弱,分析工具 欠缺,专业人员 缺乏,主要 问题,数据量小、质量差虽然安监部门都有一定规模安全生产相关数据，但由于其数据搜集、数据整理等能力不足，数据完整性、规范性方面还存在很大缺陷。特别是原始、动态数据不足，难以实现全覆盖。 缺乏标准目前我国建筑、交通、铁路、民航、民爆等行业的安全监管职责在行业管理部门，非煤、危化、工矿商贸等其他行业的安全监管职责在安监部门，各部门建立的事故信息、监管信息等数据库没有形成统一的标准，为数据衔接造成很大局限。 部门协调能力不足安全监管对象众多，各级机构限于能力和手段，在采集企业、个人及公共安全数据、互联共享中协调能力不足，难以得到充分授权与发挥作用,三）安全生产大数据当前面临的主要问题,企业信息化能力弱。安全生产隐患排查主要靠人力，易受到主观因素影响，且很难界定安全与危险状态，可靠性差。 分析工具缺乏在安全生产管理中，由于缺少有效的分析工具，缺少对事故规律的认识，导致我国对于安全生产主要采取“事后管理”的方式，缺少事前预防，在事故发生后才分析事故原因、追究事故责任、制定防治措施。这种方式存在很大局限性，不能达到从源头上防止事故的目的。 大数据专业分析人员缺乏大数据建设的每个环节都需要依靠专业人员完成，其关键环节数据分析是基于预言建模或未来趋势分析，传统的数据分析师并不具备开发预测分析应用程序模型的技能，安全生产领域的相应人才更是少之又少,三）安全生产大数据面临的主要问题,数据采集的基础支撑环境较弱,因国家政务外网云尚未完成全覆盖，依托其运行的安全生产专网云目前只覆盖了总局、32个省级安监局、26个省级煤监局、76个监察分局和2/3的地级、1/3的县级安全监管机构。其他机构目前仅能通过互联网专用通道连接。受带宽限制，联网传输速度不高,还有约1/3的地级和2/3的县级安全监管机构没有接入安全生产专网,缺乏统一的数据交互标准规范,数据之间的交互能力较弱,数据采集不全、缺乏动态音视频数据,安全监管监察部门,企 业,各级安全监管监察部门基本上未与企业实现网络的有效连接，缺乏采集和更新企业安全生产基础数据的标准和通道。致使现有采集的企业安全生产基础数据不完整、不准确，更难以及时更新,数据类型少和时效性差,数据类型少和时效性差,对安全监管监察机构而言，大数据可带来六大转变，最终为实现事故的超前预防提供预测预警 从粗放式管理向精细化转变 从单向管制向政民互动转变 从各自为战向共享协作转变 从被动响应向主动预见转变 从行政主导的政府向以人为本服务型政府转变 从经验决策向基于大数据的科学决策转变,四）安全生产大数据的思考,四）安全生产大数据的思考,当前的安全生产数据是大数据吗,大数据算法是不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。大数据经典大数据时代,四）安全生产大数据的思考,国家工商总局商品定向监测（抽样数据） 对比 阿里巴巴大数据打假平台（全部数据,假货总会露出马脚，大数据使环境越来越透明，假货无处藏身,数据来源,四）安全生产大数据的思考,以结构化数据（表单）为主 对比 多元数据类型（图片/音频/视频,数据类型,RFID数据 进货物流XX省XX市,图片与文本数据意大利进口,音频与视频数据,大数据打假案例,四）安全生产大数据的思考,以结构化数据（表单）为主 对比 多元数据类型（图片/音频/视频,数据价值,新颖 精致 宏伟 的大价值,微不足道的小数据,通常存储的表单数据,四）安全生产大数据的思考,分析模型,四）安全生产大数据的思考,算法,四）安全生产大数据的思考,传统数据 分析与应用,大数据 分析与应用,四）安全生产大数据的思考,传统数据 分析人才,大数据 分析人才,熟悉统计学基本原理 可以不懂计算机 可以不会统计软件编程 可以没有太丰富想象力,必须熟悉统计学和计量经济学原理； 必须会使用C、Java等主流编程语言； 必须会使用高级统计分析软件，如R、SAS和SPSS等 必须理解分布式计算的原理，熟悉MapReduceJava 想象力必须丰富,不是因果关系，而是相互关系。 不是随机样本，而是全体数据；“样本总体” 不是精确性，而是混杂性，尤其是大数据的简单算法比小数据的复杂算法有效,四）安全生产大数据的思考,简而言之，大数据分析,大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战,汇报提纲,3,国务院安委会,部 委,省 政 府,地市/区 县政府,安监,工商,质检,人社,民政,公安,交通,水利,环保,自然人公众,法人组织,公共资源,一）安全生产综合监管模式,矩阵式”的网状结构,以应用为中心向以数据为中心转变,OA,烟囱式”、每个应用建设一套数据,DATA,结构化数据,半结构化数据,非结构化数据,构筑大数据平台，搭建不同应用,ERP,CRM,PDM,BI,烟囱式每个应用建设一套数据,二）安全生产大数据服务模式,1,各部门的业务基本覆盖,智慧安监 - 五级成熟度模型,跨部门的业务实现关联,公众服务实现互动,基础资源实现共享,大数据服务安全监管,2,3,4,5,二）安全生产大数据服务模式-智慧安监,基础设施,云平台,云应用,二）安全生产大数据服务模式-“三步走,非煤矿山监管 危化品监管 烟花爆竹监管 煤矿安全监察 工贸行业监管,非煤基础信息 煤矿基础信息 隐患排查信息 标准化信息 事故调查信息 行政执法信息,趋势分析 指数分析 舆情分析 预警分析,工贸,烟花,行政 许可,传统架构（烟囱式,非煤,煤矿,危化,每个系统对应一套硬件系统,系统相对封闭、数据共享受限,不改变现有软件系统,开放式大数据处理平台,模式转换,创新监管应用,标准化,第一步 上云,隐患 排查,云计算模式,三）基于云计算的安全生产大数据服务,静态隐患排查上报,动态物联网隐患采集,手工填报,智能互联,政府检查,移动执法,社会举报,检查举报,隐患排查云服务数据中心,社会化监督,重大隐患辨识,事故隐患致因分析,事故隐患关联分析,粉尘隐患监控预警,重大危险源监控预警,有限空间作业监控预警,工贸行业隐患预警分析,重点企业隐患预警分析,地区隐患排查预警分析,微博微信,智能搜索,一企 一档,标准化达标,投诉举报情况,许可情况,处罚 情况,隐患排查,检查情况,二级达标企业,全员隐患查报 率100,隐患整改率 100,无事故发生,有事故发生,隐患无上报,标准化不达标,检查发现存在 重大隐患,无隐患举报,设立未满三年,企 业 A,企 业 B,企业标签,投诉频繁,企业安全生产诚信大数据应用,1、发生安全事故的A企业属地归属、行业归属 2、发生安全事故的A企业其法人情况（包括年龄、性格、祖籍、违法情况等） 3、发生安全事故的A企业安全生产违规情况,A企业安全生产档案 - 大数据的分析计算,法人（ 年龄、性别、 地域,事故情况（ 轻伤事故、 重伤事故、 死亡事故,标准化 等级（ 一级达标、 二级达标,隐患排查 情况（是否 排查隐患、 整改率,事故追溯,安委会成员单位交换数据库,工商,建筑,质检,消防,企业基本信息,煤矿数据库,非煤数据库,危化数据库,工贸数据库,安全生产监管监察数据库,法人（ 年龄、性别、 地域,1、企业注册追溯（其他地域是否存在相同法人企业） 2、企业安全生产全过程追溯,过程追溯,运输监督,企业登记注册,举报投诉,处罚执法,追踪溯源,信用评估,许可审批,应急响应,管理监督,分析统计,协同治理,危化品仓储,应急处置,危化品使用,云计算物联网,实时监控,企业规范经营、政府高效监管、舆论有效监督,来源可查、去向可追、责任可纠、规律可循,危化品责任追朔,危化品生产,危化品管理,事故粉尘爆炸,按规则分词,互联网公开网页,爬 虫 软 件,原始网页镜像,分词 词库,互联网铝镁粉尘爆炸搜索,安全生产大数据可视化展现,企业基本信息,行政许可信息,地理信息一张图,重大隐患信息,应急资源信息,安全生产指数综合地表征企业/区域安全风险状况事故发生的季节性、周期性、关联性等规律，制定安全生产决策提供支持,安全生产事故与标准化达标情况关系分析,安全生产事故数量在特定月份地域分布关系分析,安全生产舆情分析预警,通过数据挖掘，建立安全生产舆情大数据分析模型，实现关联结果分析、趋势预判分析、模拟预测分析,重大事件全国定位,基于GIS系统，通过安全生产舆情指数模型分析，实现省级安全生产舆情热度分析、重大事件全国定位、重点地市舆情排行、区域安全生产舆情分析,省级安全生产舆情热度分析,重点地市舆情排行,区域安全生产舆情分析,通过大数据挖掘分析，探索舆情传播规律，构建舆情预警指标体系，及时发现舆情危机苗头并预警,依托国家电子政务外网、互联网及移动互联网，以安全生产信息资源规划和数据应用服务为导向，充分运用云计算技术，从服务于国家安全监管总局（国家煤矿安全监察机构）、省级安全监管局、国务院安委会有关成员单位、生产经营单位（煤矿、非煤矿山、危险化学品、烟花爆竹、工贸等行业领域）、中介服务机构、社会公众等6类用户的角度，建成安全生产数据统一采集，统一管理、清洗、存储、加工、分析和应用的安全生产大数据平台,四）构建安全生产大数据应用顶层设计,安全生产信息资源服务,安全生产大数据应用服务,数据存储层,资源管理层,标准规范体系,安全运维体系,国家安监总局 （国家煤监局,数据应用服务,安全生产 信息资源规划,国务院安委会 成员单位,数据应用服务,安全生产 信息资源规划,地方监管监察 部门,数据应用服务,安全生产 信息资源规划,生产经营单位,数据应用服务,安全生产 信息资源规划,中介服务机构,数据应用服务,安全生产 信息资源规划,社会公众,数据应用服务,安全生产 信息资源规划,五层两体系,安全生产大数据平台,安全生产大数据服务6类用户,成果应用层,应用支撑层,采集传输层,五层二体系,安全生产大数据建设数据视图,数据采集,网络环境,数据加工与展现,安全监管信息化工程（一期）云数据中心总体架构设计,基于云计算架构建设数据中心，总体架构由“五层两体系”组成，五层安监云中心基础设施层、安监云中心层、数据资源层、应用支撑层、业务应用层；两体系标准规范体系、安全运维保障体系,安监云数据中心主要包括两大部分建设，一部分是数据处理系统，另一部分是数据存储系统。其中，数据处理系统包括数据库平台、计算资源池、云资源管理平台和大数据处理平台；数据存储系统包括结构化数据存储资源池和非结构化数据存储资源池。按照支撑业务系统的不同，整个安监云中心可以分为两个逻辑上的云分区电子政务外网云和互联网云,安全监管信息化工程（一期）云数据中心总体部署架构,安全监管系统内部数据交换共享平台,安全监管系统内部数据交换共享平台主要包括前置机、路由器、数据交换共享系统以及数据交换共享标准规范、网络接入设备等，实现总局与32个省级安监局之间，国家煤监局与26个派驻机构和82个煤监分局（站）之间的数据交换共享,安全监管信息化工程（一期）云数据共享交换平台,依托国家电子政务外网建设的中央层面跨部门非涉密政务信息共享交换的统一交换平台，实现安全监管总局与住房城乡建设部、交通运输部、水利部、质检总局、能源局、邮政局等6个共建部门的信息共享和业务协同,共建部门之间数据交换共享平台,安全监管信息化工程（一期）云数据共享交换平台,2015年4月13日，国务院办公厅提出的加强安全生产监管执法的通知中明确要求“加快监管执法信息化建设。整合建立安全生产综合信息平台，统筹推进安全生产监管执法信息化工作，实现与事故隐患排查治理、重大危险源监控、安全诚信、安全生产标准化、安全教育培训、安全专业人才、行政许可、监测检验、应急救援、事故责任追究等信息共建共享，消除信息孤岛,打破安委会成员单位各自的信息壁垒只是第一步，“以用促建”来打通安委会成员单位之间的信息壁垒是确保安全生产协同共管工作健康、持续发展的重要抓手，为此，急需制定安委会成员单位之间的安全生产大数据政府共享管理办法,执法信息化建设,数据共享与整合,五）制定安全生产大数据应用管理办法,由安监总局牵头，成立安全生产大数据的安委会成员单位协调联络工作领导小组，建立跨部门、跨领域、跨行业的安全生产大数据发展协同推进机制。在深入调研各安委会成员单位的大数据资源和技术基础、研发能力、人才现状等情况的基础上，梳理新常态下的创新需求，从总体上制定安全生产大数据产业发展战略规划，统筹协调安全生产大数据产业发展工作,六）成立安全生产大数据联络协调机制,采取分期分步分级的建设模式，编制安全生产大数据标准规范体系，逐步形成覆盖安全生产全业务、全体系、全流程的标准规范体系，明确数据采集与对接接口、数据项、资源目录体系、采集与对接方式、数据交换频率、交换共享机制，以及系统对接接口、整合方式、系统使用制度等内容； 面向安委会成员单位，编制安全生产信息共享与交换标准规范，明确共享数据接口、共享平台、共享协同方式及机制等，提升信息共享水平； 面向高危行业（领域）生产经营单位，编制生产经营单位安全生产数据采集规范，规范生产经营单位安全生产数据采集、上报等,七）建立安全生产大数据标准规范,融合数据创新服务 社会共治,开放数据资源,政府 开放 数据,互联网 数据,企业,API,数据服务,分析工具,数据论坛,APP,APP,APP,APP,APP,政府,个人,数据梳理服务,数据开放服务,数据创新应用,开发者,八）面向社会开放安全生产大数据服务,结束语,以物联网、云计算、大数据为代表的信息时代，将逐步改变人类的传统工作生活方式，也必将创新安全监管监察的方式方法，为“零死亡”目标的实现提供可靠的技术和管理手段,谢 谢,张瑞新 010 -64463691