大数据未来思维变革

大数据未来思维变革

一场生活、工作与思维的大变革

大数据,变革公共卫生

  • 09年甲型H1N1,疾控中心数据汇总的滞后性——谷歌基于用户搜索词条构建模型,预测流感
  • 以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见

大数据,变革商业

  • 机票价格走势预测系统,并不能说明原因,只能推测会发生什么(关注相关关系而不是因果关系)

大数据,变革思维

  • 人们对数据的认知:静止和陈旧 >>> 一种商业资本,一项重要的经济投入,可以创造新的经济利益
  • 数据在思维的转变下可以巧妙地用来激发新产品和新型服务
  • 大数据是人们获得新的认知、创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法
  • 大数据使社会放弃它对因果关系的渴求,而仅需关注相关关系。只需要知道是什么,而不需要知道为什么

大数据,开启重大的时代转型

  • 大数据必然要经历技术成熟度曲线(炒作周期),是指新技术、新概念在媒体上曝光度随时间的变化曲线
    • 科技诞生的促动期 :在此阶段,随着媒体大肆的报道过度,非理性的渲染,产品的知名度无所不在,然而随着这个科技的缺点、问题、限制出现,失败的案例大于成功的案例,例如:.com公司 1998~2000年之间的非理性疯狂飙升期。
    • 过高期望的峰值:早期公众的过分关注演绎出了一系列成功的故事——当然同时也有众多失败的例子。对于失败,有些公司采取了补救措施,而大部分却无动于衷。
    • 泡沫化的底谷期 :在历经前面阶段所存活的科技经过多方扎实有重点的试验,而对此科技的适用范围及限制是以客观的并实际的了解,成功并能存活的经营模式逐渐成长。
    • 稳步爬升的光明期 :在此阶段,有一新科技的诞生,在市面上受到主要媒体与业界高度的注意,例如:1996年的Internet ,Web。
    • 实质生产的高峰期 :在此阶段,新科技产生的利益与潜力被市场实际接受,实质支援此经营模式的工具、方法论经过数代的演进,进入了非常成熟的阶段。
  • 数据爆炸的时代
  • 量变引发质变
    • 类比纳米技术
    • 大数据
  • 大数据的科学价值和社会价值体现
    • 对大数据的掌握程度可以转化成对经济价值的来源
    • 大数据已经撼动世界的方方面面,从商业科技到医疗、政府、教育、经济、人文等各个领域

预测,大数据的核心

  • 大数据的核心就是预测
  • 大数据不是让机器像人一样思考,而是把数学算法应用到海量数据上预测事情发生的可能性
    • 垃圾邮件过滤
    • 输入错误识别
    • 预测一个人乱穿马路的行进轨迹和速度
  • 反馈学习机制:利用自己产生的数据判断自身算法和参数选择的有效性,并实时进行调整,持续改进自身的表现
  • 个性化技术:个性化排序和个性化推荐等,属于大数据时代的重要技术
    • Facebook猜测喜好
    • 关联网站排序

大数据,大挑战

大数据的精髓在于我们分析信息时的三个转变

  • 大数据时代我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样
  • 研究数据如此之多,以至于我们不再热衷于追求精确度(数据规模过大导致精确度可行性降低),适当忽略微观层面的精确度以获得宏观层面更好的洞察能力
  • 前两个转变促成第三个转变:我们不再热衷于寻找因果关系
    • 因果关系的追求 –> 相关关系的探索
    • 大数据告诉我们“是什么”而不是“为什么”,让数据自己发声,而不必知道现象背后的原因
  • 数据化:我们要从一切事物中汲取信息,将实物数据化
    • 一个人的位置
    • 引擎的振动
    • 桥梁的承重
  • 20世纪,价值已经从实体基建转变为无形财产,从土地和工厂转变为品牌和产权。如今,电脑存储和分析数据的方法取代电脑硬件成为了价值的源泉。
  • 大数据的负面影响
    • 早期政策专家看到了信息化给人们隐私带来的威胁,并建立了庞大的规则体系来保障个人信息安全。但在大数据时代人们自愿分享信息
    • 危险不再是隐私的泄露,而是被预知的可能性,大数据时代需要新的规章制度保护权势面前的个人权利

Part1 大数据时代的思维变革

大数据与三个相互联系相互作用的思维转变有关

  • 要分析与事物相关的所有数据,而不是依靠分析少量的样本数据(本章重点)
  • 乐于接受数据的纷繁复杂,而不再追求精确性
  • 我们的思想发生了转变,从探求难以捉摸的因果关系转为关注事物的相关关系

01 更多:不是随机样本,而是全体数据

技术条件的提高,大大拓展了我们收集数据、处理数据的能力,但我们依然没有完全意识到自己拥有了能够收集和处理大规模数据的能力。

小数据时代的随机采样,最少的数据获得最多的信息

  • 人口普查——1086年英国调查当时的人口土地和财产进行全面的记载行程《末日审判书》,然耗资费时
  • 无奈之举——采样分析
    • 采样分析的精确性随着采样随机性的增加而大幅提高,但与样本数量的增加关系不大(样本数量到达一定数量,从新样本得到的信息将递减,类比经济学中的边际效应递减)
    • 每年采用多次小规模样本人口普查
    • 推广:商业领域的质检
    • 随机采样去的了巨大的成功,但它存在固有缺陷:
  1. 一旦采样过程存在任何偏见,分析结果就会相去甚远
  2. 随机采样不适合考察子类别的情况
  3. 随机采样需要实现设计好问题的结果,调查缺乏延展性,数据不能重新分析以获得计划之外的目的

全数据模式:样本 = 总体

  • 全面性+即时性:技术的进步使得我们可以收集全面完整的数据,提高微观层面分析的准确性以及快速分析反应的能力
  • 大数据不是绝对意义上的“大”,而是相对于随机分析法来说,采用所有数据的方法(全数据
  • 社科应用举例:对小团体或是整个社会,多样性都有其额外价值

02 更杂:不是精确性,而是混杂性

乐于接受数据的纷繁复杂,而不再追求精确性

允许不精准

  • 数据量的大幅增加及数据采集频率的增加会造成结果的不准确,与此同时,一些错误地数据会混入数据库
  • 各种各样的混乱
    • 错误率
    • 格式的不一致性-清洗数据
  • 大数据通常用概率说话,而不是一副确凿无疑的面孔

大数据的简单算法比小数据的复杂算法更有效

大数据的绝对数量优势压倒了其带来的纷杂错误

纷杂的数据越多越好

  • 全面的数据库使我们不需要担心某个数据点对整套分析的不利影响
  • 我们需要做的是接受这些纷杂的数据并从中受益,而不是以高昂的代价消除所有的不确定性(关注焦点的变化)
  • 大数据不仅让我们不再期待精确性,也让我们无法实现精确性
    • 错误性不是数据固有的,而是测量、记录和交流数据的工具的缺陷
    • 错误并不是大数据固有的特性,而是亟待解决并可能长期存在的现实问题

新的数据库设计的诞生

  • 非关系型数据库的出现——不预设记录结构,允许繁杂数据的记录
  • 更多的处理和存储资源——大大降低的存储和处理成本
  • 大的数据库的分布式存储对数据库提出更多的要求
  • Hadoop:与谷歌的MapReduce系统相对应的开源式分布系统的基础构架
    • 实现超大量数据的处理
    • 内部建立数据副本(应对硬件可能的瘫痪)
    • 假定数据之大导致数据在处理之前不可能整齐排列
    • 假定数据量巨大使其完全无法移动,需要在本地进行数据分析
    • 适用于不要求极端精确的任务,例如顾客分群营销等
  • 只有5%的数据是结构化的,能够适用于传统数据库,接受不确定性,拥抱剩下95%的非结构化数据(网页和照片视频资源等)
  • 大数据更强调数据的完整性和混杂性,帮助我们进一步接触事实的真相(小数据-可能出现管中窥豹的情况)

03 更好:不是因果关系,而是相关关系

是什么就够了,不需要知道为什么

亚马逊推荐系统

  • 个性化推荐系统在亚马逊的使用
  • 知道是什么可以更直接的作用,而为什么需要复杂的推导运算

关联物,预测的关键

  • 相关关系的核心:量化两个数据值之间的数量关系
  • 相关关系通过识别有用的关联来帮助我们分析一个现象,而不是揭示其内部的运作机制
  • 相关关系没有绝对,只有可能性,但强相关关系链接成功的概率还是很高的
  • 利用某个现象的良好的关联物,相关关系可以帮助我们捕捉现在和预测未来
  • 如果寻找关联物
    • 机器计算能力,代替了人工选择一个关联物或者一小部分相似数据进行逐一分析
    • 用数据驱动的关于大数据的相关关系分析法,取代了基于假想的易出错的方法
    • 大数据的相关关系分析法更准确、快速,且不容易受偏见的影响
  • 大数据的核心是建立在相关关系分析法基础上的预测
    • 社会环境下寻找关联物
    • 通过找出新种类数据间的相互联系来解决日常需要 例如用于监测桥梁、机器等的传感器数据用于故障预测

“是什么”,而不是“为什么”

  • 小数据时代获取相关关系和因果关系都耗费巨大(建立假设 >>> 进行实验 ,存在受偏见影响的可能,且数据收集困难),当前这些困难迎刃而解
  • 相关关系:线型关系到非线性关系的发展
  • 快速思维模式与慢性思维模式
    • 快速思维模式使人们偏向于用因果联系看待周围的一切,即使这种关系并不存在
    • 直觉得来的因果关系很多时候并没有加深我们对这个世界的理解,只是给我们一种自己已经理解的错觉。大数据的相关关系将经常证明直觉的因果联系是错误的
    • 因果关系的证明要求单一变量实验,难以在现实中实现
  • 相关关系很有用,它为我们提供新的视角,而且提供视角清洗。而一旦我们把因果关系考虑进来,这些视角就可能被蒙蔽
Tong, Peter