关于大数据项目,有一个好处经常被提及——那就是从过去无法取得数据的地方(至少是无法以划算的方式取得数据的地方)切入,深入理解企业的运营状态,来激发业务的活力。这牵扯到了社会化数据、移动数据以及云数据,当然也包括从管理得当的传统关系型数据源中获取的历史数据。从基于文本的数据以及对关系的挖掘中,可以了解您的客户及合作伙伴对您的企业有着怎样的感受,比如说,通过对搜索索引和网页访问的分析。如果您知道这些数据之间的关系历史,就可以作更深入的了解。这里要再强调一下,关键在于测试那些能转化为更好的“行为模式”作为介入模型。在这个过程中,需要满怀实验精神与好奇心。Hadoop真切感受到了这种体会,它使得IT能存储原来那些在经过一段时间后就被丢弃的数据,并且以低成本、更有效的方式来利用它们,用强大的数据处理能力来解决非结构化数据,而传统的数据库则并不适合采用这样的处理方式。
在探索如何将大数据项目关联起来、并让它对于业务更有意义的过程中,各个阶段都需要试验。这些试验可以帮助人们跨越传统的业务与IT之间的壁垒,分享能展现行为模式的业务规则。一些企业创建了新的业务组织架构,使得业务分析师能够与数据库专业人员在统一的领导下真正达成富有团队精神的协作。很多人认为这是一个不可逆转的转变,或许可以最终填补长期存在的IT与业务部门间的鸿沟。
不久前,我们拜访了一个大型运输及物流公司的IT负责人。这家公司已经拥有了可以支持成熟、实时商业智能实践的平台,他们正在将Hadoop环境引入这个架构中。我问他:“你为什么需要Hadoop?”他回答说:“Hadoop对于业务内容问题进行了优化,比如及时将货物运交给特定客户,并且显示司机的名字以及他正在进行的活动等等。我们希望利用其他的模型来主动地接触客户,并且与正确的部门联系。我们现在正在去除“中间人”这个概念——无论是业务方面的还是IT方面的。也就是说,允许业务方面不通过任何中介就可以直接以互动的方式提出问题,并获取答案。这对我们的信息管理实践来说,文字信息的整合非常关键,而且可以通过Hadoop这样的分布式环境进行不断的扩展。行为分析数据及预测是取得成功的关键。当然,这一切都将与管理指示板以及运营报告等我们在信息管理实践中已经提供的部分进行整合。”
他让业务最终能跳出原来的条框去思考怎样更好地接触他们的客户和合作伙伴,同时还能缩减运营费用。还有一个很重要的成效是,他列出来了一个“业务问题”条目,让架构工程师们可以将工时、闲置时间、补偿条款等等业务价值引入到技术架构中。通过这一试验过程,IT与业务方面的合作提高了效率。
在下一篇博客中,我们会更多地谈谈在大数据项目中信息管理与企业交互的需求与潮流。
在上一篇博文《释放大数据潜能(之二)————对大数据的业务试验和好奇心》里,我们讨论了在与大数据相关的业务探索中业务试验和好奇心处于核心位置的原因。在这篇博文里,我们重点讨论:企业该如何通过加速转变到以数据为中心,来获取大数据所带来的好处,这里包括对信息管理路线图的重新修订和升级。
埃森哲在“2011科技视野(Technology Vision 2011)”中指出:“只从应用这种单一视角来审视问题的时代即将终结,未来的世界需要IT领导者们通过数据的视角来考虑数量、处理时间以及数据分布等问题。”没错,数据已经处于核心位置,许多企业开始以数据为中心,以平台的视角来重新评估IT项目,希望以此获取大数据带来的好处。对于信息管理人员而言,这是一个非常好的时机,以全新的视角审视这些准备多年的主题,但要特别注意下面五个方面:
1、关注数据本身,淡化传统数据取样所需的假设
今天,管理信息的不同之处在于:企业所存储数据的数量比以前规模大、周期长,因为大家很清楚,通过这些数据可以改善业务结果,若能把大规模的交易数据与互动数据——特别是那些社会化互动数据结合起来更是如此。仅仅是几年前,许多企业还在投入大量资源来开发假设模型及规则,以便更好地支持决策或运营。随着Hadoop的快速成熟以及其它价格低廉的计算资源的出现,新的“一个都不能少”的数据管理模式——管理并处理所有单一数据的能力已经触手可及。企业现在可以将注意力放在数据本身,而摒弃那种依靠假设及试试看的方式。
2、重新考虑数据技能——要能大幅提升在解释、分析和预测方面的能力
随着数据为中心平台的产生,那些搜索数据、整合数据以及修复数据等繁琐的工作得到了极大的减轻。过去IT部门与业务部门之间,以及IT团队之间来回往复的扯皮也得到了相当程度的减少。这意味着对分析任务的描述可以更多地把重心放在跨域解读、深度分析及预测上,包括情景分析等等。随着IT开发与架构团队能把更多的时间投入到更增值的任务当中,而不是为了保证设备运转而疲于奔命,业务与数据分析师在以数据为中心的环境中就会比以往更能发挥才智。这种转变所能带来的影响因企业而异,但对于企业架构设计及人才战略而言,都是同样重要的。
3、更快的分布式决策方式已经到来
在已经到来的大数据时代,业务行动所需的时间将占据更高的优先级。业务管理层也同样认为:迅速作出决策对于企业灵活性而言不仅必要、而且是成功的关键因素。在这样的分布式环境中,透明度与可靠性变得越来越重要。成功的企业必须能对所有的员工决策拥有一个一致的、完整的视图,与能企业高层、管理者、客户及合作伙伴进行互动,无论是在企业内部还是跨企业。集成数据以确保有效的沟通、合作以及完整性,特别是在社会化媒体等方面,要被纳入到考虑范围中。分布式决策及运营支持可以支撑数据虚拟化及主要数据管理的需求,从而成为驱动业务的逻辑支撑点。另外,它也同样需要依靠存储地点不一、格式各异的数据作支持。
4、解决矛盾——流程VS数据
多年来,数据和流程之间的矛盾一直悬而未决。今天的企业数据整合平台可以更容易地将数据与流程分离。你可以在不绑定物理数据的情况下对数据进行操作,因为你可以以逻辑数据对象的方式来接触它们。数据实体与抽象层可以从物理接口上各自进行处理。在这项技术出现之前,企业为解决数据和流程之间的矛盾,不得不在技术需求、知识、业务流程的所有权以及业务流程工具与传统数据中心工具方面作取舍,而且,还必须要跟上业务流程及业务规则快速变化的脚步。
5、从以应用为中心到以数据为中心
应用总是来来往往,但是数据依然保留。你可以更换或者放弃应用,但你不能完全放弃数据,无论它是否已经不再符合分析或其他的运营需求。以数据为中心的视角来观察世界成为必须,特别是当我们希望将挑战转化成机会的时候。现在,有了来源于大数据的环境、关系、观察及影响,采用以数据为中心的视角,我们处在一个可以重新构建我们信息管理日程及重新讨论IT投资的有利地位。
基于对大数据的相同需求,业务部门与IT部门可以坐在一起,通力合作。好消息是,这仅仅是大数据航程的开始,你的职业生涯将会留下光辉的印记。
从“释放大数据的潜能”系列的第四篇文章开始,我们将讨论如何重新考虑大数据移动战略来推动企业采用更有条理的、可衡量的方式,借助包括位置智能、环境灵敏度、时间灵敏度及个人互动等移动性所带来的独特优势,更快地达到目标。
在上一篇博客中,我们讨论了有关大数据信息管理日程的五个值得考虑的方面。在接下来的三篇博客中,我们将讨论以下三个长期趋势:移动、云及社会化是如何推动大数据演变的。我们将从“移动”开始讨论。有很多理由可以解释,为什么移动性所带来的冲击会让那么多人为之着迷。在德勤2011年主办的应用移动技术趋势论坛上,对智能手机、平板电脑及其他非传统连接设备(比如机顶盒、车载信息服务系统、电视游戏以及嵌入式设备)感兴趣的用户数比对其他产品类别感兴趣的用户数其增长速度要大得多。快速发展的移动正以三种方式推动大数据的产生与使用:
使用者及其所使用的设备比过去带来了更多的处理数据。使用移动设备能更快更便捷地完成任何处理,比如在咖啡厅里利用iPad来买书,或者使用黑莓完成银行交易等。随着越来越多的企业顺应消费趋势而采用了智能手机、平板电脑以及其他移动设备,处理数据的增长速度变得越来越快。
随着使用者及设备前进的步伐越来越快,步子越来越大,地理位置信息同各种来自社会化媒体的文字、图片、传感器数据、CDR、车载信息以及其他交互数据,在带来安全及个人隐私问题的同时,还带来了前所未有的商业机会。
类似Hadoop这样的大数据处理正在解决不断增长的数据密度与数据容量问题,包括应用日志、网络流量日志、网络日志以及用户/顾客数据。移动性正在同时推动大数据的产生与使用。
我们需要面对一个现实:无论人们是否喜欢,他们都在被追踪。随着不断增加的监控、公交卡以及其他集成在设备中的基于位置的服务,人们逐渐接受了“你的位置正在被追踪”这一现实。简而言之,我们需要在降低移动性所带来的隐私及安全风险的同时,更勤奋地挖掘它所带来的机会。我们所提出的问题主要与如何处理移动性相关的大数据相关,包括:
最终用户要求能从他们的应用和设备上快速且可靠地访问数据,我们是否已经准备好了?我们是否能够聚集、解决并合并大范围的移动流以及其他基于位置的数据,将其转化为有意义的、可行动的以及可信的发现?
我们是否已经拥有了类似中间件、缓存、瘦客户应用以及协议这类关键技术的支持?随着移动性推动因素,例如表单因素、底层网络、用户界面以及设备的计算能力,不断带来冲击,我们如何支持数据架构?
我们是否已经准备好支持为移动设备使用者与工作者提供的致密性、解析度以及反应时间?这些用户是否有着不同的角色与需求,并且与其他用户相比有着不同的行为方式?
我们考虑进行哪方面的流程改变,以更好地服务我们那些已经改变了业务模式的用户与合作伙伴?
您如何利用从您的移动客户那里得到的经验教训来提升您的业务?我们是否正在解决真正的业务问题并且创造价值?
随着移动设备越来越普及并且相互连接,企业机构正在寻求在移动的世界中创造产品及服务。其中最重要的是具有能够使业务“移动化”的潜力——使得员工及合作伙伴更具效率,并且与通过使用移动设备而改变了态度与行为模式的客户进行协作,并为他们提供支持。这一切正在自下而上地改变企业并对品牌带来冲击,就连同我们自己也在改变与其他人交流的方式。在我们想象一个移动性世界的同时,我们可以预见到一些新形态的业务机遇正在浮出水面,这些机遇穿越了传统的壁垒、跨地域、跨行业、跨应用。这意味着,从此以后我们必须超越自己的传统的关于样本数据及假设的想法,因为许多有趣的点子、趋势以及模式正潜伏在大数据与“移动”的交点上。想了解更多的话,请参考US Xpress是如何做的。这家运输行业中移动智能的先行者,借助Informatica集成平台,把移动驱动的数据与他们其他的数据进行整合,从而将大数据转化成了巨大的机会。
上一篇博客里,我们讨论移动、云及社会化这三个长期趋势中的移动计算是如何推动大数据演变的,在这篇博客里,我们把注意力转向第二个长期趋势:“社会化”。这里所讲的“社会化”要比社交媒体及其分析能力(比如意见分析)更为广泛。Andreas S. Weigend在题为“数据财富分享驱动成功”的文章中指出:“社交数据革命代表了客户观念的变化。本质上讲,当看到分享带来好处而没有明显的危险时,人们是愿意分享他们的数据的。如果在运营业务时不利用社交数据将是愚蠢的决策。当你利用了社交数据所提供的洞察力时,你不仅可以用更有效的方式做同样的事情,而且还可以做完全不同的事情。”现在,社交数据革命正在加速,它将促进企业使用更多的社交数据。
以Chatter这个工具为例,我们可以在salesforce.com获得这个工具,并利用它进行私密和安全的协作,包括跟踪人、信息和组,分享文件和更新状态等。
我已经开始跟踪一些我感兴趣的人、项目、销售机会和见解。不断能发现可以帮助我把工作做得更好或能让我以不同方式或更广阔的思路来完成工作的新人和新活动。例如,我在Chatter上创建了一个关于 大数据的组,在这个组里,我及时更新我的同事们从客户那里了解到的关于大数据的内容,并且尽可能地分享更多关于大数据或Hadoop的最新文章。由于可以超越人而跟踪主题、组或者机会,Chatter帮助我发现新的想法或者验证我的观点,而这些靠传统的渠道显然是难以实现的,因为我的想法所能影响的范围,从功能、工作角色或区域等方面都超越了我所在的国家中的人或组。Chatter让我的社交网络变得有弹性。
这些真实的体验让我认识到:
社会化数据能以不同的方式获得见解——它可以是特定的也可以是泛指的方式,而不仅仅是指获得更多的追随者或影响更大的社区。因此,当你的大数据被社会化后,可能谈论它的人群更少,但产生的影响却可能很大。总而言之,它可以让我们通过共享信息变得更聪明,通过获得见解而更快地采取行动。
客户和其他分析的见解是数据社会化有价值的方面。此外,通过在社交网络上分享见解和活动,我们可以了解新的和更好的业务方式,这些信息会潜意识地促使我们重新考虑如何更将有地与同事和客户交互。
通过控制隐私以及制定不同等级的安全设置,才能让我们以适合自己工作习惯和个性的方式分享信息,因为每个人对自己所能和愿意分享多少信息有着不同的感受。这将有助于我们克服不同国家和民族的文化差异来分享我们的观点和活动。不仅如此,人们还可以不断改变信息分享的程度和频率。
从应用和数据库系统中把社交数据和传统交易数据结合起来,将会让我们拥有更深刻的见解进而改善运营效率。如今,我们已经很难想象,再回到过去那种只能在很有限的交互数据的信息孤岛中工作生活的情形了。
更重要的是,我们看到越来越多的机构把数据类型的使用扩大到社交媒体之外,包括空间地理信息、传感器、文本、科学数据等等,成为社会化战略的一部分。社会化数据并不仅仅是针对具备高层次信息管理成熟度的大型企业的。大门是开放的,所有规模和成熟度的企业都可以开始实践数据社会化。事实上,专业知识相对有限的公司现在就可以通过社交数据,跟踪销售状态,发现产品使用或对时间敏感的客户要求作出快速响应。我们相信,数据的社会化将为数据使用的高效、创新和增值做出直接的贡献。