大数据价值所在

　　2013Teradata大数据峰会于4月2324日在北京召开。Teradata天睿公司首席技术官宝立明（StephenBrobst）在会上指出，大数据并非单纯指某一技术，这与Hadoop不同。解决方案供应商总是说一切都是大数据，这其实对IT业发展不利的。本刊记者就大数据领域相关问题采访了Teradata天睿公司首席技术官宝立明。
　　Teradata天睿公司是全球领先的大数据分析和数据仓库解决方案厂商，专注于整合数据仓库、大数据分析和业务应用，针对快速增长的传统数据，以及大数据时代的非结构化和多结构化数据，提供全面的领先解决方案。
　　大数据第一步怎么走？
　　《新理财》：大数据是不是只属于大型企业？如果是中小型公司或者初创的创业企业，他们怎么去利用大数据去开展自己的业务呢？有什么样的思路？
　　宝立明：当然了，规模肯定是最基本的一点，你要有一定的规模，而且也要有专业技术人员，比如拥有像数据科学家这样的人员，才有可能充分地利用大数据做相应的数据分析。
　　而规模比较小的公司，在人员、技能方面可能有所缺失，所以通常他们会选择做外包。而且，他们更多会选择数据仓库即服务这种模型，并不是说要建设自己的基础设施。
　　对于中等规模的企业，通常我们也不推荐用Hadoop，因为Hadoop有更高的复杂性，他们应该更多地使用自己的数据探索平台。
　　《新理财》：现在在很多企业中存在一个现象，虽然有很多数据，但是不知道怎么样迈出应用大数据的第一步。您有什么建议？
　　宝立明：其实，要谈到切入点应该在哪里，我觉得应该是看企业的商业策略或者商业战略。企业需要从商业角度制定使用决策，而并非从技术角度。比如，如果要用大数据来做营销，那么就要通过大数据来分析营销状况，以便帮助你针对客户实现追加销售或者交叉销售；用大数据获得企业风险状况，就可以通过大数据分析客户的行业或者情感，确定这些因素会为企业带来哪些风险。另外，要用大数据欺诈的侦测，这都需要首先确定策略，决定了从哪个地方切入。对于大多数企业来说，通常都是从客户做起，因为客户是重中之重，客户的行为是真正为企业创造价值的地方。
　　《新理财》：一些企业已经在大数据应用方面做了很多尝试，他们发现有些数据其实是没用的，甚至被称为数据污水在数据采集过程中，如何排除或发现这些数据污水？有没有比较好的工具或者解决方案？
　　宝立明：这个问题非常有意思。如果把数据污水加入到数据仓库中，就会污染整个数据仓库，就很难再从中发掘好的数据。这也是Teradata提出统一数据架构（UDA）概念的原因之一。针对Hadoop来说，它永远是把所有的数据都存储起来，但是对于企业数据仓库来说，最好只存放经过清洗的好数据。
　　不过，在谈论哪些数据有用或者没用的时候，其实要分外小心，因为如果觉得这个数据是没用的，很有可能只是暂时还没有发现其价值所在，而最终一天可能发现其中的价值。其实，所有的数据都是有价值的，问题的关键是在什么时间能够发现这些价值。所以，这样就需要那些非常精明、聪明的数据科学家发现数据中蕴含的价值，由此我也建议说把那些数据称为数据污水。
　　我们可以把尚未发现价值的那些数据称为低价值密度的数据，而对于已经发现了价值的数据，建议对给它进行更多的投入挖掘其洞察力。但是对那些你所称作污水数据的数据，就可以存储在低成本的系统环境中，而且绝对不要随意丢弃，假以时日它们其中潜藏的价值将会被挖掘出来。
　　为整合数据仓库、数据探索以及Hadoop的优势，Teradata在业内独家创新架构Teradata统一数据架构（UDA），实现了Hadoop存储、TeradataAster达数据探索以及Teradata数据仓库分析功能的整合，既能帮助企业满足当前的大数据分析，解决数据污水等问题，同时也为企业迎接更大规模的大数据规模奠定开放基础。
　　《新理财》：如您谈到，数据科学家是发现大数据价值的核心人才，在中国怎样寻找像数据科学家这样的数据分析人才？
　　宝立明：数据科学家是全新的岗位，对基于数据决策的企业非常重要，而其目前人才很稀缺。我们需要寻找在实验科学方面具备一定基础的人员，例如应用物理学、应用化学或社会科学专业的人员。总体来看，他们必须具备如下的特质：
　　好奇心。数据科学家应该天生和数据打交道，会从不同角度看数据。
　　经验和直觉。从什么地方开始着手了解数据，需要经验和直觉。
　　设计实验的场景。知道如何虚拟和假设场景，具备分析这些数据以及其中原因的能力。
　　掌握统计学知识。实际上，很多人统计知识非常弱，甚至不清楚关联关系、数据价值以及抽样等。
　　数据挖掘能力。具备预测未来的知识和能力。
　　强大的沟通能力。有能力不用数学语言，而是用商业语言同别人交流沟通。
　　所以，数据科学家将是技术和商业人才的综合体。在商业方面有很强的知识，对于技术有很深的感知，同时能够很快接受这些技术。数据科学家可以贡献出相应数据的分析结果，让决策者利用数据科学家的分析结果做出相应的管理决策。
　　政府数据大有作为
　　《新理财》：现在大数据在企业领域已经展开了比较广泛的应用，在有些政府部门实际上尚未足够重视大数据。如何让政府部门也积极参与进来？
　　宝立明：首先，在谈到大数据的时候要非常谨慎，只有非传统结构性的数据才能够被称为大数据。的确，有很多政府部门是拥有大数据的，比如像美国的国土安全部就接触到大量的大数据，因为国土安全部收集的数据，包括很多视频或者网络浏览点击的数据等。Teradata提供了很多相应的技术支持政府部门使用大数据。
　　另外，交通运输部门也是一个普遍使用大数据的政府部门，例如在新加坡，我们已经帮助新加坡地铁运营系统实现地铁、公交、出租车系统的数据收集。在轨道交通中安装了越来越多的传感器等，它们发回的这些数据，其中包括交通流量，还有使用出租车、火车或者地铁、公交车的各种频次、使用的习惯等大量的数据，这些数据都是需要收集起来做大数据分析的。
　　在医疗领域，我们也同样会涉及到大数据。因为医疗部门的数据既包括传统性的结构数据，也包括大数据，如实验室的结果、DNA的数据、医学传感器的数据等，这些都是需要进行分析的。Teradata在这方面也是投入很多，联合政府帮助医疗部门提高医疗质量，同时降低成本。同时，提高质量和降低成本必须双管齐下，必须要在保证质量的同时降低成本，而这方面要想能够行之有效就只能依靠数据和数据分析。