全国客服:400-630-6658

大数据平台与分析
Big Data Platform And Analysis

大数据体系

大数据时代有效利用创新业务内容及模式,通过快速满足用户的个性化需求,增加用户黏性,是大数据为运营商带来新的机遇。 迫切需求通过大规模的数据计算能力提供大粒度的数据创新应用。根据大数据体量巨大、类型繁多、处理速度快、价值密度低的四大特征,大数据处理的关键技术,主要体现在能够有效地处理大量的容忍经过时间内的数据。

蓝太平洋大数据平台采用成熟的架构,采用数据采集、数据处理、数据分析、用户画像、数据推荐等技术,可以为用户提供大数据平台搭建、数据接口与清洗、访问行为分析、系统监控、互联网数据采集与分析、画像推荐等服务。

数据采集与整合

传统生产系统数据采集: 对于企业生产经营数据或学科研究数据等保密性要求较高的数据,使用特定系统接口等相关方式采集数据。

网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来,将其存储为统一的本地数据文件,并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集,附件与正文可以自动关联。除了网络中包含的内容之外,对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。

蓝太平洋结合多年的数据监测和采集经验,形成了一套全面的数据采集系统,包括采集网站、微信、微博、论坛、APP、贴吧及各类业务系统数据,并可以进行全网采集、定向采集和智能分析。

数据分析

数据处理与存储

Hadoop是一个能够对大量数据进行分布式处理的软件架构, Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。

Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中,这使得其可以通过简单的节点扩展,实现PB 级数据的处理。

蓝太平洋大数据画像

蓝太平洋用户画像系统,根据用户基本信息和访问行为为每个用户进行画像建模和精准信息推送。

大数据实验室

蓝太平洋大数据实验室搭建的目标就是搭建所有大数据平台的组成元素,实验人员、学生可以通过实验室进行实验以及测试活动,利用大数据实验室的环境,在相对精简设备条件下,结合大数据技术的特性,按照项目的模式,完成一定的业务需求应用。

在业务需求应用实验的过程中,大数据实验室根据实验的过程调整合适的系统组成、系统或软件产品版本、方案的服务需求,给出合适的评价,并根据评价的结果选择最合适的技术及部署环境。

数据因其海量数据的最基本的要求,主要依托分布式处理环境,实验室设备以x86 PC Server为主。基于x86设备部署云化环境。大数据实验室环境依托Hadoop平台环境,混搭其他技术平台构建完整的实验室环境。

5*8小时技术支持电话:010-62978955  客服1:010-62911971  客服2:010-62980720  客服3:010-62910342
北京蓝太平洋科技股份有限公司 © 2000-2017版权所有  京ICP备05006839  京公网安备11010802016364号