大数据体系
Big Data System大数据时代，有效利用创新业务内容及模式，通过快速满足用户的个性化需求、增加用户黏性，是大数据为各行业带来的新机遇。海量数据具有体量巨大、类型繁多、处理速度快、价值密度低的四大特征，亟需通过大规模的数据计算能力提供大粒度的数据创新应用。
蓝太平洋大数据平台采用成熟的架构，运用数据采集、数据处理、数据分析、用户画像、数据推荐等技术，可为用户提供大数据平台搭建、数据接口与清洗、访问行为分析、系统监控、互联网数据采集与分析、画像推荐等全链路服务。
数据采集与整合
Data Collection & Integration
传统生产系统数据采集：对于企业生产经营数据或学科研究数据等保密性要求较高的数据，使用特定系统接口等相关方式采集数据，在保证数据安全的前提下完成汇聚整合。
针对网络流量数据，可采用 DPI、DFI 等带宽管理技术进行处理，实现流量层面的数据感知。
网络数据采集：通过网络爬虫或网站公开 API 等方式从网站上获取数据信息，将非结构化数据从网页中抽取出来，以结构化方式统一存储，并支持图片、音频、视频等文件或附件的采集，附件与正文可自动关联。
蓝太平洋结合多年的数据监测和采集经验，形成了一套全面的数据采集系统，覆盖采集网站、微信、微博、论坛、APP、贴吧及各类业务系统数据，支持全网采集、定向采集和智能分析。
大数据分析能力
Data Analysis六大分析能力构建从用户洞察到全端数据的完整大数据分析版图。
用户洞察分析
基于庞大的数据处理能力与广泛的产品覆盖，提供快速、精确、多维度的用户群画像服务，解决人群圈选、运营决策、营销推广等业务问题。
区域人流分析
依托大数据计算平台对人群动态进行跟踪和分析，优化配置城市警力、交通、电信等公共服务资源，辅助商业决策制定。
搜索能力
基于多年搜索技术积累，把搜索引擎组件化、平台化、服务化，形成一套成熟的搜索开放能力。
语言处理
基于并行计算、分布式爬虫系统与语义分析技术，一站式满足 NLP、转码、抽取、数据抓取等需求，支持定制化语义分析方案。
通用推荐
基于海量数据与多年个性化推荐业务经验打造的开放通用推荐系统，业务可天级接入，也支持自定义开发推荐逻辑。
全端数据
客户端埋点、服务端日志、业务数据库、第三方服务全面覆盖，统一管理、自由整合。
数据处理与存储
Data Processing & Storage平台以 Hadoop 分布式架构为底座。Hadoop 实现了分布式文件系统 HDFS，具备高容错性特点，设计用于部署在低廉的硬件上，同时提供高吞吐量来访问应用程序的数据，适合拥有超大数据集的应用。
Hadoop 在可用的计算机集簇间分配数据并完成计算任务，集簇可以方便地扩展到数以千计的节点，通过简单的节点扩展即可实现 PB 级数据处理，为大数据分析与可视化提供坚实的算力保障。
蓝太平洋大数据画像
Big Data User Portrait
蓝太平洋用户画像系统根据用户基本信息和访问行为，为每个用户进行画像建模和精准信息推送，让数据真正服务于个性化运营。
画像与推荐引擎协同运作，基于用户特征与行为数据不断修正模型，提升推荐命中率：
- 协同过滤算法：基于共同用户特征与内容的推荐，未被点击的内容权重自动降低
- 关联规则推荐：为用户推荐不同类但存在关联的内容
- 相似用户推荐：访问过相似数据的用户，推送其他同类用户访问过的内容
大数据实验室
Big Data Laboratory蓝太平洋大数据实验室的搭建目标是覆盖大数据平台的所有组成元素。实验人员、学生可以通过实验室进行实验及测试活动，在相对精简的设备条件下，结合大数据技术特性，按照项目的模式完成业务需求应用。
在实验过程中，实验室根据实际运行情况调整合适的系统组成、软件产品版本与方案服务需求，给出合适的评价，并根据评价结果选择最合适的技术及部署环境。
实验室依托 Hadoop 平台环境，以 x86 PC Server 为主部署云化环境，混搭其他技术平台构建完整的分布式处理环境。
常见问题
FAQ蓝太平洋大数据平台可以提供哪些服务？
平台采用数据采集、数据处理、数据分析、用户画像、数据推荐等技术，可为用户提供大数据平台搭建、数据接口与清洗、访问行为分析、系统监控、互联网数据采集与分析、画像推荐等服务。
大数据平台支持哪些数据采集方式？
一方面通过特定系统接口等安全方式采集企业生产经营数据等保密性要求较高的传统生产系统数据；另一方面通过网络爬虫或网站公开 API 等方式采集网络数据，支持图片、音频、视频等附件采集，并可对网络流量使用 DPI 或 DFI 等带宽管理技术处理。
平台如何支撑 PB 级数据处理？
平台依托 Hadoop 分布式架构与 HDFS 分布式文件系统，在可用的计算机集簇间分配数据并完成计算任务，集簇可方便地扩展到数以千计的节点，通过简单的节点扩展即可实现 PB 级数据的处理。
蓝太平洋大数据实验室有什么用途？
大数据实验室搭建了大数据平台的所有组成元素，实验人员和学生可以在实验室进行实验及测试活动，在相对精简的设备条件下按项目模式完成业务需求应用，并根据实验过程评价并选择最合适的技术及部署环境。
让沉睡的数据，成为决策的力量
欢迎联系我们，获取大数据平台与分析解决方案的详细资料与技术交流