-
Thinking in BigData(六)大数据技术核心之ETL
所属栏目:[大数据] 日期:2021-01-08 热度:158
? 前几篇文章都是根据自己所见所知,在前人的基础上加以整合,对大数据概念有了初步的了解。接下来的四篇文章,抛开大数据的概念与基本知识,进入核心。我们从: 数据采集、数据存储、数据管理、数据分析与挖掘 ,四个方面讨论 大数据在实际应用中涉及的技术[详细]
-
Elastic Stack (ELK 5)- 运维数据分析系统
所属栏目:[大数据] 日期:2021-01-08 热度:83
概述 本文将简单介绍运维数据分析系统 Elastic Stack,并描述其基础部署过程。 简介 ELK(Elasticsearch + Logstash + Kibana)用于日志集中分析系统,Elasticsearch 用于存储、搜索、分析数据,Logstash 用于接收并处理数据,Kibana 提供 Web UI 管理数据,[详细]
-
生态环境大数据分析应用示范平台总结
所属栏目:[大数据] 日期:2021-01-08 热度:107
生态环境大数据分析应用示范平台总结 1、前言 这个项目从2015年12月开始到2016年11月结束,历时一年,一年的时间有接近八个月的时间我待在呼和浩特。经历了冷暖交替,基本熟悉了当地的饮食生活习惯,结束的时候真有点依依不舍。这是第一个独立负责完成的项目[详细]
-
四种BI 开源工具介绍-SpagoBI,openI,JasperSoft,Pentaho
所属栏目:[大数据] 日期:2021-01-08 热度:182
1 BI系统的简述 从技术角度来说 BI 包含了 ETL、DW、OLAP、DM等多环节。简单的说就是把交易系统已经发生过的数据,通过ETL工具抽取到主题明确的数据仓库中,OLAP后生成Cube或报表,透过Portal展现给用户,用户 利用这些经过分类、聚集、描述和可视化的数据,[详细]
-
神经网络:请不要开始就让我sigmoid(wTx),谢谢!
所属栏目:[大数据] 日期:2021-01-08 热度:59
神经网络:请不要开始就让我sigmoid(wTx),谢谢! 引子 学习机器学习,翻阅了一些神经网络的文章,上来就是sigmoid ( 1 / ( 1 + e x p ( x ) ) )和W T X,让不少初学者摸不着头脑。一些市面上评价很高的机器学习的书也是直接开始sigmoid和收敛性的讨论,想踏[详细]
-
数据处理之one-hot
所属栏目:[大数据] 日期:2021-01-03 热度:133
分类方法,通常需要把数据的各个属性转换为一个向量表示,这样每条数据的特征就是一个向量,向量上的每个维度就表示了一个特征属性。 但是如果要转换的数据包含了3种属性,比如身高,体重,年龄。A是女,168cm,70kg,30岁;B是男,180cm,90kg,20岁,那么直[详细]
-
米斯特白帽培训讲义 挖掘篇 厂商寻找
所属栏目:[大数据] 日期:2021-01-02 热度:154
米斯特白帽培训讲义 挖掘篇 厂商寻找 讲师:gh0stkey 整理:飞龙 协议:CC BY-NC-SA 4.0 厂商是什么 厂商可以是一个网站(Web 应用),或者一段程序(PC、移动应用)。从白帽子的角度来说,两个都是厂商,都可以挖掘。 基于漏洞平台的寻找 现在国内有三大漏[详细]
-
七牛数据处理再添新兵——图片瘦身
所属栏目:[大数据] 日期:2021-01-02 热度:175
我们现在已经很难想象,图片的出现,竟然只是作为分割文字和缓解疲劳的工具。 随着智能手机的普及,以及像 in、nice 这样以分享图片为主的应用的流行,人们记录生活、分享感悟的方式不再局限于文字,而是逐渐被拍照取代,拍照也不需要那么刻意为之。 无疑,[详细]
-
[bigdata-007] Hortonworks HDF搭建流程
所属栏目:[大数据] 日期:2021-01-02 热度:96
1. hdf docker搭建 1.1 hdf的镜像xemuliam/hdf 镜像链接 https://hub.docker.com/r/xemuliam/hdf/ 下载镜像: docker pull xemuliam/hdf 1.2 创建容器 docker run --name dck-hdf-8080 -p 8080:8080 -d xemuliam/hdf 1.3 进入容器bash交互 docker exec -it d[详细]
-
BI工具选型指标,如何选择好的BI工具
所属栏目:[大数据] 日期:2021-01-02 热度:86
随着信息化的发展,越来越多的企业将商业智能 BI 的部署列入了企业信息化建设的下期目标, BI 市场需求的日益旺盛,也催生了 BI 厂商激烈的市场竞争,带动了国内 BI 工具技术的发展及成熟。 那么作为一个正在或者即将要进行 BI 工具选型的企业,面对百花齐放[详细]
-
如何正确理解商业智能(BI)?
所属栏目:[大数据] 日期:2021-01-02 热度:135
为了让读者更加清晰地把BI与MIS系统区别开来,本文讨论了BI与DSS(决策支持系统)、EIS(经理执行系统)的主要区别。最后,本文分析了制约BI健康发展的若干因素。 引言 ??? 商业智能(BI)是目前在国外企业界和软件开发界受到广泛关注的一个研究方向。可以用[详细]
-
BI选型流程建议
所属栏目:[大数据] 日期:2021-01-02 热度:183
一、成立选型小组 ? ? ? ? 成立选型小组是企业确定进行软件选型所需要做的第一步。选型小组将负责整个软件选型过程的执行。选型小组成员至少包括公司副总以上领导一名、 CIO 一名、业务负责人一名。 二、评估需求 ? ? ? ? 评估需求是指企业成立 BI 选型小组[详细]
-
BI离不了报表
所属栏目:[大数据] 日期:2021-01-02 热度:70
前不久写了一篇文章:报表 ?VS BI ,指出,报表不等于 BI 。这几天碰到一个客户,让我不得不说出另外的一句话,那就是, BI 离不了报表。 ? ? ??演示中,客户的领导发表意见:你们这个还是报表,我们要的不是报表。比如库存,不同的地方的库存标准是不一样的[详细]
-
企业是否真的需要BI?
所属栏目:[大数据] 日期:2021-01-02 热度:116
这是一个发人思考的问题。 BI 对很多人而言或许还是太过高深,换个角度来问比较容易理解:贵公司需要数据分析吗?财务分析、成本分析或者市场分析?贵公司需要好的分析工具来加速分析的速度吗?如果上述的两个答案是肯定的,贵企业是需要 BI 的。 ? 简单地说[详细]
-
有了ERP,还缺什么?
所属栏目:[大数据] 日期:2021-01-02 热度:80
一、 报表分析方面需要优化 ERP 是一个事务处理系统,它的重点在于进行业务的过程记录与控制,在报表分析处理方面有着先天的缺陷: ( 1 )无法实现不同管理角色的分析要求 中虽然有着大量的报表,却无法按不同管理角色来个性化设置分析平台,同时,繁琐的查[详细]
-
传统BI为什么注定会失败?
所属栏目:[大数据] 日期:2021-01-02 热度:197
? ? 华联商超数据中心总监付立虎曾经讲过这样一个故事:北京华联作为国内大型商业超市,每天来自全国门店的交易数据有千万条,每年仅用户购买的数据累计就超2TB,对于数据分析应用的需求非常强烈。 ????为此,华联在2008年专门引入SAP的BW系统用于数据分析,[详细]
-
深度挖掘基金经理的座驾和基金投资风险之间的关系
所属栏目:[大数据] 日期:2021-01-02 热度:151
本文转自: 量化24小时 已获取官方授权,如需转载,请与原作者联系。 如果一定要贴标签的话。。。。。。 以上是两位基金经理。你的钱会投给谁呢? 这是一个严肃的学术问题,有不少学者研究了sensation seeking和投资风格之间的关系。今天,我们带来的这篇文[详细]
-
大数据分析中国女人罩杯分布 祖国山河一片A 大罩杯的都在广东
所属栏目:[大数据] 日期:2021-01-02 热度:163
报道大数据企业: 大数据产品、大数据方案、 ? 大数据人物 分享大数据干货: 大数据书籍、大数据报告、 大数据视频 本文系大数据人精选自产品公园。 欢迎更多优质原创文章投稿给大数据人:admin@bigdata.ren 小编微信:data985 作为一个工科小男生,不是很懂[详细]
-
学习大数据为什么要先学Java?
所属栏目:[大数据] 日期:2021-01-02 热度:185
计算机编程语言有很多,目前用的多一点的就是Java,C++,Python等等。目前大多数学习大数据的人都是选择学习Java,那Java到底好在哪呢?为什么学大数据之前要先学Java呢?我们今天就来分析一下。 不少想学习大数据的零基础学员都知道,学大数据部分课程之前[详细]
-
?专访 | 今日头条2016 Byte Cup大赛实战经验分享:要充分挖掘模
所属栏目:[大数据] 日期:2021-01-02 热度:58
机器之心原创 作者:杜夏德 今日头条技术副总裁杨震原在 2016 Byte Cup 世界机器学习比赛颁奖仪式上说,「我们期望经过算法解决问与答的匹配功率疑问。这个疑问即使是小幅的改善,也会影响到数以百万计的用户。」 近日,由今日头条与中国人工智能学会及 IEEE[详细]
-
hdu1402 FFT 大数乘法
所属栏目:[大数据] 日期:2021-01-02 热度:105
#includeiostream #includestdio.h #includestring.h #includealgorithm #includemath.h #includevector #includemap using namespace std ; #define rep(i,a,n) for(int i=(a);i(n);i++) const int N = 1e6 + 10 ; int n; struct Com{ double r,i; Com( dou[详细]
-
教你4步挖掘设计灵感,30分钟打造出一款圣诞节Banner
所属栏目:[大数据] 日期:2021-01-02 热度:52
写在前面 大家都知道没灵感的后果是什么吧?比如做了一稿又一稿始终get不到老板的兴奋点啦,无止境地加班啦,做着做着感觉不对劲想要中途弃稿啦,时间过了一大半却还迟迟没有动手执行啦等等,所有这些对于创意人或设计师来说可都是噩梦般地存在[详细]
-
零基础如何学习SAP BI模块
所属栏目:[大数据] 日期:2021-01-02 热度:150
SAP的BI(商务智能)产品是一个决策支持系统,运行在OLAP环境,包括BW与BO,BW为数据仓库,是对企业的历史数据的存储。对企业的历史数据进行面向主题的分析,支持数据的钻取,可以使决策者更加清晰准确的分析企业各部门业务的发展状况。但是作为一名零基础的[详细]
-
SAP BI工具的优缺点
所属栏目:[大数据] 日期:2021-01-02 热度:63
虽然市场上BI suite不多,比如Microstrategy和Pentaho,但都一直在和SAP的Business Objects BI Suite竞争。 很多比较领先的BI工具供应商,比如Tableau或者QlikView或许能在某些领域超过SAP,但SAP BI Suite的某些功能还是无法实现。? SAP BI工具最大的优势在[详细]
-
RapidMiner缺失数据处理——去掉数据大量缺失的变量
所属栏目:[大数据] 日期:2021-01-02 热度:109
最近做数据挖掘,发现RapidMiner是一款数据清洗、处理和转换的好工具,尤其在数据量不大的情况下。和R语言相比,RapidMiner在数据处理方面要简单直观得多。虽然RapidMiner的功能可能不如R强大。另外,我们也可以在RapidMiner中可以直接利用Java/Groovy来编写[详细]
