docs:更新数据中台专栏

Author: Java-Edge

docs/.vuepress/config.js

@@ -136,6 +136,14 @@ module.exports = {
                                     link: '/md/biz-arch/00-新一代数据栈将逐步替代国内单一“数据中台”.md'
                                 }, ]
                             },
+                            
+                            {
+                                text: '用户画像',
+                                items: [{
+                                    text: '01-DMP系统简介.md',
+                                    link: '/md/biz-arch/01-DMP系统简介.md'
+                                }, ]
+                            },
                         ]
                     },
                     {
@@ -603,6 +611,16 @@ module.exports = {
                                 "00-新一代数据栈将逐步替代国内单一“数据中台”",
                                 "01-大数据的尽头是数据中台吗？",
                                 "03-构建数据中台的三要素：方法论、组织和技术",
+                                "05-如何统一管理纷繁杂乱的数据指标？",
+                            ]
+                        },
+                        
+                        {
+                            title: "用户画像",
+                            collapsable: false,
+                            sidebarDepth: 0,
+                            children: [
+                                "01-DMP系统简介",
                             ]
                         },
                     ],
@@ -652,6 +670,7 @@ module.exports = {
                             sidebarDepth: 0,
                             children: [
                                 "维度建模理论之事实表",
+                                "维度建模理论之维度表",
                                 "数仓逻辑模型",
                                 "数仓业务调研",
                                 "数仓分层和数仓建模",
@@ -961,14 +980,25 @@ module.exports = {
                         ]
                     }],
                     "/md/AI/": [{
-                        title: "AI",
+                        title: "GPT发展",
                         collapsable: false,
                         sidebarDepth: 0,
                         children: [
                             "Claude3到底多强",
                             "GPTs推荐",
                         ]
-                    }],                    
+                    },
+                    {
+                        title: "机器学习",
+                        collapsable: false,
+                        sidebarDepth: 0,
+                        children: [
+                            "01-人工智能概要",
+                            "GPTs推荐",
+                        ]
+                    }
+                
+                    ],                    
                     "/md/design/": [{
                         title: "重构",
                         collapsable: false,

docs/md/AI/01-人工智能概要.md

@@ -0,0 +1,136 @@
+# 01-人工智能概要
+
+## 1 发展历程
+
+**20世纪50年代**:人工智能概念诞生
+
+- 1956年,“人工智能”这个术语由麦卡锡在达特茅斯会议上首次提出
+- 主要研究逻辑和推理,以及如何在机器上模拟人类智能
+
+**20世纪60年代**:知识表达期
+
+- 开始研究知识表达,使用谓词逻辑来表达知识
+- 开发可以解题的专家系统,例如Dendral专家系统
+
+**20世纪70年代**:知识库期
+
+- 研究汇集知识到知识库,并开发程序利用知识库做推理
+- 出现视觉、语音、运动控制等领域的专家系统
+
+**20世纪80年代**:专家系统盛行期
+
+- 专家系统成为人工智能的主流应用,应用于医疗、工程等领域 
+- 持续完善知识表达与推理系统
+
+**20世纪90年代**:统计学习和深度学习兴起
+
+- 机器学习成为主流,神经网络和深度学习理论进展显著
+- 1997年,深蓝击败国际象棋世界冠军卡斯帕罗夫
+
+**21世纪**:深度学习和人工智能应用爆发期
+
+- 深度学习技术不断成熟,语音、图像、自然语言处理取得进展
+- AlphaGo击败围棋世界冠军,人工智能应用进入爆发期
+
+人工智能发展至今,已经由最初的专注推理转为数据驱动的统计学习与深度学习,并取得了巨大的进步,未来发展潜力巨大。
+
+好的,人工智能主要可以分为以下几个分支:
+
+## 2 人工智能的主要分支
+
+### 2.1 **机器学习(Machine Learning)**
+
+机器学习是人工智能的核心分支之一,它主要是通过算法和统计模型来实现机器对数据特征的自动学习,并对新的输入数据进行预测或决策。常见的机器学习算法有监督学习、无监督学习、半监督学习、强化学习等。
+
+### 2.2 **计算机视觉(Computer Vision)**
+
+计算机视觉通过相机、图像传感器和图像处理算法,来模拟人眼对物体进行识别和跟踪的功能。它可以应用于面部识别、医学影像分析、自动驾驶等领域。
+
+### 2.3 **自然语言处理(NLP)** 
+
+自然语言处理让机器解析、理解人类的语言。它的应用有机器翻译、语音识别、信息检索等,是智能助手、chatbot的关键技术。
+
+### 2.4 **机器人(Robotics)**
+
+机器人技术研究如何模拟人类的行为能力,分为运算能力、感知能力、决策能力、执行能力等。它广泛应用于工业、服务、家居、军事等领域。
+
+### 2.5 **知识表示与推理(KR&R)**
+
+知识表示与推理关注如何用计算机来表示世界知识,并模拟人类经验进行推理。它可用于专家系统、知识管理、智能助手等应用。
+
+以上是人工智能的主要研究方向,它们相辅相成,共同推动着人工智能技术的发展。不同方向都有自己的独特侧重点和应用领域。
+
+## 3 机器学习是什么
+
+使机器通过算法和统计模型对数据进行学习，并对新的数据做出预测或决策。
+
+简单来说,机器学习就是让计算机自己通过数据去“学习”,而不需要人工进行明确的编程。机器学习的基本思想是构建一个可以从数据中 generalization(归纳总结)知识的系统。
+
+## 4 机器学习的工作流程
+
+![](https://codeselect.oss-cn-shanghai.aliyuncs.com/6f38f1ae4d274ab7b324208b437b07d7.png)
+
+1.获取数据
+2.数据基本处理
+3.特征工程
+4.机器学习(模型训练)
+5.模型评估
+结果达到要求，上线服务
+
+没有达到要求，重新上面步骤
+
+### 4.1 获取数据
+
+在数据集中一般：
+
+- 一行数据我们称为一个样本
+- 一列数据我们成为一个特征
+- 有些数据有目标值 (标签值)，有些数据没有目标值(如上表中，电影类型就是这个数据集的目标值
+
+#### 数据类型构成
+
+数据类型一：特征值+目标值 (目标值是连续的和离散的)
+
+数据类型二：只有特征值，没有目标值
+
+#### 数据分割
+
+机器学习一般的数据集会划分为两个部分:
+
+- 训练数据
+
+  用于训练，构建模型
+
+- 测试数据
+
+  在模型检验时使用，用于评估模型是否有效
+
+划分比例：
+
+- 训练集: 70% 80% 75%
+- 测试集: 30% 20% 25%
+
+### 4.2 数据基本处理
+
+即对故据进行缺失值、去除异常值等处理。
+
+### 4.3 特征工程(Feature Engineering)
+
+使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。
+
+意义：会直接影响机器学习的效果。
+
+#### 意义
+
+吴恩达说：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
+
+#### 内容
+
+特征提取：将任意数据 (如文本或图像) 转换为可用于机器学习的数字特征
+特征预处理：通过一些转换函数，将特征数据转换成更加适合算法模型的特征数据过程
+
+![](https://codeselect.oss-cn-shanghai.aliyuncs.com/9166ee48c4564ff89493f9b69823a1e8.png)
+
+特征降维：在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程。
+
+![](https://codeselect.oss-cn-shanghai.aliyuncs.com/139d656526954a228498e05f4a967fc2.png)

docs/md/bigdata/维度建模理论之维度表.md

@@ -0,0 +1,46 @@
+# 维度建模理论之维度表
+
+维度建模是数据仓库设计中的一种方法，用于组织和管理数据以支持分析和报告需求。在维度建模中，维度表是非常重要的一部分，它包含描述业务过程的维度属性，可以帮助用户对数据进行多维分析。描述属性的表通常被设计为维度表。
+
+## 1 维度表概述
+
+维度表是数据仓库中描述业务实体的表，例如时间、产品、地区等。包含描述维度属性的列，如维度键、层级、描述性属性等。
+
+维度表通常具有较少的记录，但有多个属性描述每个记录。
+
+## 2 维度表的特点
+
+- 维度表的记录通常是静态的，不会频繁更新，因为它们描述的是静态业务实体。
+- 维度表的主键是维度键，用于与事实表进行关联。
+- 维度表通常包含层级结构，例如时间维度可以包含年、季度、月等层级。
+
+## 3 维度表的设计原则
+
+- 清晰定义维度表的业务含义，确保每个维度表只描述一个业务实体。
+- 使用稳定的、不频繁变化的属性作为维度表的描述性属性。
+- 为维度表的层级设计合适的字段，支持多层次的分析。
+- 使用适当的维度键进行唯一标识，通常采用自然键或人工主键。
+
+维度表可与任意表组中的任意表进行关联，且创建时无需配置分区信息，但是对单表个数有所限制。通常要求维度表的单表量不超过1000万个。
+
+- 维度表的数据不应被大量更新。
+- 可用MAPJOIN语句进行维度表和其它表的JOIN操作。
+
+## 4 维度表与事实表的关系
+
+- 维度表与事实表之间通过维度键建立关联，形成维度模型。
+- 事实表包含业务过程的度量或指标，而维度表描述了这些度量的上下文和属性。
+
+## 5 维度表的分类
+
+- 时间维度表：描述时间属性，如年、月、日、周等。
+- 产品维度表：描述产品属性，如产品ID、名称、类别等。
+- 地区维度表：描述地区属性，如国家、省份、城市等。
+
+## 6 维度表的优势
+
+- 支持多维分析：通过维度表可以对数据进行多维度的分析，提供更全面的业务视角。
+- 提高查询性能：合理设计的维度表结构可以提高查询效率，加快数据检索和报表生成的速度。
+- 方便理解和使用：维度表的设计符合业务逻辑，使用户更容易理解和使用数据仓库中的数据。
+
+维度表在数据仓库设计中扮演着重要的角色，合理设计和使用维度表可以提高数据仓库的效率和灵活性，为用户提供更好的数据分析和报告支持。

docs/md/biz-arch/01-DMP系统简介.md

@@ -0,0 +1,105 @@
+# 01-DMP系统简介
+
+## 1 是什么？
+
+数据管理平台（Data Management Platform），广泛应用在互联网的广告定向（Ad Targeting）、个性化推荐（Recommendation）领域。
+
+可以把DMP简单理解成一个**数据池子**，接受来自各方的数据，然后融合，处理和优化，最后使用这些数据。
+
+DMP = 数据+管理 +平台
+
+DMP是集数据采集，存储，处理，分析，输出应用于一体。数据应用是搭建DMP的目标！
+
+## 2 数据来源
+
+第一方数据：
+
+- 企业供应商数据
+- 企业会员数据
+- 企业销售数据
+
+第三方数据：
+
+- 用户隐私信息
+- 运营商数据
+- 行业数据
+
+第二方数据：
+
+- 用户行为数据
+- 用户消费数据
+
+## 3 应用场景
+
+- 人群画像
+- 精准营销
+- 营销活动优化
+- 程序化广告投放
+
+DMP系统会通过处理海量互联网访问数据及机器学习算法，给用户标注各种标签。然后，在个性化推荐和广告投放时，再利用这些这些标签做实际广告排序、推荐等工作。无论是搜索广告、千人千面商品信息，还是信息流推荐，背后都有DMP系统。
+
+![](https://codeselect.oss-cn-shanghai.aliyuncs.com/e38334231d7741968042370443d49539.png)
+
+##  4 DMP 行业图谱
+
+第一方DMP：单体企业，以企业CRM系统为主。最终表现是BI平台，挖掘销售线索，打造营销闭环
+
+第二方DMP：广告公司，广告投放为主
+
+- 阿里的达摩盘
+- 腾讯的广点通
+- 头条的巨量千川
+- 京东的京准通
+- 百度的智选
+
+第三方DMP：大数据服务商，以数据交易为主
+
+TalkingData，如个推数据、神策数据
+
+## 5 前景
+
+
+
+![](https://codeselect.oss-cn-shanghai.aliyuncs.com/image-20240326105914773.png)
+
+## 6 DMP帮助用户达到啥效果？
+
+### 用户分析与定向投放
+
+- 广告精准投放
+- 提供丰富标签服务
+
+### 广告效果分析
+
+- 各渠道的获客数量
+- 各渠道的转化率
+- 订单成本分析
+
+### 广告效果优化
+
+- 个性化广告信息
+- 各渠道消费者的复购
+
+## 7 DMP平台必须具备的能力
+
+- 海量多源数据采集能力
+- 多元信息挖掘能力
+- 数据建模能力
+- 丰富的标签体系
+- 海量数据存储，处理，分析能力
+- 敏捷强大的数据分析
+
+## 8 愿景
+
+- 数字化决策支持，让数据能够运用到企业营销策略之中
+- 让数字资产成为企业的大脑，参与到商业场景的每个细节中
+- 在人工智能的加持下，实现数据智能化洞察、决策和运用
+
+## 9 DMP系统怎么搭建？
+
+对于外部使用DMP的系统或者用户来说，可以简单地把DMP看成是一个键-值对（Key-Value）数据库。广告系统或推荐系统，可以通过一个客户端输入用户的唯一标识（ID)，然后拿到这个用户的各种信息：
+
+用户的人口属性信息（Demographic），如性别、年龄
+有些是非常具体行为（Behavior），如用户最近浏览商品，用户的手机型号
+有些是通过算法系统计算出来的兴趣（Interests)，如用户喜欢健身、听音乐
+有些则是完全通过机器学习算法得出的用户向量，给后面的推荐算法或者广告算法作为数据输入。