TechX NLP预习材料

Day 1 环境配置

本日预习目标： 预习内容/知识点：（每个标注【基础】、【拓展】）

1. Anaconda
2. Pytorch or transformer
3. 各种包 huggingface 注册 github（没有的话注册） 预习材料：@谭文轩写个docker教程文档 练习/问题/思考：

Day 2 Python Basics

本日预习目标：熟悉python的基本使用 预习内容/知识点： 【基础】

1. IO
2. 基本运算
3. 循环分支
4. 函数定义

【拓展】

1. 异常
2. 类与对象

预习材料：Day2Practice

练习/问题/思考：如何写一个python函数来读取一个包含list的txt文件，最后返回一个dictionary类别？如何处理这其中的异常？

Day 3 数学基础 - 微积分 Calculus basics

本日预习目标：熟悉基础的微积分运算法则 预习内容/知识点： 【基础】

1. 微分 Derivative
2. 偏微分 Partial Derivative
3. 梯度 Gradient
4. 链式法则 Chain Rule 【拓展】
5. 对数函数求导&其他常用公式 Logarithm 预习材料：视频、音频、文档、网络开源材料的附件或链接 练习/问题/思考：

Day 4 线性代数 Linear Algebra

本日预习目标：掌握矩阵的基础运算 预习内容/知识点：

【基础】

1. 矩阵表示 Matrix Representation
2. 矩阵基础运算 Matrix addtion and multiplication
3. 线性方程组&矩阵 Linear equations & Matrix

【拓展】

4. 矩阵梯度 Gradient of Matrix
5. 变换矩阵

预习材料：Day4Practice

拓展材料：

1.3b1b的线性代数的本质课：主要观看P2 - P5。

2.Gilbert Strang的线性代数：P1,2,3,5。

练习/问题/思考： 矩阵在生活里有哪些实际应用？矩阵的什么特性使它在数据分析，人脸识别，大语言模型里被广泛应用？

Day 5 概率与统计 Probability and Statistics

本日预习目标：掌握基础的统计学原理 预习内容/知识点： 【基础】

1. 概率相关定义
2. 概率相关性质
3. 条件概率
4. 贝叶斯公式 【拓展】
5. 离散&连续 预习材料：视频、音频、文档、网络开源材料的附件或链接 练习/问题/思考：

Day 6 Python&Array

本日预习目标：巩固Day4的内容并且学会使用python实现矩阵和数列相关的运算 预习内容/知识点： 【基础】

1. 数组&矩阵定义
2. 矩阵运算
3. 其他常规操作

【扩展】

1. MSE的矩阵梯度

预习材料：Day6Practice

练习/问题/思考：了解五个numpy库其他可使用于np.array的函数，思考他们在计算中可能的用途。

Day 7 Introduction to pandas, numpy

本日预习目标： 预习内容/知识点：（每个标注【基础】、【拓展】） 【基础】

1. Pandas,numpy安装
2. Data preprocessing (数据清洗) 【拓展】
3. Exploratory data analysis (数据分析) 预习材料：找个numpy tutorial notebook 练习/问题/思考： 个人练习：用Pandas加载并清洗一个数据集，完成数据预处理

Day 8 数据可视化 Data Visualization

本日预习目标： 预习内容/知识点：（每个标注【基础】、【拓展】）

1. matplotlib plotly安装
2. 基础绘图（折线图、柱状图、散点图） 【拓展】
3. 高级绘图（子图、热图、三维图）
4. 动态交互图表 预习材料：视频、音频、文档、网络开源材料的附件或链接 练习/问题/思考： 个人练习：用 matplotlib 创建3个基本图表，展示不同类型的数据或用 plotly 创建一个交互式图表

Day 9 机器学习入门 Intro to Machine Learning

本日预习目标： 预习内容/知识点：

【基础】

1. 什么是机器学习？为什么要机器学习？What&Why Machine Learning: 吴恩达机器学习P2,P3
2. 机器学习的主要分类 - Main categories: 吴恩达机器学习P4~P7
3. 损失函数 Evaluation - Loss function: 王木头学科学-损失函数是如何设计出来的

【拓展】

4. sklearn入门

5. 线性回归 Linear Regression：三分钟了解线性回归

6. 决策树 Decision Tree: 先看这个再看这个。

预习材料：链接见以上

拓展材料：直观理解交叉熵作为损失函数

练习/问题/思考： 机器学习主要有哪些类别？为你想到的类别分别举一个实际生活中的可应用例子。如果你对大语言模型的任务略有了解的话，哪些大模型语言的经典任务可以用来类比这些机器学习里的类别？

Day 10 Pytorch Tutorial

本日预习目标： 预习内容/知识点：（每个标注【基础】、【拓展】） 【基础】

1. Pytorch安装
2. Tensor概念（定义+性质）
3. Device介绍（GPU/CPU） 预习材料：视频、音频、文档、网络开源材料的附件或链接 练习/问题/思考： 个人练习：用pytorch构建并训练一个简单的神经网络 [PyTorch_Tutorial1.ipynb] Day 11 Linguistics 本日预习目标： 预习内容/知识点： 【基础】
4. nlp概述 【拓展】
5. Word vectors/embeddings
6. Continuous Bag of Words 预习材料：视频、音频、文档、网络开源材料的附件或链接 练习/问题/思考：