[WeeklyReports] 2024.08.12~2024.08.25 周报汇总

[FlamingoPg]

[WeeklyReports] 2024.08.12~2024.08.25 周报汇总

请各位学员在本 issue 下以 comment 的形式填写周报摘要，ddl 本周三晚，（sorry我发晚了）格式示例如下：

### 姓名

xxx

### 本周工作

1. xxx
2. xxx
 
### 下周工作

1. xxx
2. xxx

### 详细周报链接：

- https://github.com/PFCCLab/Camp/pull/xxx

护航计划

项目一：PIR 专项

• @gouzil (@SigureMo )
• @zrr1999 (@SigureMo )
• @AndPuQing (@wanghuancoder )
• @ooooo-create (@wanghuancoder )

项目四：组合机制建设

• @zeroRains (@xiaoguoguo626807 )

项目五：框架API易用性提升

• @NKNaN (@zhwesky2010 )

项目八：PaddleDetection 套件能力建设

• @Yang-Changhui (@lyuwenyu)
• @MINGtoMING (@lyuwenyu)

项目十：推理Predictor 及 IR Pass建设

• @yinfan98 (@yuanlehome )
• @Hanyonggong (@yuanlehome )
• @aooxin (@vivenfanghuagood)
• @Layssy (@kangguangli )

项目十一：模型迁移工具建设

• @Xuxuanang(@zhouwei)

开源之夏

项目一：飞桨PaddlePaddle-PIR适配2ONNX推理转换

• @qzylalala (@0x45f )

项目二：飞桨PaddlePaddle-动转静支持子图高阶微分

• @CSWYF3634076 (@SigureMo )

项目三：飞桨PaddlePaddle-PIR适配VisualDL模型可视化

• @cse0001 (@changeyoung98 )

GLCC

项目一：为Paddle推理新增Pass管理功能

• @xue-yun-liang (@yuanlehome )

项目二：为开源大语言模型推理增加优化Pass

• @lszxb (@vivenfanghuagood)

项目三：飞桨Save/Load体系功能升级适配PIR

• @eggman-1024 (@xiaoguoguo626807 )

项目五：飞桨稀疏算子API升级适配PIR

• @epiphanyer (@risemeup1 )

项目六：动静统一自动并行支持 MoE 专家并行策略

• @fxfxfxfxfxfxfxfx (@pkuzyc )

[epiphanyer]

姓名

曾志鹏

本周工作

1. 对于仅在动态图下有定义的api，需要对python API进行适配升级，并补全静态图下的单测。主要包括paddle/sparse/binary.py中的二元算子。

下周工作

1. 查漏补缺，对一些没有编写PIR分支的算子API继续编写PIR分支代码，并且为没有编写静态图单测的测试代码编写PIR静态图单测。

详细周报链接：

• [WeeklyReport] epiphanyer 2024.08.12~2024.08.25 #357

[zeroRains]

姓名

卢林军

实习项目

组合机制建设和机制推全

本周工作

1. 为expand_grad op 添加动态shape支持

相关 PR：

• [Prim][PIR] Support the dynamic shape for expand_grad PaddlePaddle/Paddle#67481

2. 为stack_grad op 添加动态shape支持

相关 PR：

• [Prim][PIR] Support the dynamic shape for stack_grad PaddlePaddle/Paddle#67502

3. 为pad_grad 添加动态shape支持

相关 PR：

• [Prim][PIR] Support the dynamic shape for pad_grad PaddlePaddle/Paddle#67606

4. 为scale_grad, square_grad, transpose_grad, swiglu_grad添加动态shape单测，并按照字母序重新整理单测

相关 PR：

• [Prim][PIR] Add the dynamic shape test case for scale_grad, square_grad, transpose_grad and swiglu_grad PaddlePaddle/Paddle#67590

下周工作

1. batch_norm，prod，dropout反向适配动态shape

详细周报链接：

• [WeeklyReport] zeroRains 2024.08.12~2024.08.25 #355

[Xuxuanang]

姓名

许轩昂

本周工作

1. 完成对torch.cuda.amp.autocast，torch.diff，torch.distributed.rpc.shutdown等约80个单测的case增强，并修改其中部分算子的json配置文件，修改SoftMaxMatcher,提交了4次PR。已有两次PR成功合入主分支。

相关PR:

• 单测case覆盖 PaddlePaddle/PaConvert#453
• 单测case覆盖2 PaddlePaddle/PaConvert#455
• 单测case覆盖3 PaddlePaddle/PaConvert#457
• 单测case增强4 PaddlePaddle/PaConvert#458

2. 修改torch.hsplit，torch.Tensor.hsplit等部分存在重载问题的api的映射文档，使其与实际代码对齐。

相关PR:

• Fix API docs PaddlePaddle/docs#6844

下周工作

1. 继续完成剩余单测的case增强，开发缺失Matcher
2. 对齐改动的api映射文档

详细周报链接：

• [WeeklyReport] Xuxuanang 2024.08.12~2024.08.25 #358

[Hanyonggong]

姓名

韩用功

实习项目

推理Predictor 及 IR Pass建设

本周工作

1、fused_get_rope kernel算子支持rope_scaling，修复llama3.1精度问题

2、参考trtllm/vllm整理paddlenlp推理文档

详细周报链接

• [WeeklyReport] Hanyonggong 2024.08.12~2024.08.25 #360

[Layssy]

姓名

李伟

实习项目

推理Predictor 及 IR Pass建设

本周工作

算子的 Marker 的开发 和单测的实现

1. 提交了elementwise_max、 elementwise_min 、elementwise_pow 、elementwise_floordiv 、elementwise_sub 、elementwise_div 、elementwise_mod、shape、greate_equal 的Marker到develop分支上

2. 根据补充统计的文档开发marker和单测

   1. 已完成了pd_op.hardsigmoid、pd_op.hardswish、Pd_op.sigmoid、pd_op.cast、pd_op.max、pd_op.topk等

3. 阅读了converter转换相关的代码

模型文档整理

1. 完成 check_inference.sh 模型中算子的统计的文档
2. 完成 check_inference.sh 模型算子不被支持的文档
3. 完成 check_inference.sh 模型算子被支持的文档

下周工作

1. 继续完成统计文档中未被支持算子的marker开发
2. 完成converter的 开发

详细周报链接

#361

[Layssy]

姓名 李伟 实习项目 推理Predictor 及 IR Pass建设 本周工作 算子的 Marker 的开发 和单测的实现 提交了elementwise_max、 elementwise_min 、elementwise_pow 、elementwise_floordiv 、elementwise_sub 、elementwise_div 、elementwise_mod、shape、greate_equal 的Marker到develop分支上 根据补充统计的文档开发marker和单测 已完成了pd_op.hardsigmoid、pd_op.hardswish、Pd_op.sigmoid、pd_op.cast、pd_op.max、pd_op.topk等 阅读了converter转换相关的代码 模型文档整理 完成 check_inference.sh 模型中算子的统计的文档 完成 check_inference.sh 模型算子不被支持的文档 完成 check_inference.sh 模型算子被支持的文档 下周工作 继续完成统计文档中未被支持算子的marker开发 完成converter的 开发 详细周报链接 #361

[gouzil]

姓名

gouzil

本周工作

1. 修复 SOT 没能捕获 breakgraph 导致直接 raise 到最外层了, 收紧正确性. PR: #67591
2. 收尾 [CodeStyle][Ruff] Ruff 新 rule 引入计划（第二期） 和 [Typing][PEP585 Upgrade] PEP 585 标准集合泛型支持升级——Python 3.8 退场前瞻特别任务 两个任务

下周工作

1. 在收紧正确性的前提下看能否支持非打断
2. 分析和修复 https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/paddle_v3_features/sot_cn.html#id2 示例代码报其他错误的问题
3. 了解动转静体验优化现阶段已有的任务，并尝试对部分场景报错进行优化

详细周报链接：

• [WeeklyReport] gouzil 2024.08.12~2024.08.25 #362

[NKNaN]

姓名

李睿文

本周工作

1. 继续进行针对 paddle.linalg.matrix_rank 的功能增强
2. 修复 test_pad_op.py 存在的 bug
3. 修复 paddle.linalg.lu 存在的 bug
4. 优化 torch.gather/torch.Tensor.gather 的 API 转换规则
5. 排查已修改的 58 个 API

下周工作

1. 继续排查已修改的 58 个 API。
2. 修改经排查发现的问题。
3. paddle.load 对齐 torch.load 持更多路径对象。
4. paddle.empty 等包含 dtype 参数的 API 添加⽀持 paddle.dtype 类型的输入。

详细周报链接：

• [WeeklyReport] NKNaN 2024.08.12~2024.08.25 #363

[zrr1999]

姓名

詹荣瑞

实习项目

PIR 专项

本周工作

1. 当调用 int/float 时通过 guard value 从而避免避免子图打断

• [SOT][dynamic shape] Use guard value instead of raise_break_graph_fn to call int/float PaddlePaddle/Paddle#66346

下周工作

1. 继续推进 SOT 动态 shape

• [SOT][dynamic shape] add symbolic fallback when SymbolicVariable's handler not exists. PaddlePaddle/Paddle#67786
• [SOT][dynamic shape] fix symbolic_inputs counts PaddlePaddle/Paddle#67789

详细周报链接

• [WeeklyReport] zrr1999 2024.08.12~2024.08.25  #364

[lszxb]

姓名

刘斯哲

本周工作

1. 对目前demo中的静态图推理过程进行profile并进行优化

• [Performance] Avoid cuda sync in postprocess of LLM decoding PaddlePaddle/PaddleNLP#9011
• [Performance] Remove the redundant pd_op.assign_out_ op at the end of while loop PaddlePaddle/PaddleNLP#9002

2. 了解vAttention等显存管理的相关工作，并尝试进行实现自定义算子

下周工作

1. 对之前提出的目前demo中的静态图推理过程的优化点进行最后的完善
2. 阅读QServe系统的代码，了解其具体实现，看看是否还有可以改进的地方
3. 依照vAttention框架的思路，实现具有类似机制的自定义算子，并编写优化pass

详细周报链接：

• [WeeklyReport] lszxb 2024.08.12~2024.08.25 #365

[aooxin]

姓名

马奥欣

本周工作

1. 修改之前记录到的问题
   • 修改tffnet中的问题
   • 修改pp-ocr-v2-rec中的问题
   • 修改faster_rcnn_r50_fpn_1x_coco中的问题
   • 修改mask_rcnn_r50_1x_coco中的问题
   • 修改rec_abinet中的问题
   • 修改rec_mv3_tps_bilstm_ctc_v2_0中的问题

下周工作

1. 定位新提出的几个 pass 中的问题
2. 对周中拿到的测试报告中提到的问题进行定位

详细周报链接：

• [WeeklyReport] aooxin 2024.08.12~2024.08.25 #366

[lzm-build]

姓名

林镇铭

本周工作

基于rtdetr的开放世界目标检测

• 继续试训、调整模型结构、调整相关参数

下周工作

• 继续完善ovrtdetr的相关工作

详细周报链接

• [WeeklyReport] MINGtoMING 2024.08.12~2024.08.25 #367

[fxfxfxfxfxfxfxfx]

姓名

冯潇

实习项目

动静统一自动并行支持MoE专家并行策略

本周工作

1. 构建了一个等效qwen2moe SparseMoEBlock的模型
2. 将该模型改成自动并行版本并且验证其与单节点结果的一致性

下周工作

1. 将qwen2moe SparseMoEBlock改成自动并行版本
2. 编写单元测试

详细周报链接

#354

[cse0001]

姓名

谢一帆

实习项目

开源之夏 飞桨 PaddlePaddle-PIR 适配 VisualDL 模型可视化

本周工作

1. 完成 visualdl 可视化控制流算子的功能开发

2. 初步实现 json 格式存储的 paddle 模型的计算图可视化

3. 修复已知 Bug

下周工作

1. 完善 visualdl 对控制流算子的可视化

2. 设计从 json 格式模型中获取算子所属 layer 的方法

详细周报链接

• [WeeklyReport] cse0001 2024.08.12~2024.08.25 #369

[eggman-1024]

姓名

张瑞涛

实习项目

飞桨Save/Load体系功能升级适配PIR

本周工作

1. 增加PIR体系下Load代码

   • 在serializer.cc/h, layer.cc/h, function_utils.cc/h, function_schema.cc/h, pir_interpreter_engine.cc/h 等代码文件中修改、增添代码以适配PIR体系。

下周工作

1. 继续进行PIR体系下模型反序列化开发

详细周报链接

#368