“计图”深度学习框架及实践

课程题目

“计图”深度学习框架及实践

课程简介

计图(Jittor)是清华大学胡事民院士带领团队研制并开源的我国首个由高校主导的深度学习框架。Jittor是一个完全基于动态编译、内部使用创新的元算子和统一计算图的深度学习框架,有效降低了算子优化难度和异构硬件适配复杂度,节省显存的同时,大幅提升神经网络和大模型的训练推理效率;获首届人工智能前沿创新奖(“祖冲之”奖)。本课程邀请了计图团队核心开发人员与贡献者,介绍计图深度学习框架的基础知识与相关模型库,以期为大家快速掌握并使用计图打下基础。

具体而言,本课程将从以下三个方面展开介绍:

1. Jittor的介绍与入门:全面、系统地介绍Jittor深度学习框架的基础模块、模型训练测试流程、基础网络结构编写、计算机视觉任务实现以及模型库的使用。

2. 高效参数微调技术原理及JPeft工具库介绍:参数高效微调(PEFT)是当前最热门的大模型技术之一。PEFT技术仅需微调不到10%的基础模型参数,即可达到甚至超越微调全参数的性能。JPeft是基于Jittor框架编写的PEFT算法工具包,包含多个主流文本/视觉PEFT算法。本课程主要介绍JPeft中包含的PEFT技术原理、Jittor实现方法以及JPeft的使用。

3. JittorGeometric-基于Jittor的图机器学习库:JittorGeometric作为国内首个支持Jittor框架的国产图机器学习平台,融合了Jittor框架的核心特性,致力于为图神经网络的研究与实践提供高效解决方案。在大规模图数据的处理和训练中,JittorGeometric展现出了优越的计算效率和高效的资源利用率。本课程将系统介绍图机器学习的基础概念,深入探讨JittorGeometric框架的设计理念与核心功能,并分享其2.0版本的最新进展及未来发展计划。

课程安排

日期 时间 课程题目 课程讲者 课程地点
8月20日 13:30-14:40 “计图”深度学习框架及实践 国孟昊  清华大学
张  仪  北京航空航天大学
三楼云海厅1
14:40-15:50 殷东硕  清华大学
15:50-16:10 课间休息
16:10-17:30 “计图”深度学习框架及实践 雷润林  中国人民大学

课程主席

邵天甲 浙江大学

邵天甲,浙江大学CAD&CG国家重点实验室百人计划研究员、博士生导师,获国家基金委优秀青年基金资助。之前在英国利兹大学(University of Leeds)担任Lecturer(终身教职)。本科毕业于清华大学自动化系,博士毕业于清华大学高等研究院,师从微软亚洲研究院副院长郭百宁教授。研究方向是计算机图形学,包括三维场景重建,数字人建模、3D AIGC等。已在计算机图形学和视觉的顶级期刊和会议(TOG, SIGGRAPH, TVCG, CVPR等)发表CCF-A类论文40余篇。他是ACM SIGGRAPH 2022/2023程序委员,CVM 2022程序委员会共同主席,现担任国际期刊《The Visual Computer》编委,中国电子学会虚拟现实分会秘书长。

郭建伟 北京师范大学

郭建伟,北京师范大学人工智能学院教授。2016年博士毕业于中国科学院自动化研究所,主要研究方向为计算机图形学与虚拟现实。已在ACM SIGGRAPH/TOG、IEEE TPAMI、IEEE TVCG、CVPR等高水平期刊或会议发表论文80余篇,授权发明专利17项。主持多项国家自然科学基金项目及省部级科研课题,作为核心骨干参与国自然重点项目、科技部重点研发计划,主持企业委托项目9项。曾荣获10项学术奖励,包括入选中国科学院青促会会员、中国体视学学会青年科学技术奖、中国仿真学会优秀博士论文奖、CVMJ期刊年度最佳论文奖、中国图学学会科技进步二等奖等。

韩晓光 香港中文大学(深圳)

韩晓光博士,现任香港中文大学(深圳)理工学院和未来智联网络研究院助理教授,校长青年学者,目前担任未来智联网络研究院助理院长。他于2017年获得香港大学计算机科学专业博士学位。其研究方向包括计算机视觉和计算机图形学等,在该方向著名国际期刊和会议已发表论文60余篇,包括顶级会议和期刊SIGGRAPH(Asia), CVPR, ICCV, ECCV, NeurIPS, ACM TOG, IEEE TPAMI等。他曾获得吴文俊人工智能优秀青年奖,广东省杰出青年基金资助,香港中文大学(深圳)青年科研奖。目前也担任CVPR2023,NeurIPS 2023以及CVPR2024领域主席。他的工作还曾两次获得CCF图形开源数据集奖(DeepFashion3D和MVImgNet),2019年和2020年连续两年入选计算机视觉顶级会议CVPR最佳论文列表(入选率分别为0.8%和0.4%),他也曾获得IEEE TVCG最佳审稿人提名奖。

课程讲者信息

国孟昊 清华大学

国孟昊,清华大学博士后,博士毕业于清华大学计算机系,师从胡事民院士,计图团队核心开发成员。研究方向涵盖计算机视觉、计算机图形学与人工智能。迄今已在 T-PAMI、ACM TOG、CVPR、SIGGRAPH 等国际顶级期刊及会议发表论文 15 篇,其中多篇以第一作者身份入选最佳论文、热点论文及高被引论文,谷歌学术引用量累计超过 6500 次。曾获国家自然科学基金青年学生基础研究项目(博士研究生)资助,并荣获国家奖学金、清华大学特等奖学金、字节跳动奖学金等多项荣誉,入选斯坦福大学全球2%科学家2024 榜单。

殷东硕 清华大学

殷东硕,清华大学计算机系“水木学者”博士后,合作导师为胡事民院士。他是JPeft库的核心开发人员之一。同时,他在Nature Communications、IEEE CVPR、IEEE ICCV、IEEE TITS等顶级期刊和上会议发表论文,曾获“中国科学院院长奖”,并与微软亚洲研究院MSRA和阿里巴巴集团进行科研合作。主要研究方向为计算机视觉、参数高效微调、视频生成、多模态大语言模型以及遥感图像解译等。

张仪 北京航空航天大学

张仪,北京航空航天大学计算机学院二年级博士生,导师为胡事民院士,他是计图框架的核心开发人员之一。同时,他在TPAMI,CVPR,ICML等人工智能与视觉顶级期刊和会议上发表了多篇论文。主要研究方向为计算机视觉、多模态大语言模型。

雷润林 中国人民大学

雷润林,中国人民大学高瓴人工智能学院三年级博士生,隶属于ALGO实验室,师从魏哲巍教授。他在NeurIPS, ICLR, SIGMOD等人工智能与数据挖掘顶级会议上发表了多篇论文,并担任NeurIPS, ICML, ICLR等会议的审稿人。主要研究方向为图机器学习、可信图神经网络以及图基础模型。