报告题目：大小模型协同训练初探及其在金融风控中的应用
报告人：敖翔 中国科学院计算技术研究所
报告时间：2024年11月6日(周三) 16:00-17:30
报告地点：中国科学院大学中关村校区教学楼S406
腾讯会议：678-487-095
内容摘要
以GPT为代表的大模型涌现的机器智能为大小模型协同学习提供了契机。大模型的巨量参数存储了从海量数据中学习到的知识，同时其惊人的意图理解能力和分析推理能力为指导小模型性能提升提供了可能性。本报告将从知识蒸馏和意见咨询两个角度介绍大模型指导小模型算法优化上的研究进展。其中，知识蒸馏方面的进展以大模型回答与解释之间的一致性为指导，优化小模型在NLP相关任务上的表现。意见咨询方面的进展则是指在小模型训练过程中，用预测不确定性挑选难样本向大模型发起咨询，利用大模型的反馈意见增强小模型在图机器学习任务上的表现。报告最后还将介绍大小模型协同训练技术在金融风控任务中的潜在应用机会。
主讲人简介
敖翔，博士，中国科学院计算技术研究所副研究员、博士生导师，CCF高级会员，CCF数字金融分会常委、大数据专委、数据库专委执委。研究方向为智能金融、数据挖掘与自然语言处理。先后主持国家重点研发项目子课题1项，国家自然科学基金项目3项，CCF-腾讯犀牛鸟科研基金、阿里巴巴AIR计划（获优秀奖），腾讯广告犀牛鸟专项基金、蚂蚁集团金融安全专项基金等10余项科研项目，在IEEE TKDE、KDD、WWW、ICDE、SIGIR、ACL、AAAI、IJCAI等国际权威期刊和会议上发表论文80余篇，其中CCF A类40余篇，谷歌引用3400余次，H-index为30。入选北京市科技新星、中国科学院青促会、微软亚洲研究院“铸星计划”。担任SIGKDD、WWW、SIGIR、ACL等学术会议的(高级)程序委员。
