浙江大学计算机学院教授庄越挺

在人工智能的广阔领域中，大小模型协同的跨媒体智能正逐渐成为研究与实践的热点。庄越挺教授从跨媒体智能的新趋势、大小模型协同的理论和框架、创新方法、实践与应用这些角度，深入探讨了这一前沿话题。

随着人工智能技术的飞速发展，大模型在多模态理解、推理和认知决策能力上已经达到了新的高度，在多种任务上的表现甚至超过人类水平。但是大模型也并非万能，存在着幻觉、推理效率低、成本高、专用能力缺乏等问题。值得关注的是，小模型具有丰富多样、轻量高效、专用性强等优点，不应该被忽视。对此，庄越挺教授指出，大小模型协同的跨媒体智能已经成为了跨媒体智能的一种新的趋势。

为了实现大小模型的有效协同，需要搭建一个科学合理的理论和框架。报告提出，大小模型协同框架旨在整合大模型的广泛知识和小模型的专业能力。同时基于规划、分工与协作机制，实现知识融合，将大模型的基础知识与小模型的专用知识有机结合，实现1+1>2的效果。通过整合大模型的广泛理解和小模型的专业知识，显著提高任务精确度；利用小模型的高效性提升整体处理效率，通过合理分配任务，降低计算成本；在专业领域，结合大模型的推理能力和小模型的专业知识，实现性能跃升。

在大小模型协同的过程中，创新方法是推动技术进步的关键。庄越挺教授介绍了三种创新方法：小模型增强大模型、大模型增强小模型、大小模型协同学习。方法一通过小模型进行数据加权来改善大规模预训练数据的质量，方法二通过知识蒸馏、数据合成等方法，可以将大模型的知识和经验传递给小模型，从而进一步提升小模型的性能。方法三引入了TeamLoRa、HyperLLaVA等架构，也取得了较好的成效。

针对大小模型协同的实践与应用方面。庄教授指出：能源, 气象, 金融, 乃至零售各行业每日都产生海量的结构化数据，而当前语言模型无法直接处理海量的结构化数据，也存在数据泄露的风险，亟需一个听懂自然语言，便于交互的数据管理，分析，可视化的系统来对这些数据进行智能分析。为了对这些非结构化的数据进行分析，庄教授表示可以采用大小模型协同的方式，将一些简单的容易的事情交给小模型以及市面上已有的工具来进行处理。让大型模型专注于困难的子任务，从而提高整体性能。

最后，庄教授对大小模型协同的跨媒体智能进行了总结与展望。他认为这种协同的方式是具备无限潜力的，大小模型之间可以优势互补，资源优化，持续学习，灵活应用，在未来还具有长久的研究方向。