202422070328 刘铭
这段学习开源大模型应用的旅程，就像一场充满未知与惊喜的探险，让我对智算领域有了全新且深刻的认知。
课程初始，接触到 Qwen2.5、LLama3 等主流开源大模型时，内心满是震撼与好奇。Qwen2.5 那独特的 Transformer - based Decoder 架构，搭配 GQA 高效 KVcache、SwiGLU 激活函数等前沿技术，如同精密运转的超级机器，在语言理解和推理任务中展现出的卓越性能，让我惊叹于技术的精妙。而 LLama3 高度优化的自回归 Transformer 架构，特别是在 8B 和 70B 规模版本中引入 GQA 技术后，对长文本处理能力的提升，更是刷新了我对模型能力的认知。想象着它在金融、法律等领域高效处理复杂文档的场景，我深切感受到这些模型强大的实用性和广阔的应用前景。
随着课程推进，深入学习开源大模型应用开发流程，我才明白打造一个成功的应用背后需要付出多少努力。数据处理与准备环节，看似简单的数据收集，实则需要兼顾全面性与准确性，涵盖多领域、多语言的文本数据。数据清洗、去噪、标注等预处理步骤，就像给数据进行一场细致的 “雕琢”，每一个细节都关乎模型训练的质量。记得在一次实践中，因数据标注的不严谨，导致模型训练结果偏差，这让我深刻认识到数据质量对模型的重要性。
模型选择与微调过程充满了挑战与探索。面对不同参数规模的模型，如何根据应用场景和任务需求做出正确选择，是一门深奥的学问。从适用于轻量级研究的小参数模型，到应对复杂生产任务的大参数模型，每一次抉择都需要综合考虑多方面因素。使用 XTuner 等工具进行微调时，调整超参数、优化提示词，就像在调试一件精密仪器，每一次微小的变动都可能带来不同的效果。在不断尝试与调整中，我逐渐掌握了让模型更好适应特定任务的技巧，也体会到其中的艰辛与乐趣。
模型部署与优化阶段，则是将理论转化为实际应用的关键一步。利用 LMDeploy 等框架进行部署，确保模型在不同平台的兼容性和稳定性，过程中总会遇到各种意想不到的问题。而采用 flash attention 和 deep speed zero 等优化加速技术，提升模型推理速度和运行效率，就像是为模型装上了 “加速器”。当看到自己部署优化后的模型能够快速、稳定地运行，那种成就感难以言表。
课程中的实践案例更是让我大开眼界。教育领域的 MathGPT，为高中数学教学带来了全新的变革。它能根据学生的学习节奏和弱点，提供个性化的辅导，结合多种大模型生成教学视频，还能生成几何图形和动画，让枯燥的数学学习变得生动有趣。这让我意识到，智算与教育的融合，能够极大地提升教学效果，为学生带来更好的学习体验。商业领域基于 Qwen - 32b 模型的数据归因分析案例，展示了大模型在商业决策中的强大作用。通过 RAG 技术检索知识图谱、实现 NL2SQL 查询数据库数据，帮助企业深入分析市场动态，做出精准决策，让我看到了大模型在商业领域的巨大价值。
在整个学习过程中，借助 Hugging Face、pytorch 等开源框架搭建应用，我从一个对代码和框架生疏的新手，逐渐成长为能够独立完成简单应用搭建的学习者。而 CSDN 平台则像一个知识宝库，我在上面获取技术资讯、参与社区讨论，与其他学习者交流经验、解决难题。在这个过程中，我不仅提升了技术能力，更感受到开源生态的强大活力和协作的力量。然而，学习得越深入，我也越清晰地认识到开源大模型面临的诸多挑战。高算力需求带来的成本压力，模型产生幻觉的问题，以及随之而来的伦理争议，都是亟待解决的难题。但同时，我也看到了开源大模型光明的发展前景。朝着小型化、多模态融合、Agent 架构等方向的发展趋势，让我对未来充满期待。我相信，随着技术的不断进步，这些挑战终将被克服，开源大模型将在更多领域发挥更大的作用。
这段学习经历，不仅让我掌握了开源大模型应用的核心技术和开发流程，更重要的是，它培养了我的问题解决能力和创新思维。在未来，我希望能够继续深入探索智算领域，不断提升自己的技术水平，为开源大模型技术的创新与应用贡献自己的一份力量，让智算更好地服务于社会。