近期有幸参加了沐曦公司组织的“开源大模型应用GPU软件工程实践”课程。本次课程侧重于大模型应用的工程化实践环节，授课内容具体详实。老师系统性地从大模型基本原理、服务调用方式，逐步深入到实际应用场景中的关键技巧，特别是围绕“智算GC”平台的讲解逻辑清晰、层次分明。课程不仅涵盖了大模型在文本生成、代码补全及智能问答等典型场景的应用模式，更穿插了丰富的真实行业案例，让我切实感受到相关技术并非遥不可及，而是具备贴近工作和生活的实用价值。
在完成沐曦GPU软件工程实践课程后，我对大模型应用开发中的RAG技术产生了浓厚兴趣。近期研读的开源论文《LIGHTRAG: SIMPLE AND FAST RETRIEVAL-AUGMENTED GENERATION》，让我进一步了解了rag的发展。传统RAG依赖扁平化的文本分块（chunk）检索，难以捕捉跨文档的复杂关联，而lightrag系统通过LLM从文本中提取实体及关系，构建知识图谱，采用去重归约算法压缩冗余节点，降低图谱操作开销，实现多跳推理能力。除此之外，针对查询类型的多样性，LightRAG设计分层检索架构，在查询图谱时，低阶检索实行具体实体查询，基于向量数据库匹配局部关键词，定位实体节点及一阶邻居。高阶检索抽象主题查询，提取全局关键词→捕获跨实体的拓扑关系。另外为解决传统RAG重建索引的高开销问题，lightrag实现了文档增量更新算法，避免全量重建，解决动态知识库场景。LightRAG不仅验证了课程传授的工程方法论，更启示我们——将图计算与向量检索融合，可能是破解大模型幻觉问题的新方向。其开源实现（github.com/HKUDS/LightRAG）将成为我后续开发智能问答系统的重要参考框架。
实践环节是课程的核心价值体现。 在教师的指导下，我系统学习了API Key的申请流程，并实践了通过Python的requests库及专用SDK调用大模型服务的具体方法，同时对温度（Temperature）、最大生成长度（Max Tokens）等关键参数对生成结果多样性与稳定性的影响有了具象化理解。通过动手完成文本摘要生成、文章润色优化、知识问答系统等小型功能实现，我切身体验到大模型作为即用型服务接口所带来的强大能力与便捷性。在此过程中也暴露了一些工程挑战，例如长文本处理中的信息连贯性问题、模型回复的稳定性波动等。这让我深刻体会到，在实际应用开发中，提示词的结构设计、输入信息的合理分段策略以及对输出结果的稳定性控制，是决定应用效果的关键技术点。
这次课程收获丰厚。 它一方面使我更系统地梳理了大模型的技术原理与应用框架；另一方面，更重要的是让我首次获得了将理论知识转化为实际功能的成就感。课程内容覆盖全面——从基础理论到动手实践，从模型选型到参数优化，从RAG技术解析到智算GC平台的应用，兼具广度与深度。讲师传授的诸多经验和方法可直接迁移至后续的开发项目中。这门课程为本人未来深入探索大模型应用开发，尤其是构建具有实用智能化能力的解决方案，奠定了坚实的知识基础并提供了清晰的技术路径指引。
2025年7月6日