在图像生成方面，扩散模型如 2020年提出的DDPM（去噪扩散概率模型）通过将噪声逐步添加到图像中，形成一个前向扩散过程，进而训练一个去噪网络（如 U-Net），该网络能逐步去除噪声，最终从噪声中恢复出清晰的图像。这一过程的核心在于如何高效地从噪声中恢复原始图像，而 LDM（潜在扩散模型）通过将图像首先编码到低维潜在空间，显著降低了计算的复杂性。LDM 在潜空间上进行扩散与去噪，最后通过解码器重建出图像，这种方法比传统的 DDPM 更加高效，尤其适用于处理多模态条件控制（如文本条件、风格迁移等），让生成过程更灵活、更具可调性。
而对于视频生成，除了考虑空间维度的信息，时间维度的相关信息的存在也是视频数据的一个重要特征。模型如 2024年由腾讯开源文生视频模型HunyuanVideo 结合了时空张量建模的方法，通过在低分辨率、低帧率的粗尺度上生成视频骨架，并逐渐通过层次化的上采样方法增强细节和帧间一致性。时空一致性正则化（如基于光流的约束）帮助模型保持运动的自然性，避免生成的视频出现明显的断裂和不连贯。随着生成分辨率的提升，模型逐步填补空缺并细化每一帧的内容，从而获得高质量的视频生成效果。此外，使用如 DDIM（去噪扩散插值模型）等加速技术，可以显著缩短生成过程中的采样时间，提高实际应用中的效能。
将扩散模型和大模型（如大语言模型、视觉模型等）结合在 SLAM（实时定位与建图）系统中，为 3D 场景的重建和语义分析提供了更多的创新可能。SLAM 系统有通过实时定位与地图构建为扩散模型提供了精确的几何信息的可能性，如深度图和摄像机位姿，这些数据可以作为扩散模型的条件输入，帮助模型生成更加精确的场景细节和纹理。另外，扩散模型也有可能能够弥补 SLAM 系统中因遮挡或低纹理区域产生的重建缺失，增强场景的真实感。并且，在面对因遮挡、模糊或其他原因导致质量不佳的输入图像的处理时，通过利用扩散模型的去噪机制，或许可以有效地恢复这些图像的清晰度，从而提升 SLAM 系统对环境的感知能力和建图精度。这种方法提升了弥补传统 SLAM 在面对低质量图像时的不足的可能性，确保系统在复杂或不理想的环境中依然能够生成准确、可靠的地图。同时，借助大模型的语义理解能力，SLAM 系统或许可以对生成的地图进行高级的语义标注和物体识别，为智能导航、物体跟踪和任务规划提供支持。结合这些技术，SLAM 系统不再局限于简单的空间定位，而是能实现动态的场景编辑、虚拟漫游以及更加智能的环境交互，推动了智算向更高层次的发展。