🚀 编译与部署 Llama.cpp(支持 CUDA + 性能优化 + 服务端)
本指南记录了如何在 Ubuntu 22.04 上编译和部署 Llama.cpp],启用 CUDA 加速和优化选项,并通过 `llama-server` 启动一个本地推理 API 服务(兼容 HuggingFace)。 ...
本指南记录了如何在 Ubuntu 22.04 上编译和部署 Llama.cpp],启用 CUDA 加速和优化选项,并通过 `llama-server` 启动一个本地推理 API 服务(兼容 HuggingFace)。 ...
Linux 系统上快速切换不同 CUDA 版本的小工具,支持 Conda 环境自动切换,兼容系统默认 CUDA 设置。 ...
A comprehensive guide to troubleshooting common issues encountered with CoppeliaSim and RLBench. ...
本文介绍了在 Nvidia Tesla L40 上无法关闭 ECC 功能或者驱动设置无法生效的解决方案,包括使用 nvidia-smi 命令、手动卸载 NVIDIA 内核模块以及重载 GPU 和驱动等步骤,方法适用于所有具备ECC功能的GPU。 ...
远程科研一晃一天,环境搭建履步维艰。”笔者折腾了一下实验室服务器/工作站(headless机器)之间的远程桌面,由于要使用Isaac Sim等软件,需要让远程桌面跑在GPU上,故写一篇文章来记录一下实现流程, 希望能为他人提供一些参考,以及获得更好的建议。 ...
xrdp 连接黑屏、剪贴板不工作、文件传输异常、硬盘无法挂载、没有声音的解决方案 ...
NVIDIA GTX1600 系列显卡(包括1650 1660Ti 1660Super在内)在Pytorch推理时,输出会变为NaN,即全空张量 ...
Jetson 环境搭建以及模型部署 ...
最优化问题中很常用的算法 ...