建立本地GPU基准服务器，作者测试4B至35B模型在本地硬件上的实际性能

原标题：I built a local GPU benchmark server for 4B to 35B models because I was tired of synthetic cloud leaderboards and tiny sample tests

作者建立一台本地GPU基准服务器，使用双RTX 5060 Ti卡（32GB VRAM）和vLLM在Docker中，对12个本地LLM模型进行了评估。测试涵盖IFEval、IFBench等7项基准，并追踪模型实际运行的壁钟时间、Token吞吐量和时效效率得分。所有结果已发布到个人网站https://llmbenchmarks.io/local-gpu-benchmarks/。

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。