懒猫算力舱体验：家用 AI 助手的开始
懒猫算力舱 作为一个忍不住折腾的选手，之前一直是自己组装 NAS，直到去年机缘巧合购买了懒猫微服尝鲜， 用了一段时间后发现确实好用，而且架不住过度豪华的客服团队，懒猫微服也成了主力 NAS， 于是一方面为了自己使用方便，一方面眼红老王（懒猫团队的CEO）的红包，提了一些意见，也帮忙做了一些小贡献。 没想到老王竟然给我寄来了一台算力舱作为感谢。收到包裹的时候，还是有点激动的， 上手体验之后，也确实是超出预期。 不得不说老王的字写得还挺好的， 开箱体验 打开包装的瞬间，第一感觉就是包装真的很用心。 之前就有听老王在群里一直说花了很大力气设计包装和算力舱，实际上手的厚重感和严丝合缝的感觉，可以说是用料丰富版的苹果包装。 机器本身的工业设计也相当不错，金属外壳的跑车形态给人一种专业设备的感觉，配合懒猫微服的整体风格，确实是一个很不错的组合。 这台算力舱的核心是基于 NVIDIA Jetson 平台，有原生的 CUDA 支持， 而且和 Apple Silicon 一样，有 64GB 的统一内存，对于AI模型推理来说，大内存就是真理，先不说跑的快慢，内存大小首先决定了能不能跑起来。 实际体验 从我的 GitHub 的记录就能看出来，我现在的日常开发已经把重心放在了 TabbyML/tabby 和 TabbyML/pochi 上，这两个项目都是开源 AI 编程助手， 作为一个 AI 项目的开发者，拥有一个相对低功耗、独立的本地算力方便得多， 以前都是在我的 mac 上面跑，但是 mac 也是我的主力开发机，跑模型就会把负载拉起来，影响到我日常的开发，所以只能是在需要的时候打开，用完就关掉。 现在直接常驻几个本地 AI 模型，随时要用都能直接接入。 我现在日常使用的是 Qwen3 30B-A3B 模型，在智商和推理速度上找到了一个不错的平衡点，速度大概在 30+ Token/s，输出的内容基本也够用。 日常的测试、日常浏览网页时总结，翻译这些任务，它都能很好地胜任， 当遇到需要更强推理能力的场景时，我会切换到 Qwen3 32B，虽然速度会慢一些，大概是 5 Token/s，但是在复杂推理上确实会更聪明一些，少很多幻觉。 我知道效果肯定不如 ChatGPT，Gemini，但是胜在不花钱啊，虽然电费还是要算上就是了。 而且在一些涉及个人隐私的项目和数据整理工作，本地模型的优势就很明显了， 不用担心数据泄露，我自己平时的个人和家庭的信息记录，用 Beancount 记的账， 之前都不敢给在线的模型，现在就可以放心地聊了，用来生成报表，分析消费，生成 Beancount 账单都很方便。 ...