Trong bối cảnh ngày càng nhiều tổ chức muốn ứng dụng AI nhưng vẫn e ngại vấn đề bảo mật khi phụ thuộc vào đám mây, Uptime Industries đã đưa ra một giải pháp táo bạo: thiết bị “AI-in-a-box” mang tên Lemony AI – nhỏ gọn nhưng đủ mạnh để chạy các mô hình ngôn ngữ lớn (LLM) với tới 75 tỷ tham số.
Theo chia sẻ từ CEO Sascha Buehrle, mỗi Lemony chỉ tiêu tốn 65 watt điện – tương đương một chiếc laptop – và có thể xếp chồng hoặc kết nối để mở rộng thành cụm AI mạnh hơn. Thiết bị hỗ trợ mô hình mã nguồn mở và cả các phiên bản sửa đổi của mô hình đóng, tùy vào nhu cầu của người dùng.
Uptime đã bắt tay cùng IBM và JetBrains nhằm cung cấp các mô hình AI sẵn sàng sử dụng, trong đó có cả những mô hình AI độc quyền của IBM, giúp khách hàng dễ dàng khởi động mà không cần tự huấn luyện lại từ đầu.
Ý tưởng về Lemony AI xuất phát từ một dự án phụ khi Buehrle và đồng sáng lập Ivan Kuleshov thử nghiệm chạy mô hình ngôn ngữ trên máy tính mini Raspberry Pi. Nhận thấy tiềm năng của việc xử lý AI tại chỗ – đặc biệt với những tổ chức quan tâm đến bảo mật dữ liệu nội bộ – họ đã phát triển thiết bị Lemony với triết lý: nhỏ gọn, linh hoạt, dễ triển khai và không phụ thuộc vào quyết định toàn tổ chức.
“Chúng tôi muốn tạo ra một thiết bị nhỏ, có thể nhanh chóng đưa vào các nhóm làm việc mà không cần xin ý kiến từ cấp cao,” Buehrle chia sẻ. “Các cụm thiết bị nhỏ nhưng mạnh sẽ mở rộng theo nhu cầu sử dụng thực tế.”
Với mức giá 499 USD/tháng cho tối đa 5 người dùng, Lemony AI đang thu hút sự chú ý từ các ngành có yêu cầu bảo mật cao như tài chính, y tế và pháp luật. Dữ liệu và tác vụ AI được xử lý hoàn toàn trong hộp, không rời khỏi thiết bị – đây chính là điểm khiến nhiều doanh nghiệp quan tâm.
Hiện Uptime đã gọi vốn thành công 2 triệu USD từ quỹ True Ventures cùng một số nhà đầu tư thiên thần khác, và đang có kế hoạch mở rộng phần mềm Lemony OS để hoạt động trên nhiều phần cứng hơn, bao gồm cả Nvidia DGX Spark, đồng thời chuyển từ mô hình một người dùng sang hỗ trợ làm việc nhóm.
Với Lemony AI, AI không còn là thứ “ở xa trên mây”, mà có thể nằm ngay trong tay các nhóm phát triển sản phẩm, tài chính hay chăm sóc khách hàng – an toàn, linh hoạt và hiệu quả.
