Назад
Знайомтесь, це Афіна) Назвала так.
Наважилася на купівлю ШІ-комп’ютера для офісу. Перш за все, щоб обробляти дані за допомогою ШІ локально, без хмарних підписок. Цей комп’ютер недешевий, але безпека наших із вами даних має ціну, і всі, хто зі мною працюють, можуть бути впевнені, що в моєму офісі цінується конфіденційність, а особисті звернення громадян чи делікатні військові розробки та оновлення не зливають тихо в ChatGPT. Так, маю підписку, але вона мінімальна та обмежена.
Останнім часом більше користуюся ШІ-сервісом від Proton. Він простіший за передових провайдерів, проте має зрозумілу політику і шифрування, схоже на те, як шифруються чати у WhatsApp чи Signal. Базується на LLM, великих мовних моделях ШІ, розміщених на серверах компанії. Тобто не має власної фундаментальної моделі, а використовує комбінацію доступних для широкої аудиторії рішень.
Але для автоматизації та агентських функцій (це коли формуєш собі цифрового помічника з можливістю використання ним програм, даних та проактивної поведінки) він не підходить.
Водночас вивчати та вникати в розвиток штучного інтелекту зараз треба всім. Це про вимоги часу та про те, що в недалекому майбутньому люди поділяться на тих, хто став модератором і керівником ШІ; тих, хто став залежним користувачем ШІ та підміняє ним функції свого мозку; тих, хто відстає, не маючи доступу до ШІ з різних причин; і тих, хто буде протистояти прогресу та опиниться в маргінальних популяціях, які вже зараз існують і свідомо не використовують автомобілі чи засоби мобільного зв’язку.
Комп’ютер має процесор NVIDIA® GB10 Grace Blackwell Superchip із 128 гігабайтами об’єднаної пам’яті. Встановлена NVIDIA DGX OS на базі Ubuntu (Linux ❤️). Це проєкт Ubuntu on ARM — системи для ARM-архітектури, яку використовує і новий процесор NVIDIA. Він випущений як рішення для локального запуску ШІ, близьке за концепцією до процесорів Apple Silicon у MacBook та iPhone. І хоча провідні MacBook швидші (і дорожчі, до речі), але вони досі слабші для запуску великих локальних моделей ШІ та роботи з довгим контекстом.
Простими словами: коли ви робите запит, далі йде обробка та «мислення» моделі, а вже потім ШІ вам відповідає. Відповідь може бути дуже швидкою, але, якщо ви бажаєте використовувати ШІ в дослідженнях та покращенні складних рішень, найважливішим є саме етап якості аналізу, «мислення». Даний мінікомп’ютер дає можливість використовувати доволі великий контекст (наприклад, опрацювати сотні сторінок), не втрачаючи його, і тримати планку якості. І все це локально.
Також технології NVIDIA та інші дають змогу розгорнути автономного ШІ-помічника, натренувавши його на власних базах даних. Без зливання інформації в хмару.
Шлях непростий. Ціна — як у потриманого автомобіля: офіційно обійшовся приблизно у 4 тисячі доларів.
❗Буду його декларувати.
Та за цими технологіями майбутнє, і з помічниками їх освоюватимемо. Саме в напрямку усвідомленої роботи та модерації ШІ, а не сліпого споживання з порушенням принципів конфіденційності.
Можливо, можна було знайти краще рішення. Так, хмарні Claude і ChatGPT сильніші, і їх треба досліджувати та використовувати. Та все ж у буремні часи науково-технічного стрибка і воєн спокійніше мати локальну платформу. Звісно, із системою резервного копіювання та дублювання даних, як без цього.
Коротше, знайомтесь: це Афіна та маленький початковий звіт про неї, адже куплена на ваші податки й буде покращувати роботу вашого нардепа 🫡
Далі триматиму в курсі та ділитимусь враженнями.
