OpenAI анонсувала нового ШІ-агента Operator, який може виконувати завдання користувачів у браузері. Агент вміє взаємодіяти з вебсторінками та робити за людей якісь дії, наприклад, заповнити інтернет-форму, замовити продукти і навіть створити мем.

Цікаво, що подібний продукт запітчив на хакатоні OpenAI восени 2024 український стартапер, засновник Awesomic, Роман Севастьянов. Про це він розповів у LinlkedIn.

Про Operator

Оператор анонсували 23 січня. Наразі він доступний лише для користувачів ChatGPT Pro у США.

Використовуючи власний браузер, Operator може переглядати вебсторінку та взаємодіяти з нею, вводячи текст, натискаючи та прокручуючи.

Агент працює за моделлю Computer-Using Agent (CUA), яка поєднує обробку зображень з обмірковуваннями. Оператор може «бачити» за допомогою скриншотів і «взаємодіяти» з браузером, використовуючи всі дії, які дозволяють миша та клавіатура. Таким чином він може робити щось в інтернеті без інтеграції по API.

Щоб скористатися послугами агента, треба просто описати йому завдання, яке потрібно виконати. Користувачі можуть перехопити контроль над віддаленим браузером у будь-який момент. Оператор завчасно попросить користувача взяти на себе завдання, які вимагають входу, використання платіжних даних або вирішення CAPTCHA – самостійно такі дії він поки що не робить з міркувань безпеки та захисту даних.

Можна доручити Operator кілька завдань одночасно, створивши декілька бесід. Наприклад, замовити емальований кухоль на Etsy під час бронювання кемпінгу на Hipcamp. А ще доручити оператору регулярне поповнення запасу продуктів через Instacart.

Передісторія: Аналог Operator – GPT-a з українським корінням

«OpenAI зарелізили Operator – модель, яка дозволяє керувати вашим комп’ютером і виконувати задачі.

Awesomic презентував цю ідею Сему Альтману в жовтні 2024, коли вона називалась GPT-a (бо assistant)», – написав у Facebook українець, засновник та СЕО Awesomic Роман Севастьянов.

Він не уточнив, чим закінчився хакатон і чи Альтману сподобалась ідея. На сайті Awesomic є трохи деталей про цей кейс.

Помічника Роман створив разом з розробником Awesomic Олександром Дашком на хакатоні OpenAI. Учасники хакатону використовували можливості нової версії ChatGPT-o1 для створення інноваційних рішень.

GPT-a – агент на базі ШІ, який може виконувати кілька завдань лише за допомогою однієї підказки. Працювало це так:

• GPT-a отримував прості вказівки від користувача, як-от «Надіслати електронний лист», «Забронювати дзвінок» або «Створити завдання»;
• фіксував інструкції;
• передавав їх у ChatGPT – а штучний інтелект не лише планував наступні кроки, але й виконував дії замість людини.

Користувач міг спостерігати за процесом.

«Цей проєкт підкреслив, як штучний інтелект може революціонізувати продуктивність шляхом автоматизації повсякденних завдань і спрощення складних робочих процесів. І це лише початок!» – сказано на сайті.

Як розповів Севастьянов у Facebook, частину коду він написав власноруч. Він не уточнив, чи отримав проєкт якусь відзнаку на хакатоні та чи продовжили українці спілкування з Альтманом.

Scroll звернувся до Романа по коментарі, але не отримав відповіді на момент публікації.