ChatGPT

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку
ChatGPT
Тип прототип
генеративний штучний інтелектd
пропрієтарне програмне забезпечення
розмовний ШІd
Велика мовна модель і чат-бот
Автор OpenAI
Розробник OpenAI
Перший випуск 30 листопада 2022; 7 місяців тому (2022-11-30)
Версії ChatGPT May 24 Version (24 травня 2023)[1]
Платформа браузер, API і iOS
Доступні мови багатомовний
Українська мова підтримує
Стан розробки Функціонує
Ліцензія пропрієтарна ліцензія[d]
Вебсайт chat.openai.com/chat
CMNS: ChatGPT у Вікісховищі

ChatGPT (англ. Generative Pre-trained Transformer[2], укр. Породжувальний попередньо тренований трансформер) — чат-бот зі штучним інтелектом, розроблений лабораторією OpenAI[3].

Загальний опис[ред. | ред. код]

Це велика статистична модель мови, оптимізована для ведення діалогів та відлагоджена завдяки технікам навчання з учителем та навчання з підкріпленням. В основі прототипу лежить модель OpenAI GPT-3.5 — покращена версія GPT-3.

Прототип ChatGPT було випущено 30 листопада 2022 року. Через детальність та ясність відповідей, його популярність виросла неймовірно швидко, хоча фактична точність цих відповідей підлягала критиці.

Після релізу ChatGPT оцінка компанії OpenAI виросла до 29 мільярдів доларів[4]. Лише за два місяці після випуску кількість активних користувачів перевищила 100 мільйонів — такий короткий проміжок став історичним рекордом серед користувацьких програм[5].

14 березня 2023 року OpenAI представили нову модель — GPT-4, яка стала доступною для користувачів платної версії ChatGPT Plus. В цій версії чат-бот може обробляти не тільки текст, а і зображення[6].

В березні 2023 року деякі дослідники охарактеризували нецензуровану версію ChatGPT на базі GPT-4 як ранню та неповну версію сильного штучного інтелекту (AGI)[7]. В середині квітня 2023 року Сем Альтман з OpenAI заявив, що компанія поки припинила тренування GPT-5, у відповідь на лист[8] з відповідним проханням від 50 тисяч людей, зокрема більше 1800 CEO та 1500 професорів, серед яких Ілон Маск, Стів Возняк, Юваль Гарарі та багато інших відомих людей[9].

В липні 2023 року, згідно повідомлення The Washington Post, ChatGPT вперше почав втрачати користувачів, а це в деякій мірі похитнуло віру в революцію штучного інтелекту. За даними інтернет-компанії Similarweb, кількість відвідувачів сайту ChatGPT у всьому світі впала на 9,7 % в червні порівняно з попереднім місяцем. Згідно з даними Sensor Tower, кількість завантажень програми для iPhone від бота, яка була запущена в травні, також неухильно знижується після піку на початку червня[10].

Особливості[ред. | ред. код]

ChatGPT (Generative Pre-trained Transformer) отриманий шляхом доопрацювання моделі GPT-3.5, використовуючи техніки машинного навчання з учителем і з підкріпленням[11]. Обидві техніки передбачали участь людей, які тренували модель, щоб покращити її продуктивність. У випадку навчання з учителем, модель тренувалася на діалогах, де людина-тренер виконувала дві ролі: користувача і асистента ШІ. На етапі підкріплення тренер оцінював відповіді, що давала модель у попередньому діалозі. Ці оцінки були використані для створення «моделей винагород», на яких модель була допрацьована шляхом проходження декількох ітерацій Proximal Policy Optimization (PPO)[12][13]. Алгоритми Proximal Policy Optimization виявили меншу затратність порівняно з алгоритмами Trust Region Policy Optimization (TRPO) завдяки кращій ефективності обчислення багатьох складних операцій[14][15]. Моделі були натреновані у співпраці з Microsoft на їхній хмарній інфраструктурі Azure.

Порівняно зі своїм попередником InstructGPT, ChatGPT намагається зменшити кількість шкідливих і оманливих відповідей. Так, наприклад, InstructGPT сприймає запит «Розкажи мені, як Христофор Колумб прибув до США у 2015 році» як такий, що містить правдиву інформацію, а ChatGPT аналізує історичну інформацію про подорожі Колумба, уявлення про його особистість та інформацію про сучасний світ і на основі цього будує відповідь, у якій описані припущення, — що б сталось, якби Христофор Колумб прибув до США у 2015 році[12]. До даних, що використовуються для навчання ChatGPT, входять довідникові сторінки, інформація про інтернет-меми і мови програмування[16].

На відміну від більшості чат-ботів, ChatGPT запам'ятовує та бере до уваги всі попередні запитання користувача в рамках бесіди, що, на думку деяких журналістів, дасть змогу використовувати його в ролі особистого терапевта[17]. Для запобігання потрапляння в запити до ChatGPT та його відповіді текстів, що містять мову ворожнечі або образи, дані фільтруються через API модерації та потенційно расистські чи сексистські вислови відхиляються[12][17].

ChatGPT містить багато обмежень. Модель нагород ChatGPT, розроблена завдяки нагляду людини, може бути надмірно оптимізована і, таким чином, знижувати продуктивність через так званий закон Гудгарта[18]. Також ChatGPT володіє обмеженими даними про події, що сталися після 2021 року, і не може надати інформацію про деяких зірок. Під час навчання рецензенти надавали перевагу довшим відповідям, незалежно від їхньої фактичної наповненості чи зв'язності[12]. Навчальні дані також можуть перебувати під впливом алгоритмічної упередженості, відповіді на запити, що стосуються загального опису образу людей — наприклад, що обіймають посаду генерального директора, — можуть містити припущення, що така людина є білим чоловіком[19].

Сприйняття[ред. | ред. код]

ChatGPT отримав загалом позитивні відгуки. Нью-Йорк таймс назвав його «найкращим чат-ботом зі штучним інтелектом, що коли-небудь ставав доступним для широкого загалу»[20]. Саманта Лок із Ґардіан зазначила, що він зумів згенерувати «вражаюче детальний» і «подібний до створеного людиною» текст[21]. Технічний автор Ден Гіллмор використав ChatGPT для виконання студентського завдання і, виявивши, що згенерований текст був на рівні з текстом, що міг би створити хороший студент, висловив думку, що «академічним колам доведеться зіткнутися з дуже серйозними проблемами»[22]. Алекс Кантровіц з журналу Slate похвалив відповіді ChatGPT на питання, що стосувались Третього Рейху, зокрема те, що твердження про будівництво Гітлером автобанів у Німеччині він парирував інформацією про використання нацистами примусової праці[23].

У грудні 2022 року економіст Пол Круґман опублікував статтю, де висловив думку, що ChatGPT вплине на попит на інформаційних працівників[24]. Джим Вінсент із The Verge вбачає в вірусному успіху ChatGPT свідчення того, що штучний інтелект став мейнстримом[13]. Стівен Марке відмітив у журналі The Atlantic, що вплив ChatGPT на академічні кола й особливо на прикладні есе ще потрібно буде зрозуміти[25]. Вчитель середньої школи в Каліфорнії і письменник Деніел Герман написав, що ChatGPT ознаменує «кінець англійської мови в середній школі»[26].

Фактична точність ChatGPT, окрім іншого, була поставлена під сумнів. Майк Перл із Mashable[en] тестував ChatGPT багатьма питаннями. В одному з прикладів він попросив модель назвати «найбільшу країну в Центральній Америці, яка не є Мексикою», без уточнення за яким саме параметром слід порівнювати країни. ChatGPT відповів, що це Гватемала, хоча, якщо порівнювати за площею країни, а не за населенням або ВВП, то правильна відповідь буде — Нікарагуа[27]. У грудні 2022 року сайт Stack Overflow заборонив використання ChatGPT для генерації відповідей на запитання, посилаючись на фактично неоднозначний характер відповідей ChatGPT[28]. Економіст Тайлер Коуен висловив занепокоєність стосовно впливу ChatGPT на демократію, адже в будь-якої людини буде можливість створювати автоматичні коментарі в спробі повпливати на процес прийняття нових нормативних актів[29]. Акс Шарма з Bleeping Computer відмітив, що ChatGPT здатен створювати шкідливі програми і фішингові електронні листи[30].

Вплив на освіту[ред. | ред. код]

Використання ChatGPT в освіті, ймовірно, призведе до необхідності викладачам зосередитися на створенні творчих завдань та поступово відмовлятися від описових завдань, які у деяких гуманітарних дисциплінах складають більшість самостійної роботи, на відміну від технічних дисциплін, де, зазвичай, знання використовуються для вирішення технічних задач. Таким чином глобальний розвиток та інновації в науці та техніці впливають на освіту, змінюючи методи, технології, інструменти викладання та навчання. В той же час багато педагогів і освітніх закладів можуть не мати знань чи досвіду для ефективної інтеграції нових технологій у свої освітні практики. Використання великих мовних моделей в освіті є перспективним напрямком дослідження, яке відкриває багато можливостей для підвищення ефективності навчання[31][32][33].

Доступність[ред. | ред. код]

Станом на лютий 2023 року користувачі повідомляли, що сервіс недоступний щонайменше в таких країнах: Китай[34], Росія, Білорусь, Афганістан, Венесуела, Іран[35]. Як з'ясувалося, розробник чат-бота зі штучним інтелектом OpenAI заборонив деяким окремим країнам користуватися своїми сервісами відповідно накладених санкцій.

В Україні[ред. | ред. код]

18 лютого 2023 року міністр цифрової трансформації Михайло Федоров повідомив, що після переговорів, офіційних листів, дзвінків та зустрічі з представниками OpenAI — ChatGPT став доступним для реєстрації користувачам з України. Програма не працює лише на тимчасово окупованих Росією українських територіях[36].

З 1 червня 2023 року ChatGPT для операційних систем iOS запрацював в Україні. Чат-бот вже доступний на платформі App Store та працює на версії iOS 16.1 або вище. Як відомо, спочатку доступ до застосунку ChatGPT був відкритий лише в США, але поступово його почали відкривати й в інших країнах. ChatGPT може імітувати діалог, відповідати на додаткові запитання, визнавати помилки, заперечувати неправильні передумови та відхиляти недоречні запити[37].

Джерела даних[ред. | ред. код]

GPT-4, як і його попередники, використовує різноманітні джерела даних для покращення розуміння мови та можливостей генерації тексту. Проте точні набори даних, які використовуються для його навчання, не були конкретно розкриті OpenAI через міркування конфіденційності. Тим не менш, можливо зробити висновок з його продуктивності та загальних практик OpenAI, що навчання GPT-4 включало великий корпус цифрового тексту. У цьому підрозділі описано потенційні джерела даних на основі загальноприйнятих практик навчання ШІ[38].

Інтернет-текст[ред. | ред. код]

Значна частина навчальних даних GPT-4, ймовірно, отримана з величезного масиву тексту, доступного в Інтернеті. Цей корпус охоплює веб-сторінки, книги, статті та інші форми публічного цифрового тексту. Такий масивний набір даних дозволяє моделі зрозуміти контекст, семантику, синтаксис і різноманітні стилі написання.

Енциклопедичні дані[ред. | ред. код]

Енциклопедичні дані, такі як текст з Вікіпедії, пропонують структуроване та надійне джерело знань із широкого кола тем. Використання цих даних може допомогти ШІ зрозуміти фактичну інформацію та розвинути базове розуміння світу.

Наукова література[ред. | ред. код]

Наукові роботи, журнали та публікації, ймовірно, складають значну частину навчальних даних. Такі джерела надають моделі технічний словниковий запас і складні теми, тим самим підвищуючи її здатність генерувати відповіді в спеціалізованих областях науки.

Дані соціальних мереж[ред. | ред. код]

Публікації, коментарі та інші текстові дані з платформ соціальних мереж дають змогу зрозуміти розмовну мову, інтернет-сленг і сучасні культурні посилання. Незважаючи на те, що це також може становити труднощі, такі як робота з орфографічними помилками та неформальною граматикою, це має вирішальне значення для того, щоб модель штучного інтелекту розуміла та генерувала текст, який є релевантним і природним для користувачів.

Книги та література[ред. | ред. код]

Можливо, для навчання GPT-4 використовувалися книги, як художня, так і науково-популярна. Вони є багатим джерелом наративних структур, різноманітної лексики та різних стилів письма. Вони також піддають модель широкому спектру людських переживань, емоцій і точок зору.

Попередньо підготовлені моделі мови[ред. | ред. код]

OpenAI, як і багато інших дослідницьких організацій штучного інтелекту, використовує трансферне навчання, коли модель штучного інтелекту спочатку навчається на великому наборі даних, а її навчені можливості потім передаються до нової моделі. Отже, GPT-4 можна було створити на основі існуючих моделей, таких як GPT-3, успадкувавши та розширивши їх навчання.

Інші джерела даних[ред. | ред. код]

Хоча вищезазначені джерела, ймовірно, складають основну частину даних, які використовуються для навчання GPT-4, правдоподібно, що також використовувалися численні інші текстові джерела. Це може включати все: від новинних статей, блогів і форумів до стенограм розмовної мови з подкастів чи інтерв’ю.

Через розмір і складність моделі точні джерела даних можуть відрізнятися та охоплювати навіть ширший масив тексту, ніж згадано вище. Крім того, суворі методи обробки даних і конфіденційності OpenAI гарантують, що модель не матиме доступу до конфіденційної чи особистої інформації.

Загалом, різноманітні джерела даних, які використовуються для навчання GPT-4, сприяють його вражаючим можливостям, дозволяючи моделі розуміти та генерувати людський текст на неймовірно широкий спектр тем[38].

Збої в роботі[ред. | ред. код]

11 липня 2023 року, приблизно о 17:00 за Києвом, в роботі чат-боту ChatGPT почався збій сервісів OpenAI, в результаті якого ChatGPT був недоступний по всьому світу протягом 2,5 години. Більшість користувачів зіткнулися з проблемою в роботі ChatGPT (55 %), але також виникали труднощі при користуванні сайтом (33 %) і неможливістю зайти до свого облікового запису (14 %). При цьому проблеми, з якими зіткнулися користувачі з усього світу, включаючи Україну, спостерігалися як в мобільній, так і десктопній версії чат-бота[39].

Див. також[ред. | ред. код]

Вікіцитати містять висловлювання на тему: ChatGPT

Примітки[ред. | ред. код]

  1. ↑ https://help.openai.com/en/articles/6825453-chatgpt-release-notes
  2. ↑ ChatGPT | ETH Zurich
  3. ↑ Anisimova, Svitlana (13 грудня 2022). Чат-бот на основі ШІ ChatGPT не витримує популярності. Root Nation (укр.). Процитовано 14 грудня 2022. 
  4. ↑ Varanasi, Lakshmi. ChatGPT creator OpenAI is in talks to sell shares in a tender offer that would double the startup's valuation to $29 billion. Business Insider (амер.). Процитовано 13 січня 2023. 
  5. ↑ Hu, Krystal (2 лютого 2023). ChatGPT sets record for fastest-growing user base - analyst note. Reuters (англ.). Процитовано 8 лютого 2023. 
  6. ↑ GPT-4 більший і кращий за ChatGPT, але OpenAI не пояснює, чому. Що відомо про нову модель?. Економічна правда (укр.). Процитовано 17 березня 2023. 
  7. ↑ Bubeck, Sébastien; Chandrasekaran, Varun; Eldan, Ronen; Gehrke, Johannes; Horvitz, Eric; Kamar, Ece; Lee, Peter; Lee, Yin Tat та ін. (27 березня 2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712 [cs]. Процитовано 3 квітня 2023. 
  8. ↑ Max Tegmark: The Case for Halting AI Development | Lex Fridman Podcast #371 (uk-UA). Процитовано 17 квітня 2023. 
  9. ↑ James Vincent (Apr 14, 2023). OpenAI’s CEO confirms the company isn’t training GPT-5 and ‘won’t for some time’. www.theverge.com. Процитовано 17 квітня 2023. 
  10. ↑ Людям набрид штучний інтелект? ChatGPT стрімко втрачає користувачів. 12.07.2023, 19:55
  11. ↑ Knox, W. Bradley; Stone, Peter. Augmenting Reinforcement Learning with Human Feedback. Техаський університет в Остіні. Процитовано 5 грудня 2022. 
  12. ↑ а б в г OpenAI (30 листопада 2022). ChatGPT: Optimizing Language Models for Dialogue. Процитовано 5 грудня 2022. 
  13. ↑ а б Vincent, James (8 грудня 2022). ChatGPT proves AI is finally mainstream – and things are only going to get weirder. The Verge. Процитовано 8 грудня 2022. 
  14. ↑ Schulman, John; Wolski, Filip; Dhariwal, Prafulla; Radford, Alec; Klimov, Oleg (2017). «Proximal Policy Optimization Algorithms». arXiv:1707.06347 [cs.LG]. 
  15. ↑ van Heeswijk, Wouter (29 листопада 2022). Proximal Policy Optimization (PPO) Explained. Towards Data Science. Процитовано 5 грудня 2022. 
  16. ↑ Edwards, Benj (5 грудня 2022). No Linux? No problem. Just get AI to hallucinate it for you. Ars Technica. Процитовано 5 грудня 2022. 
  17. ↑ а б Roose, Kevin (5 грудня 2022). The Brilliance and Weirdness of ChatGPT. Нью-Йорк таймс. Процитовано 5 грудня 2022. 
  18. ↑ Gao, Leo; Schulman; Hilton, Jacob (2022). «Scaling Laws for Reward Model Overoptimization». arXiv:2210.10760 [cs.LG]. 
  19. ↑ Murphy Kelly, Samantha (5 грудня 2022). This AI chatbot is dominating social media with its frighteningly good essays. CNN. Процитовано 5 грудня 2022. 
  20. ↑ Roose, Kevin (5 грудня 2022). The Brilliance and Weirdness of ChatGPT. The New York Times. Процитовано 18 грудня 2022. 
  21. ↑ Lock, Samantha (5 грудня 2022). What is AI chatbot phenomenon ChatGPT and could it replace humans?. Ґардіан (газета). Процитовано 5 грудня 2022. 
  22. ↑ Hern, Alex (4 грудня 2022). AI bot ChatGPT stuns academics with essay-writing skills and usability. Ґардіан (газета). Процитовано 5 грудня 2022. 
  23. ↑ Kantrowitz, Alex (2 грудня 2022). Finally, an A.I. Chatbot That Reliably Passes "the Nazi Test". Slate. Процитовано 5 грудня 2022. 
  24. ↑ Krugman, Paul (6 грудня 2022). Does ChatGPT Mean Robots Are Coming For the Skilled Jobs?. Нью-Йорк таймс. Процитовано 6 грудня 2022. 
  25. ↑ Marche, Stephen (6 грудня 2022). The College Essay Is Dead. The Atlantic. Процитовано 8 грудня 2022. 
  26. ↑ Herman, Daniel (9 грудня 2022). The End of High-School English. The Atlantic. Процитовано 12 грудня 2022. 
  27. ↑ Pearl, Mike (3 грудня 2022). The ChatGPT chatbot from OpenAI is amazing, creative, and totally wrong. Mashable[en]. Процитовано 5 грудня 2022. 
  28. ↑ Vincent, James (5 грудня 2022). AI-generated answers temporarily banned on coding Q&A site Stack Overflow. The Verge. Процитовано 5 грудня 2022. 
  29. ↑ Cowen, Tyler (6 грудня 2022). ChatGPT Could Make Democracy Even More Messy. Bloomberg News. Процитовано 6 грудня 2022. 
  30. ↑ Sharma, Ax (6 грудня 2022). OpenAI's new ChatGPT bot: 10 dangerous things it's capable of. Bleeping Computer. Процитовано 6 грудня 2022. 
  31. ↑ Наливайко, О. О., and Н. А. Наливайко. "ChatGPT: Початок революції в освіті чи ще один тренд?". — 2023.
  32. ↑ Воронкова, В. Г., Р. І. Олексенко, and В. О. Нікітенко. Глобальна цифрова освіта на роздоріжжі викликів, можливостей та змін. — 2023. — С. 12-15.
  33. ↑ Kasneci, Enkelejda, et al. ChatGPT for good? On opportunities and challenges of large language models for education // Learning and Individual Differences 103 (2023). — 2023. — № 103 (квітень). — С. 1-9.
  34. ↑ Services offering uncensored access to ChatGPT blocked in China. South China Morning Post (англ.). 22 лютого 2023. Процитовано 22 лютого 2023. 
  35. ↑ OpenAI equated Ukraine with russia and Iran by banning access to AI-based chatbot ChatGPT • Mezha.Media. mezha.media (амер.). 5 грудня 2022. Процитовано 15 грудня 2022. 
  36. ↑ FEDOROV. Telegram. Процитовано 20 лютого 2023. 
  37. ↑ В Україні запрацював застосунок ChatGPT для iOS. // Автор: Олексій Ярмоленко. 01.06.2023, 15:03
  38. ↑ а б GPT-4 (9 червня 2023). Create an ideal subchapter "Data sources" for the ideal Wikipedia article "GPT-4" (eng). OpenAI. 
  39. ↑ У роботі ChatGPT стався глобальний збій: чат-бот знову став доступним. // Автор: Денис Пономаренко. 11.07.2023, 19:58

Посилання[ред. | ред. код]

Отримано з https://uk.wikipedia.org/w/index.php?title=ChatGPT&oldid=39923847