{"id":2529,"date":"2023-04-06T19:32:15","date_gmt":"2023-04-06T12:32:15","guid":{"rendered":"https:\/\/student-activity.binus.ac.id\/himmat\/?p=2529"},"modified":"2023-04-06T19:33:25","modified_gmt":"2023-04-06T12:33:25","slug":"sejarah-dari-generative-pre-trained-transformer-gpt","status":"publish","type":"post","link":"https:\/\/student-activity.binus.ac.id\/himmat\/2023\/04\/sejarah-dari-generative-pre-trained-transformer-gpt\/","title":{"rendered":"Sejarah dari Generative Pre-trained Transformer (GPT)"},"content":{"rendered":"

\"\"<\/a>
\n30 November 2022 merupakan sebuah tanggal yang bersejarah untuk perkembangan <\/span>Artificial Intelligence<\/span><\/i> di dunia komputer. <\/span>ChatGPT<\/span><\/i>, sebuah <\/span>chatbot<\/span><\/i> yang menggunakan <\/span>AI<\/span><\/i> dari <\/span>OpenAI<\/span><\/i>, pertama kali diluncurkan kepada publik pada tanggal tersebut. Dalam beberapa hari saja, sudah ada sekitar 1 juta orang yang memakai <\/span>ChatGPT<\/span><\/i>. Kemunculannya pun membuat banyak perusahaan mulai ikut terjun ke dunia <\/span>Chatbot<\/span><\/i> ini, mulai dari <\/span>Microsoft<\/span><\/i> yang menggaet <\/span>OpenAI <\/span><\/i>untuk membuat <\/span>BingAI<\/span><\/i>, sampai <\/span>Google<\/span><\/i> pun juga meluncurkan <\/span>Bard<\/span><\/i> pada bulan Maret 2023. Namun, perkembangan ini tidak terjadi hanya dalam 1 malam saja, terdapat berbagai tahapan yang harus dilakukan untuk merangkai <\/span>ChatGPT<\/span><\/i>.<\/span><\/p>\n

\n

GPT<\/span><\/i> atau <\/span>Generative Pre-trained Transformer <\/span><\/i>merupakan sebuah model bahasa besar yang diperkenalkan oleh <\/span>OpenAI<\/span><\/i> pada tahun 2018. <\/span>GPT<\/span><\/i> merupakan jaringan saraf tiruan yang berdasarkan arsitektur transformer, yang dilatih tanpa pengawasan pada kumpulan data besar tanpa label.. Teknik ini berbeda dengan teknologi yang sudah ada saat itu, dimana teknologi yang lain menggunakan pelatihan dengan pengawasan dari data-data yang dilabeli secara manual. <\/span>GPT<\/span><\/i> terdiri dari 4 iterasi, mulai dari <\/span>GPT-1 <\/span><\/i>hingga <\/span>GPT-4<\/span><\/i>.<\/span><\/p>\n

\n

Model pertama dari <\/span>GPT<\/span><\/i> adalah <\/span>GPT-1<\/span><\/i>. Diluncurkan pada 11 Juni 2018, <\/span>GPT-1<\/span><\/i> dilatih menggunakan 2 tahapan yang disebut <\/span>\u201cSemi-Supervised\u201d<\/span><\/i> atau semi diawasi. Tahapan pertama adalah pelatihan awal yang tidak diawasi yang berguna untuk mendapat parameter awal. Lalu yang kedua adalah penyetelan halus yang diawasi untuk mengadaptasikan parameter yang sudah terbentuk kepada target tugasnya. <\/span>GPT-1<\/span><\/i> menggunakan dataset dari <\/span>BookCorpus<\/span><\/i> yang berisikan 7000 buku berukuran 4.5 <\/span>GB<\/span><\/i> yang tidak dipublikasikan dan memakai struktur transformator khusus dekoder 12 lapis dengan <\/span>masked self-attention <\/span><\/i>untuk melatih kebahasaannya. Terdapat 117 juta parameter di <\/span>GPT-1<\/span><\/i>.<\/span><\/p>\n

\n

Model kedua dari <\/span>GPT<\/span><\/i> adalah <\/span>GPT-2<\/span><\/i>. Diluncurkan pada 14 Februari 2019, <\/span>GPT-2 <\/span><\/i>menggunakan arsitektur yang sudah dimodifikasi dari <\/span>GPT-1<\/span><\/i> dan menggunakan dataset dan parameter yang jauh lebih banyak dibanding <\/span>GPT-1<\/span><\/i>. <\/span>GPT-2<\/span><\/i> dilatih dengan teknik yang sama, namun <\/span>GPT-2<\/span><\/i> berlatih dengan beberapa tugas secara bersamaan. <\/span>GPT-2<\/span><\/i> menggunakan dataset dari <\/span>WebText<\/span><\/i> yang memiliki ukuran 40 <\/span>GB<\/span><\/i> yang berisikan 8 juta dokumen, yang membuat <\/span>GPT-2<\/span><\/i> memiliki 1.5 miliar parameter.<\/span><\/p>\n

\n

Pada 11 Juni 2020, model ketiga <\/span>GPT<\/span><\/i>, yaitu <\/span>GPT-3<\/span><\/i> diluncurkan. <\/span>GPT-3<\/span><\/i> masih menggunakan arsitektur yang sama, namun dimodifikasi agar mampu mengakomodasi peningkatan dataset dan parameter. Betul saja, peningkatan <\/span>GPT-3<\/span><\/i> dari <\/span>GPT-2<\/span><\/i> sungguh pesat. Terdapat 175 miliar parameter di GPT-3 ini. Dataset yang diambil pun sangat besar, yaitu tulisan sebesar 570 <\/span>GB<\/span><\/i> yang terdiri dari <\/span>Wikipedia<\/span><\/i>, <\/span>CommonCrawl<\/span><\/i>, <\/span>Webtext<\/span><\/i>, <\/span>Books1<\/span><\/i>, dan <\/span>Books2<\/span><\/i>. <\/span>GPT-3<\/span><\/i> mampu membuat kerjaan yang bahkan sulit dibedakan apakah pekerjaan itu dibuat oleh <\/span>AI<\/span><\/i> atau manusia. <\/span>GPT-3<\/span><\/i> ini sendiri lalu diperbaiki kembali menjadi <\/span>GPT-3.5<\/span><\/i>, yang dilatih dengan <\/span>RLHF<\/span><\/i> (<\/span>Reinforcement Learning from Human Feedback<\/span><\/i>). <\/span>GPT-3.5<\/span><\/i> inilah yang dipakai oleh <\/span>ChatGPT<\/span><\/i>.<\/span><\/p>\n

GPT-4<\/span><\/i> merupakan versi terkini dari keluarga <\/span>GPT<\/span><\/i>. Diluncurkan pada 14 Maret 2023, <\/span>GPT-4<\/span><\/i> merupakan babak baru dari perkembangan <\/span>GPT<\/span><\/i>. Untuk pertama kalinya, GPT-4 mampu menerima <\/span>input<\/span><\/i> dalam bentuk gambar. Sayangnya, tidak ada detail yang diberikan tentang jumlah parameter dan apa dataset yang dipakai. Namun, <\/span>GPT-4<\/span><\/i> telah terbukti jauh lebih mampu melakukan tugasnya dibanding <\/span>GPT-3.5<\/span><\/i>. Terbukti bahwa<\/span> GPT-4<\/span><\/i> mampu mengerjakan banyak ujian dengan hasil yang bisa dibilang memuaskan. Menarik untuk disimak bagaimana perkembangan lebih lanjut dari <\/span>GPT-4<\/span><\/i>.<\/span><\/p>\n

Referensi:
\nhttps:\/\/en.wikipedia.org\/wiki\/Generative_pre-trained_transformer<\/p>\n

https:\/\/cdn.openai.com\/research-covers\/language-unsupervised\/language_understanding_paper.pdf<\/p>\n

https:\/\/en.wikipedia.org\/wiki\/ChatGPT<\/p>\n

https:\/\/medium.com\/walmartglobaltech\/the-journey-of-open-ai-gpt-models-32d95b7b7fb2<\/p>\n

https:\/\/asset-a.grid.id\/crop\/0x0:0x0\/x\/photo\/2023\/03\/15\/gpt-4jpg-20230315053400.jpg<\/p>\n","protected":false},"excerpt":{"rendered":"

30 November 2022 merupakan sebuah tanggal yang bersejarah untuk perkembangan Artificial Intelligence di dunia komputer. ChatGPT, sebuah chatbot yang menggunakan AI dari OpenAI, pertama kali diluncurkan kepada publik pada tanggal tersebut. Dalam beberapa hari saja, sudah ada sekitar 1 juta orang yang memakai ChatGPT. Kemunculannya pun membuat banyak perusahaan mulai ikut terjun ke dunia Chatbot […]<\/p>\n","protected":false},"author":15,"featured_media":2530,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[98,22,97],"class_list":["post-2529","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-articles","tag-ai","tag-artificial-intelligence","tag-chatgpt"],"_links":{"self":[{"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/posts\/2529","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/users\/15"}],"replies":[{"embeddable":true,"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/comments?post=2529"}],"version-history":[{"count":2,"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/posts\/2529\/revisions"}],"predecessor-version":[{"id":2532,"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/posts\/2529\/revisions\/2532"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/media\/2530"}],"wp:attachment":[{"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/media?parent=2529"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/categories?post=2529"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/student-activity.binus.ac.id\/himmat\/wp-json\/wp\/v2\/tags?post=2529"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}