GPT (mô hình ngôn ngữ)

Mô hình GPT gốc

Generative pre-trained transformer (GPT) là một loại mô hình ngôn ngữ lớn (LLM) được sử dụng rộng rãi trong các chatbot AI tạo sinh. GPT dựa trên một kiến trúc học sâu gọi là transformer. Chúng được huấn luyện trước trên các bộ dữ liệu lớn gồm nội dung không gắn nhãn, và có khả năng tạo ra nội dung mới.

OpenAI là tổ chức đầu tiên áp dụng phương pháp tiền huấn luyện sinh vào kiến trúc transformer, giới thiệu mô hình GPT-1 vào năm 2018. Kể từ đó, công ty đã phát hành nhiều mô hình GPT lớn hơn. Chatbot ChatGPT, được phát hành vào cuối năm 2022 (sử dụng GPT-3.5), sau đó là sự xuất hiện của nhiều chatbot cạnh tranh sử dụng các generative pre-trained transformer riêng để tạo văn bản, như Gemini, DeepSeek và Claude.

GPT chủ yếu được dùng để tạo văn bản, nhưng cũng có thể được huấn luyện để tạo ra các loại dữ liệu khác. Ví dụ, GPT-4o có thể xử lý và tạo ra văn bản, hình ảnh và âm thanh. Để cải thiện hiệu suất trên các tác vụ phức tạp, một số GPT, như OpenAI o3, phân bổ nhiều thời gian tính toán hơn để phân tích vấn đề trước khi tạo ra đầu ra, và được gọi là mô hình suy luận. Năm 2025, GPT-5 được phát hành với một bộ định tuyến tự động chọn giữa việc dùng mô hình nhanh hơn hay mô hình suy luận chậm hơn tùy theo tác vụ được cung cấp.

Bối cảnh

Trong thập niên 2010, các thuật toán học máy được cải tiến, máy tính mạnh hơn và lượng tài liệu được số hóa tăng lên đã tạo điều kiện cho một làn sóng bùng nổ AI.

Tách biệt với điều đó, khái niệm generative pre-training (GP) từ lâu đã là một kỹ thuật trong machine learning. GP là một dạng self-supervised learning trong đó mô hình trước tiên được huấn luyện trên một bộ dữ liệu lớn không gắn nhãn (bước "pre-training") để học cách tạo ra các điểm dữ liệu. Mô hình được huấn luyện trước này sau đó được điều chỉnh cho một tác vụ cụ thể bằng cách sử dụng bộ dữ liệu có gắn nhãn (bước "fine-tuning").

Kiến trúc transformer cho học sâu là công nghệ cốt lõi của GPT. Được phát triển bởi các nhà nghiên cứu tại Google, nó được giới thiệu trong bài báo "Attention Is All You Need", phát hành vào ngày 12 tháng 6 năm 2017. Kiến trúc transformer đã giải quyết nhiều vấn đề hiệu năng liên quan đến các thiết kế recurrent neural network (RNN) cũ hơn cho natural language processing (NLP). Việc kiến trúc này sử dụng cơ chế attention cho phép mô hình xử lý toàn bộ chuỗi văn bản cùng lúc, từ đó cho phép huấn luyện các mô hình lớn hơn và tinh vi hơn nhiều. Kể từ năm 2017, các hệ thống NLP dựa trên transformer hiện có đã có khả năng xử lý, khai phá, tổ chức, kết nối, đối chiếu và tóm tắt văn bản cũng như trả lời câu hỏi từ đầu vào văn bản.

Mô hình nền tảng

Một mô hình nền tảng là một mô hình AI được huấn luyện trên dữ liệu rộng ở quy mô lớn để có thể thích nghi với nhiều tác vụ hạ nguồn khác nhau. Mô hình gần đây nhất trong loạt GPT-n của OpenAI là GPT-5. Những mô hình khác cùng loại bao gồm PaLM của Google, một mô hình nền tảng rộng đã được so sánh với GPT-3 và đã được cung cấp cho nhà phát triển thông qua một API, và GPT-JT của Together, được cho là lựa chọn thay thế mã nguồn mở có hiệu năng gần nhất với GPT-3 (và được phát triển từ các GPT mã nguồn mở trước đó). Meta AI (trước đây là Facebook) cũng có một mô hình ngôn ngữ lớn nền tảng dựa trên generative transformer, được gọi là LLaMA. Các GPT nền tảng cũng có thể sử dụng các phương thức ngoài văn bản, cho đầu vào và/hoặc đầu ra. GPT-4 là một LLM đa phương thức có khả năng xử lý đầu vào là văn bản và hình ảnh (mặc dù đầu ra của nó chỉ giới hạn ở văn bản). Về đầu ra đa phương thức, một số mô hình dựa trên generative transformer được dùng cho các công nghệ tạo ảnh từ văn bản như diffusion và giải mã song song. Các loại mô hình này có thể đóng vai trò là visual foundation models (VFM) để phát triển các hệ thống hạ nguồn có thể làm việc với hình ảnh.

Mô hình chuyên biệt

Quy trình huấn luyện của bản phát hành ChatGPT/InstructGPT gốc

Một mô hình GPT nền tảng có thể tiếp tục được điều chỉnh để tạo ra các hệ thống có mục tiêu cụ thể hơn, hướng tới những tác vụ và/hoặc lĩnh vực chuyên môn nhất định. Các phương pháp điều chỉnh như vậy có thể bao gồm fine-tuning bổ sung (vượt ngoài phần đã thực hiện cho mô hình nền tảng) cũng như một số dạng prompt engineering. Một ví dụ quan trọng của điều này là fine-tuning mô hình để làm theo hướng dẫn, vốn dĩ là một tác vụ khá rộng nhưng vẫn có mục tiêu cụ thể hơn so với mô hình nền tảng.

Vào tháng 1 năm 2022, OpenAI giới thiệu "InstructGPT" – một loạt mô hình được fine-tune để làm theo hướng dẫn bằng cách kết hợp huấn luyện có giám sát và reinforcement learning from human feedback (RLHF) trên các mô hình ngôn ngữ GPT-3 cơ sở. Ưu điểm của chúng so với các mô hình nền tảng thuần túy bao gồm độ chính xác cao hơn, ít cảm xúc tiêu cực/độc hại hơn và nhìn chung phù hợp hơn với nhu cầu của người dùng. Vì vậy, OpenAI đã bắt đầu dùng đây làm nền tảng cho các dịch vụ API của mình. Các mô hình instruction-tuned khác cũng đã được phát hành bởi bên khác, bao gồm cả một phiên bản hoàn toàn mở. Một loại mô hình đặc thù cho tác vụ khác (có liên quan) là chatbot, vốn tham gia hội thoại giống con người.

Vào tháng 11 năm 2022, OpenAI ra mắt ChatGPT – một giao diện trò chuyện trực tuyến được vận hành bởi một mô hình ngôn ngữ instruction-tuned được huấn luyện theo cách tương tự InstructGPT. Họ huấn luyện mô hình này bằng RLHF, với các huấn luyện viên AI con người cung cấp các đoạn hội thoại trong đó họ đóng cả vai người dùng lẫn AI, rồi trộn bộ dữ liệu hội thoại mới này với bộ dữ liệu InstructGPT để tạo ra định dạng hội thoại phù hợp cho chatbot.

Các chatbot lớn khác hiện nay bao gồm Bing Chat của Microsoft, sử dụng GPT-4 của OpenAI (như một phần của mối hợp tác chặt chẽ rộng hơn giữa OpenAI và Microsoft), và chatbot cạnh tranh Gemini của Google (ban đầu dựa trên họ mô hình hội thoại LaMDA, với kế hoạch chuyển sang PaLM). Một loại tác vụ khác nữa mà GPT có thể dùng là meta-task tạo ra chính các hướng dẫn của nó, như phát triển một chuỗi prompt cho 'chính nó' để có thể thực hiện một mục tiêu tổng quát hơn do người dùng đưa ra. Điều này được gọi là một AI agent, và cụ thể hơn là agent đệ quy vì nó sử dụng kết quả từ các tự chỉ dẫn trước đó để giúp hình thành các prompt tiếp theo; ví dụ lớn đầu tiên cho điều này là Auto-GPT (sử dụng các mô hình GPT của OpenAI), và kể từ đó những hệ thống khác cũng đã được phát triển.

models cụ thể theo công việc (Task-specific model)

Quy trình huấn luyện của bản phát hành ChatGPT/InstructGPT gốc

Một mô hình GPT nền tảng có thể tiếp tục được điều chỉnh để tạo ra các hệ thống có mục tiêu cụ thể hơn, hướng tới những tác vụ và/hoặc lĩnh vực chuyên môn nhất định. Các phương pháp điều chỉnh như vậy có thể bao gồm fine-tuning bổ sung (vượt ngoài phần đã thực hiện cho mô hình nền tảng) cũng như một số dạng prompt engineering.

Một ví dụ quan trọng của điều này là fine-tuning mô hình để làm theo hướng dẫn, vốn dĩ là một tác vụ khá rộng nhưng vẫn có mục tiêu cụ thể hơn so với mô hình nền tảng. Vào tháng 1 năm 2022, OpenAI giới thiệu "InstructGPT" – một loạt mô hình được fine-tune để làm theo hướng dẫn bằng cách kết hợp huấn luyện có giám sát và reinforcement learning from human feedback (RLHF) trên các mô hình ngôn ngữ GPT-3 cơ sở. Ưu điểm của chúng so với các mô hình nền tảng thuần túy bao gồm độ chính xác cao hơn, ít cảm xúc tiêu cực/độc hại hơn và nhìn chung phù hợp hơn với nhu cầu của người dùng. Vì vậy, OpenAI đã bắt đầu dùng đây làm nền tảng cho các dịch vụ API của mình. Các mô hình instruction-tuned khác cũng đã được phát hành bởi bên khác, bao gồm cả một phiên bản hoàn toàn mở.

Một loại mô hình đặc thù cho tác vụ khác (có liên quan) là chatbot, vốn tham gia hội thoại giống con người. Vào tháng 11 năm 2022, OpenAI ra mắt ChatGPT – một giao diện trò chuyện trực tuyến được vận hành bởi một mô hình ngôn ngữ instruction-tuned được huấn luyện theo cách tương tự InstructGPT. Họ huấn luyện mô hình này bằng RLHF, với các huấn luyện viên AI con người cung cấp các đoạn hội thoại trong đó họ đóng cả vai người dùng lẫn AI, rồi trộn bộ dữ liệu hội thoại mới này với bộ dữ liệu InstructGPT để tạo ra định dạng hội thoại phù hợp cho chatbot. Các chatbot lớn khác hiện nay bao gồm Bing Chat của Microsoft, sử dụng GPT-4 của OpenAI (như một phần của mối hợp tác chặt chẽ rộng hơn giữa OpenAI và Microsoft), và chatbot cạnh tranh Gemini của Google (ban đầu dựa trên họ mô hình hội thoại LaMDA, với kế hoạch chuyển sang PaLM).

Một loại tác vụ khác nữa mà GPT có thể dùng là meta-task tạo ra chính các hướng dẫn của nó, như phát triển một chuỗi prompt cho 'chính nó' để có thể thực hiện một mục tiêu tổng quát hơn do người dùng đưa ra. Điều này được gọi là một AI agent, và cụ thể hơn là agent đệ quy vì nó sử dụng kết quả từ các tự chỉ dẫn trước đó để giúp hình thành các prompt tiếp theo; ví dụ lớn đầu tiên cho điều này là Auto-GPT (sử dụng các mô hình GPT của OpenAI), và kể từ đó những hệ thống khác cũng đã được phát triển.