- โมเดลภาษาขนาดใหญ่ทำนายโทเค็นโดยใช้ทรานส์ฟอร์เมอร์และกลไกความสนใจบนคลังข้อความขนาดใหญ่ ไม่ใช่ฐานข้อมูลเชิงสัญลักษณ์
- การออกแบบโทเค็นไลเซอร์ จำนวนพารามิเตอร์ หน้าต่างบริบท และอุณหภูมิ เป็นตัวกำหนดว่า LLM จะมีความสามารถและสร้างสรรค์ได้มากแค่ไหน
- ระบบนิเวศ LLM แบบเปิด แบบปิด และแบบเฉพาะกลุ่ม รวมถึงการแปลงเป็นเชิงปริมาณ ทำให้สามารถรันโมเดลที่มีประสิทธิภาพสูงบนฮาร์ดแวร์สำหรับผู้บริโภคได้
- LLM ช่วยปลดล็อกการใช้งานด้านการค้นหา การเขียนโค้ด และการวิเคราะห์ แต่ก็มาพร้อมกับความท้าทาย เช่น ภาพหลอน อคติ ความปลอดภัย และการขยายขนาด
เมื่อคุณพิมพ์บนโทรศัพท์และเห็นแป้นพิมพ์เดาคำถัดไป คุณกำลังได้เห็นภาพคร่าวๆ ว่าแบบจำลองภาษาขนาดใหญ่ (LLM) ทำงานอย่างไรความแตกต่างอยู่ที่ขนาด: แทนที่จะใช้เพียงตัวอักษรหรือคำไม่กี่คำสุดท้าย LLM อาศัยรูปแบบที่เรียนรู้จากข้อความจำนวนมหาศาลที่มีอยู่บนอินเทอร์เน็ต ซึ่งถูกบีบอัดลงในเครือข่ายประสาทเทียมขนาดใหญ่ หากคุณถามถึงเมืองหลวงของญี่ปุ่น มันจะไม่เปิดฐานข้อมูลทางภูมิศาสตร์ แต่จะคำนวณว่า หลังจากลำดับคำที่คุณเขียนแล้ว โทเค็นที่ตรงกับคำว่า "โตเกียว" มีโอกาสสูงมากที่จะเป็นผลลัพธ์ถัดไป
การเข้าใจวิธีการทำงานของโมเดลเหล่านี้ตั้งแต่เริ่มต้นนั้นมีความสำคัญอย่างยิ่ง หากคุณต้องการสร้าง เลือกใช้ ปรับใช้ หรือใช้งานโมเดลเหล่านี้อย่างชาญฉลาดในคู่มือนี้ เราจะอธิบายรายละเอียดทั้งหมดที่อยู่เบื้องหลัง LLM สมัยใหม่ด้วยภาษาที่เข้าใจง่าย ได้แก่ โทเค็น ทรานส์ฟอร์เมอร์ พารามิเตอร์ หน้าต่างบริบท อุณหภูมิ การออกแบบโทเค็นไซเซอร์ ระบบนิเวศแบบเปิดและแบบปิด การควอนไทเซชัน ข้อดีข้อเสียของฮาร์ดแวร์ การฝึกอบรม การปรับแต่ง และข้อจำกัดและประโยชน์ในโลกแห่งความเป็นจริง ตลอดจนแหล่งข้อมูลเกี่ยวกับ แพลตฟอร์มการประเมินแบบจำลองภาษาแบบโอเพนซอร์สเป้าหมายคือการทำให้ศัพท์เฉพาะทางเข้าใจง่ายขึ้น เพื่อให้คุณสามารถวิเคราะห์แบบจำลองภาษาได้อย่างมืออาชีพ แทนที่จะมองว่ามันเป็นเรื่องลึกลับซับซ้อน
จากคำพูดสู่สัญลักษณ์: LLM อ่านข้อความอย่างไรกันแน่
แม้ว่าการตอบสนองของ LLM จะดูเป็นธรรมชาติเพียงใด แต่ LLM ไม่ได้ประมวลผลตัวอักษรหรือคำเต็มๆ เหมือนมนุษย์ พวกมันประมวลผลเป็นโทเค็นโทเค็นคือหน่วยข้อความขนาดเล็กที่กำหนดโดยตัวแยกโทเค็น: อาจเป็นคำสั้นๆ ที่สมบูรณ์ เช่น “cat” คำนำหน้าย่อย เช่น “un‑” คำต่อท้าย เครื่องหมายวรรคตอน หรือแม้แต่ตัวเว้นวรรค การแบ่งส่วนที่แน่นอนขึ้นอยู่กับวิธีการสร้างคำศัพท์ของตัวแยกโทเค็น
มุมมองที่อิงตามโทเค็นนี้สามารถอธิบายพฤติกรรมแปลกๆ หลายอย่างของแบบจำลองภาษาได้ลองพิจารณาคำถามคลาสสิกที่ว่า “มีตัวอักษร 'r' กี่ตัวในคำว่า 'strawberry'?” โมเดลหลายๆ ตัวจะตอบว่า 2 ไม่ใช่เพราะมันนับไม่ได้ แต่เพราะภายในแล้วมันอาจมองคำนั้นเป็นโทเค็นพื้นฐานสองตัว เช่น “straw” + “berry” ในระดับนั้น ตัวอักษรแต่ละตัวจะมองไม่เห็น เว้นแต่คุณจะบังคับให้โมเดลสะกดคำออกมาทีละตัวอักษรอย่างชัดเจน มันจึงจะสามารถนับ “r” ได้อย่างน่าเชื่อถือ เพราะแต่ละโทเค็นถูกมองว่าเป็นสัญลักษณ์ที่แบ่งแยกไม่ได้
คุณภาพของการแบ่งคำเป็นโทเค็นมีผลกระทบอย่างมากต่อความถูกต้องและประสิทธิภาพของข้อมูลในแบบจำลองงานวิจัย เช่น การทดลอง TokenMonster ซึ่งฝึกโมเดล 16 โมเดลที่มีพารามิเตอร์ประมาณ 90 ล้านถึง 354 ล้านตัวตั้งแต่เริ่มต้นโดยใช้คำศัพท์ที่แตกต่างกัน แสดงให้เห็นว่าการออกแบบโทเคไนเซอร์อย่างรอบคอบนั้นมีประสิทธิภาพเหนือกว่าวิธีการเก่าๆ เช่น โทเคไนเซอร์ GPT-2 หรือ p50k_base ของ tiktoken ในหลายๆ เกณฑ์มาตรฐาน ในการทดลองเหล่านี้ โทเคไนเซอร์ที่มีประสิทธิภาพมากขึ้นช่วยปรับปรุงความถูกต้องของข้อเท็จจริงในเกณฑ์มาตรฐาน QA (เช่น SMLQA และ SQuAD) โดยไม่จำเป็นต้องทำให้ข้อความ "ลื่นไหล" หรือสละสลวยมากขึ้น
ข้อสังเกตที่สำคัญอย่างหนึ่งคือ ค่าความสูญเสียจากการตรวจสอบ (validation loss) และคะแนน F1 อาจทำให้เกิดความเข้าใจผิดได้เมื่อเปรียบเทียบโมเดลที่สร้างขึ้นด้วยตัวแยกคำ (tokenizer) ที่แตกต่างกันความสูญเสียจากการตรวจสอบความถูกต้องมักมีความสัมพันธ์อย่างมากกับอัตราส่วนการบีบอัด (จำนวนอักขระเฉลี่ยต่อโทเค็น) หากตัวแยกโทเค็นบรรจุอักขระลงในแต่ละโทเค็นมากขึ้น ความสูญเสียต่อโทเค็นก็จะแตกต่างออกไป แม้ว่าคุณภาพการสร้างแบบจำลองภาษาพื้นฐานจะคล้ายคลึงกันก็ตาม การเปรียบเทียบที่สมเหตุสมผลกว่าคือความสูญเสียต่ออักขระ ในทำนองเดียวกัน คะแนน F1 จะลงโทษคำตอบที่ยาวกว่าอย่างมาก ดังนั้นแบบจำลองที่ให้คำตอบที่ละเอียดกว่าอาจดูแย่ลงเมื่อพิจารณาจากคะแนน F1 แม้ว่าจะมีประโยชน์มากกว่าในทางปฏิบัติก็ตาม
เครื่องยนต์ทรานส์ฟอร์เมอร์และเวทมนตร์แห่งความสนใจ
ภายใต้ระบบการทำงานภายใน LLM รุ่นใหม่ๆ นั้นแทบจะใช้สถาปัตยกรรมหม้อแปลงไฟฟ้าที่เปิดตัวในปี 2017 เป็นหลักตัวอักษร “T” ในชื่อต่างๆ เช่น GPT ย่อมาจาก “Transformer” (ทรานส์ฟอร์เมอร์) การออกแบบนี้เข้ามาแทนที่สถาปัตยกรรมแบบวนซ้ำและแบบคอนโวลูชันรุ่นก่อนๆ เนื่องจากสามารถปรับขนาดได้ดีกว่ามากและจับความสัมพันธ์ระยะยาวในข้อความได้อย่างมีประสิทธิภาพมากกว่า
นวัตกรรมหลักของ Transformer คือกลไก Self-attention ซึ่งช่วยให้โมเดลสามารถพิจารณาโทเค็นทั้งหมดในลำดับพร้อมกันได้โมเดลรุ่นก่อนๆ ประมวลผลข้อความจากซ้ายไปขวาอย่างเคร่งครัด และมักจะ "ลืม" ส่วนต้นของประโยคยาวๆ เมื่อถึงจุดจบ ในทางตรงกันข้าม กลไกการให้ความสนใจตนเอง (self-attention) จะกำหนดน้ำหนักที่เรียนรู้แล้วให้กับโทเค็นแต่ละคู่ ดังนั้นโมเดลจึงสามารถเชื่อมโยงโดยตรง เช่น ประธานของประโยคกับคำกริยาที่อยู่ห่างออกไปหลายคำ
เพื่อให้สามารถคำนวณได้ในเชิงตัวเลข โทเค็นแต่ละตัวจะถูกแปลงเป็นเวกเตอร์หนาแน่นก่อน ซึ่งเรียกว่าการฝังตัว (embedding)เอ็มเบดดิ้ง (Embeddings) คือการเรียนรู้การแสดงผลที่จัดวางรายการที่มีความสัมพันธ์ทางความหมายไว้ใกล้กันในพื้นที่เวกเตอร์ ในบทความเกี่ยวกับสุนัข เวกเตอร์สำหรับคำว่า “เห่า” และ “สุนัข” จะอยู่ใกล้กันมากกว่า “เห่า” และ “ต้นไม้” เพราะแบบจำลองได้เห็นคำเหล่านี้ปรากฏร่วมกันในบริบทที่คล้ายกันระหว่างการฝึกฝน นอกจากนี้ ทรานส์ฟอร์เมอร์ยังเพิ่มการเข้ารหัสตำแหน่งเพื่อให้แต่ละโทเค็นทราบตำแหน่งสัมพัทธ์ของตนในลำดับ
ในแต่ละเลเยอร์ความสนใจ (attention layer) ข้อมูลฝังตัว (embedding) แต่ละอันจะถูกฉายไปยังเวกเตอร์สามแบบที่แตกต่างกัน ได้แก่ คำถาม (Q), กุญแจ (K) และค่า (V)โดยสัญชาตญาณแล้ว คำค้นหาจะแสดงถึงสิ่งที่โทเค็นปัจจุบัน "กำลังมองหา" ในโทเค็นอื่นๆ คีย์จะแสดงถึงสิ่งที่แต่ละโทเค็น "นำเสนอ" ให้แก่โทเค็นอื่นๆ และค่าคือข้อมูลจริงที่ถูกนำมาผสมผสานกัน คะแนนความสนใจจะถูกคำนวณจากความคล้ายคลึงกันระหว่างคำค้นหาและคีย์ จากนั้นจึงแปลงเป็นน้ำหนัก น้ำหนักเหล่านี้จะควบคุมว่าเวกเตอร์ค่าแต่ละตัวจะไหลเข้าสู่การแสดงผลโทเค็นที่ได้รับการอัปเดตมากน้อยเพียงใด
การซ้อนเลเยอร์ self-attention และ feed-forward จำนวนมากเข้าด้วยกัน จะสร้างการแสดงผลเชิงบริบทที่สมบูรณ์ ซึ่งเข้ารหัสไวยากรณ์ ข้อเท็จจริง และรูปแบบการให้เหตุผลโครงข่ายประสาทเทียมแบบทรานส์ฟอร์เมอร์รองรับการประมวลผลแบบขนานสูง ซึ่งทำให้สามารถฝึกฝนโครงข่ายนี้กับชุดข้อมูลข้อความขนาดใหญ่ได้ เมื่อเวลาผ่านไป พารามิเตอร์ที่เรียนรู้มานับพันล้านตัว ซึ่งโดยพื้นฐานแล้วคือค่าถ่วงน้ำหนักภายในของโครงข่าย จะเข้ารหัสทุกสิ่งทุกอย่าง ตั้งแต่กฎไวยากรณ์ไปจนถึงความรู้เกี่ยวกับโลก และแม้กระทั่งกลยุทธ์การแก้ปัญหาเชิงนามธรรม
พารามิเตอร์ หน้าต่างบริบท และอุณหภูมิ: คำศัพท์เฉพาะของ LLM
ทุกครั้งที่คุณเรียกดูแพลตฟอร์ม AI หรือคลังเก็บโมเดล คุณจะพบกับข้อความที่เข้าใจยาก เช่น “70B”, “8B-Instruct” หรือ “temp=0.8”นี่ไม่ใช่รหัสลับทางนิวเคลียร์ แต่เป็นเพียงคำย่อสำหรับคุณสมบัติหลักที่กำหนดพฤติกรรมของ LLM และฮาร์ดแวร์ที่จำเป็น การเข้าใจสิ่งเหล่านี้จะช่วยลดความสับสนและการเลือกการกำหนดค่าที่ไม่เหมาะสมได้มาก
พารามิเตอร์เปรียบเสมือนเซลล์ประสาทหรือไซแนปส์ในสมองของสิ่งมีชีวิตโดยประมาณค่าเหล่านี้เป็นค่าน้ำหนักเชิงตัวเลขที่กระบวนการฝึกฝนปรับเพื่อลดข้อผิดพลาดในการทำนายให้เหลือน้อยที่สุด โมเดลที่มีพารามิเตอร์ 7 พันล้านตัว (7B) มีความสามารถในการแสดงผลน้อยกว่าโมเดลที่มีพารามิเตอร์ 400B ขึ้นไป เช่นเดียวกับโครงข่ายประสาทเทียมขนาดเล็กที่มีความยืดหยุ่นน้อยกว่าโครงข่ายประสาทเทียมขนาดใหญ่ ช่วงค่าโดยทั่วไปที่ไม่เป็นทางการจะมีลักษณะดังนี้:
- 7B-9B: รุ่นที่เล็กกว่า เช่น Llama‑3 8B หรือ Gemma‑2 9B นั้น มีขนาดเล็กพอที่จะใช้งานบนพีซีสำหรับผู้บริโภคทั่วไปได้ แต่หากนำไปใช้ในการคำนวณที่ซับซ้อนหรือความรู้เฉพาะทาง ก็มีแนวโน้มที่จะ "สร้างภาพลวงตา" กล่าวคือ สร้างข้อความที่ฟังดูสมเหตุสมผลแต่ไม่ถูกต้อง
- 70B: โปรเซสเซอร์ขนาดกลางที่ทรงพลังอย่าง Llama-3 70B นั้นมีความสมดุลที่ดีระหว่างความลึกซึ้งในการประมวลผลและการใช้งานจริง มักต้องการ GPU ที่ทรงพลังหรือการใช้งานบนคลาวด์ และสามารถทำผลงานได้เทียบเท่าหรือเหนือกว่าระดับผู้เชี่ยวชาญในหลายๆ งาน
- 400B และรุ่นต่อๆ ไป: โมเดลขั้นสูงขนาดใหญ่พิเศษ เช่น โมเดล GPT-5 ในเชิงสมมติฐาน หรือโมเดล Gemini ระดับสูง โมเดลเหล่านี้ให้ความรู้และเหตุผลที่กว้างขวางอย่างมหาศาล แต่ในทางปฏิบัติแล้วเป็นไปไม่ได้ที่จะใช้งานในเครื่องคอมพิวเตอร์ส่วนบุคคล จึงต้องจัดเก็บไว้ในศูนย์ข้อมูลและให้บริการผ่าน API
การมีพารามิเตอร์มากขึ้นไม่ได้หมายความว่าจะได้ "คำตอบที่ดีกว่า" ในทุกสถานการณ์เสมอไปโมเดลขนาดใหญ่มีแนวโน้มที่จะให้เหตุผลที่แข็งแกร่งกว่า แต่คุณภาพก็ขึ้นอยู่กับข้อมูล สูตรการฝึกฝน ประสิทธิภาพของตัวแยกคำ และการปรับแต่งด้วยเช่นกัน ควรพิจารณาจำนวนพารามิเตอร์ในแง่ของศักยภาพทางปัญญามากกว่าคะแนนคุณภาพสัมบูรณ์
หน้าต่างบริบทคือหน่วยความจำระยะสั้นของโมเดล: จำนวนโทเค็นที่โมเดลสามารถพิจารณาได้พร้อมกันระบบ LLM รุ่นแรกๆ มักมีหน้าต่างบริบทประมาณ 4,000 โทเค็น ซึ่งเทียบเท่ากับคำศัพท์ภาษาอังกฤษประมาณ 3,000 คำ ระบบสมัยใหม่สามารถจัดการโทเค็นได้หลายแสนหรือหลายล้านโทเค็น นั่นหมายความว่าคุณสามารถป้อนข้อมูลหนังสือทั้งเล่ม คู่มือทางเทคนิคหลายเล่ม และโค้ดเบสเข้าไป จากนั้นถามคำถามที่ต้องอาศัยข้อมูลทั้งหมดเหล่านั้น โดยที่โมเดลจะไม่ "ลืม" ส่วนต้นๆ ของข้อมูลที่ป้อนเข้าไป
การควบคุมอุณหภูมิเป็นปัจจัยสำคัญในการสร้างสมดุลระหว่างความแน่นอนและความคิดสร้างสรรค์ในขั้นตอนการสุ่มตัวอย่างที่อุณหภูมิ 0.0 โมเดลจะเลือกโทเค็นถัดไปที่มีโอกาสมากที่สุดเพียงโทเค็นเดียวเสมอ ซึ่งเหมาะสำหรับการสร้างโค้ด การคำนวณทางคณิตศาสตร์ หรือการดึงข้อมูลที่มีโครงสร้างซึ่งความสม่ำเสมอเป็นสิ่งสำคัญ ที่อุณหภูมิประมาณ 0.8-1.0 ตัวสุ่มจะสำรวจโทเค็นที่มีโอกาสน้อยกว่าบ่อยขึ้น ซึ่งอาจสร้างผลลัพธ์ที่แปลกใหม่หรือน่าประหลาดใจมากขึ้น—มีประโยชน์สำหรับการระดมความคิด การเล่าเรื่อง หรือการเขียนบทกวี การตั้งอุณหภูมิสูงเกินไป (เช่น สูงกว่า 1.5) จะทำให้ผลลัพธ์ของโมเดลไม่เสถียรและมักไม่สอดคล้องกัน เหมือนคนพูดพล่ามโดยไม่กรอง
การออกแบบโทเคไนเซอร์และเหตุใดจึงมีความสำคัญต่อความถูกต้องแม่นยำ
แม้ว่าการแบ่งคำเป็นโทเค็นอาจฟังดูเหมือนเป็นรายละเอียดในการใช้งาน แต่ก็มีส่วนสำคัญอย่างยิ่งต่อประสิทธิภาพในการเรียนรู้ของโมเดลและความแม่นยำในการจดจำข้อเท็จจริงจากการทดลองกับชุดคำศัพท์ TokenMonster พบว่า สำหรับโมเดลที่เทียบเคียงกันได้ ตัวแยกคำแบบกำหนดเองสามารถเอาชนะชุดคำศัพท์ GPT-2 หรือ tiktoken มาตรฐานได้ในการทดสอบประสิทธิภาพ แม้ว่าจะไม่ได้เปลี่ยนแปลงสถาปัตยกรรมก็ตาม
ผลลัพธ์สำคัญจากงานวิจัยเหล่านั้นคือ ขนาดคำศัพท์ระดับกลางประมาณ 32,000 คำ มักจะได้ผลดีที่สุดชุดคำศัพท์ขนาดเล็กมีโครงสร้างที่เรียบง่ายกว่าและสามารถบรรลุผลลัพธ์ที่เสถียรได้เร็วขึ้นในระหว่างการฝึกฝน แต่ก็อาจทำให้โมเดลต้องแบ่งคำออกเป็นโทเค็นย่อยจำนวนมาก ซึ่งจะเพิ่มความยาวของลำดับและต้นทุนในการฝึกฝน ในทางกลับกัน ชุดคำศัพท์ขนาดใหญ่มากอาจทำให้เกิดการโอเวอร์ฟิตกับรูปแบบที่หายากและทำให้การฝึกฝนไม่เสถียร โดยไม่ได้รับประโยชน์ในด้านคุณภาพสุดท้ายที่สอดคล้องกัน
ที่น่าสนใจคือ การบีบอัดที่สูงขึ้น—จำนวนตัวอักษรต่อโทเค็นมากขึ้น—ไม่ได้ทำให้คุณภาพของโมเดลลดลงโดยเนื้อแท้สิ่งที่สำคัญกว่าคือจุดบกพร่องหรือความผิดพลาดในตัวแยกคำที่ทำให้รูปแบบบางอย่างยากต่อการแสดงผล ตัวอย่างเช่น คำที่มีหลายคำอาจบีบอัดได้ดี แต่คะแนนในเกณฑ์มาตรฐานการตรวจสอบคุณภาพข้อมูลเชิงข้อเท็จจริง เช่น SMLQA อาจลดลงอย่างเห็นได้ชัด (ประมาณ 5% ในบางการทดสอบ) แม้ว่าอัตราส่วนอักขระต่อคำจะดีขึ้นประมาณ 13% ก็ตาม
งานวิจัยนี้ยังเน้นย้ำว่า ตัวแยกคำ (tokenizers) มีอิทธิพลต่อความสามารถของโมเดลในการจัดเก็บและเรียกใช้ข้อมูลข้อเท็จจริงเป็นหลัก ไม่ใช่ความคล่องแคล่วในการแสดงออกบนพื้นผิวเนื่องจากการแก้ไขรูปแบบทางไวยากรณ์นั้นง่ายกว่าการแก้ไขความสัมพันธ์เชิงข้อเท็จจริงที่เปราะบางในระหว่างกระบวนการย้อนกลับ (backpropagation) ดังนั้น การสูญเสียกำลังการผลิตหรือความไม่มีประสิทธิภาพใดๆ ในระดับโทเค็นจึงมีแนวโน้มที่จะลดทอนความถูกต้องแม่นยำก่อนเป็นอันดับแรก ข้อสรุปโดยรวมนั้นง่ายมาก: ตัวแยกโทเค็นที่ดีกว่าจะสร้างแบบจำลองที่น่าเชื่อถือกว่า แม้ว่ารูปแบบการเขียนจะดูคล้ายกันก็ตาม
ประเภทของ LLM: แบบปิด แบบเปิด แบบโอเพนซอร์ส และแบบเฉพาะกลุ่ม
ระบบนิเวศ AI ได้แตกออกเป็นหลายกลุ่มตามวิธีการเผยแพร่โมเดลและสิ่งที่คุณได้รับอนุญาตให้ทำกับโมเดลเหล่านั้นการเข้าใจหมวดหมู่เหล่านี้จะช่วยให้คุณเลือกเครื่องมือที่เหมาะสมและหลีกเลี่ยงปัญหาทางกฎหมายหรือความเป็นส่วนตัวที่ไม่คาดคิดได้
โมเดลแบบปิดหรือแบบกรรมสิทธิ์เป็นชื่อทางการค้าขนาดใหญ่ที่คนส่วนใหญ่รู้จักกันดีลองนึกถึง GPT เวอร์ชันขนาดใหญ่ เช่น Gemini, Claude และผลิตภัณฑ์อื่นๆ ที่คล้ายกัน ข้อดีของมันชัดเจน: ประสิทธิภาพล้ำสมัย หน้าต่างบริบทขนาดใหญ่ การให้เหตุผลขั้นสูง ความสามารถในการทำงานหลายรูปแบบ และโครงสร้างพื้นฐานการให้บริการที่ได้รับการปรับแต่งอย่างมาก ข้อเสียคือคุณไม่ได้ "เป็นเจ้าของ" โมเดลเหล่านี้อย่างแท้จริง ข้อความแจ้งและข้อมูลของคุณจะถูกส่งไปยังเซิร์ฟเวอร์ของบุคคลที่สาม การใช้งานของคุณถูกควบคุมโดยนโยบายและราคาของพวกเขา และตัวกรองความปลอดภัยสามารถบล็อกหรือเปลี่ยนแปลงคำตอบในลักษณะที่คุณไม่สามารถควบคุมได้อย่างเต็มที่
โมเดลแบบเปิดน้ำหนัก (ซึ่งมักถูกเรียกอย่างไม่ถูกต้องว่า LLM แบบ "โอเพนซอร์ส") เลือกใช้แนวทางสายกลางบริษัทและห้องปฏิบัติการวิจัยมักเผยแพร่ไฟล์น้ำหนักโมเดลที่ผ่านการฝึกฝนแล้ว เพื่อให้คุณสามารถดาวน์โหลดและเรียกใช้โมเดลได้ในเครื่องของคุณเองหรือบนเซิร์ฟเวอร์ของคุณเอง แต่โดยทั่วไปแล้ว พวกเขาจะเก็บโค้ดการฝึกฝน พารามิเตอร์ และชุดข้อมูลดิบไว้เป็นความลับ ตระกูลโมเดลอย่าง Llama-3, Mistral และ Qwen เป็นตัวอย่างของแนวทางนี้ เมื่อไฟล์น้ำหนักโมเดลอยู่บนเครื่องของคุณแล้ว คุณสามารถเรียกใช้แบบออฟไลน์ ปกป้องข้อมูล ปรับแต่ง และหลีกเลี่ยงการเซ็นเซอร์ได้—โดยอยู่ภายใต้เงื่อนไขของใบอนุญาตแน่นอน
โมเดลโอเพนซอร์สอย่างสมบูรณ์นั้นก้าวไปไกลกว่านั้น โดยไม่เพียงแต่เผยแพร่ค่าพารามิเตอร์ (weights) เท่านั้น แต่ยังรวมถึงโค้ดการฝึกฝนและชุดข้อมูลด้วยโครงการต่างๆ เช่น OLMo จากสถาบัน Allen จัดอยู่ในประเภทนี้ และมีคุณค่าอย่างยิ่งสำหรับการวิจัยทางวิทยาศาสตร์ที่เข้มงวดและการตรวจสอบผลลัพธ์ได้ คุณสามารถตรวจสอบได้อย่างแม่นยำว่าแบบจำลองถูกสร้างขึ้นอย่างไร ฝึกฝนแบบจำลองเวอร์ชันต่างๆ ใหม่ หรือปรับสูตรให้เข้ากับโดเมนของคุณเองได้
โมเดลเฉพาะกลุ่มหรือเฉพาะโดเมนจะเน้นความลึกมากกว่าความกว้างในด้านใดด้านหนึ่งโดยเฉพาะLLM เหล่านี้มีขนาดเล็กกว่า โดยมักมีน้ำหนักเบากว่า LLM ขนาดใหญ่ทั่วไปถึงสิบเท่า ออกแบบมาเพื่อใช้งานเฉพาะทาง เช่น การแพทย์ กฎหมาย หรือวิศวกรรมซอฟต์แวร์ ในกลุ่มเฉพาะของตนเอง พวกมันสามารถทำงานได้ดีกว่า LLM ขนาดใหญ่ทั่วไปมาก เนื่องจากความสามารถทั้งหมดของพวกมันมุ่งเน้นไปที่ความรู้เพียงด้านเดียว นอกจากนี้ยังง่ายต่อการใช้งานบนฮาร์ดแวร์ที่มีสเปคไม่สูงนัก ซึ่งทำให้เป็นที่น่าสนใจสำหรับบริษัทที่ต้องการประสิทธิภาพสูงในงานเฉพาะด้าน
อ่านชื่อรุ่นได้อย่างมืออาชีพ
แหล่งเก็บโมเดลอย่างเช่น Hugging Face เต็มไปด้วยชื่อที่ดูเหมือนตัวอักษรที่สุ่มมาอย่างไม่เป็นระเบียบเมื่อคุณรู้วิธีการแยกวิเคราะห์ชื่อเหล่านั้นแล้ว ชื่อเหล่านั้นจะเข้ารหัสข้อมูลเกือบทุกอย่างที่คุณต้องการ: ขนาด วัตถุประสงค์ รูปแบบ และระดับการบีบอัดไฟล์
พิจารณาตัวอย่างนี้: “Llama-3-70b-Instruct-v1-GGUF-q4_k_m”แต่ละชิ้นมีความหมายเฉพาะเจาะจง:
- ลามะ‑3: ตระกูลโมเดลและสถาปัตยกรรม ในกรณีนี้คือไลน์ Llama-3 ของ Meta
- 70b: มีพารามิเตอร์ประมาณ 70 พันล้านตัว ขนาดนี้บ่งบอกได้ทันทีว่าคุณจะต้องใช้ฮาร์ดแวร์ระดับสูง—ลองนึกถึงการ์ดจอที่มี VRAM ขนาดใหญ่ หรือเครื่อง Apple ระดับไฮเอนด์ดู
- สั่ง: แสดงว่าโมเดลได้รับการปรับแต่งมาเป็นอย่างดีเพื่อให้ปฏิบัติตามคำสั่งภาษาธรรมชาติและสนทนากับมนุษย์ได้ หากคุณต้องการผู้ช่วยทั่วไป ให้มองหาโมเดลที่มีตัวเลือก "สั่งสอน" หรือ "แชท" เสมอ เพราะโมเดลพื้นฐานอาจตอบสนองราวกับว่ากำลังพูดต่อจากรายการหรือลำดับแทนที่จะตอบคำถามของคุณ
- GGUF: รูปแบบไฟล์ GGUF นั้นได้รับการปรับให้เหมาะสมสำหรับการทำงานบน CPU และชิป Apple Silicon และถูกใช้โดยเครื่องมือต่างๆ เช่น LM Studio รูปแบบอื่นๆ ที่ใช้กันทั่วไป ได้แก่ EXL2, GPTQ หรือ AWQ สำหรับการใช้งานที่เน้น GPU (โดยทั่วไปคือ NVIDIA) และ "safetensors" สำหรับน้ำหนักดิบที่อาจต้องมีการแปลงเพิ่มเติม
- q4_k_m: แท็กการควอนไทเซชันที่อธิบายวิธีการบีบอัดน้ำหนัก “4” หมายถึงความแม่นยำ 4 บิต ซึ่งเป็นการประนีประนอมคุณภาพระดับปานกลาง “k_m” หมายถึงวิธีการ K-quants เฉพาะที่พยายามลดขนาดเซลล์ประสาทที่ไม่สำคัญลงอย่างรุนแรงมากขึ้น ในขณะที่รักษาเซลล์ประสาทที่สำคัญไว้
การถอดรหัสฉลากเหล่านี้ช่วยให้คุณประเมินได้ทันทีว่ารุ่นนั้นเหมาะสมกับฮาร์ดแวร์และกรณีการใช้งานของคุณหรือไม่คุณสามารถดูได้อย่างรวดเร็วว่าโปรแกรมนั้นเน้นการใช้งานแชทหรือไม่ ฉลาดแค่ไหน เหมาะกับการใช้งาน CPU หรือ GPU และความแม่นยำที่คุณอาจสูญเสียไปจากการใช้การแปลงค่าเชิงปริมาณ
ควอนไทเซชัน: การบีบอัดสมองขนาดใหญ่ให้พอดีกับฮาร์ดแวร์จริง
ระบบ LLM ที่ทันสมัยที่สุดซึ่งมีความแม่นยำสูงนั้นอาจมีขนาดใหญ่มากจนน่าเหลือเชื่อ—อาจมีข้อมูลน้ำหนักดิบหลายร้อยกิกะไบต์โมเดลที่มีพารามิเตอร์ 70 พันล้านตัว ในความแม่นยำแบบจุดลอยตัว 16 บิตมาตรฐาน (FP16) อาจมีขนาดเกิน 140 GB ซึ่งเกินกว่าที่ GPU สำหรับผู้บริโภคทั่วไปจะรับมือได้ นี่คือจุดที่การควอนไทเซชันเข้ามาเป็นเทคนิคสำคัญที่ทำให้การใช้งานในระดับท้องถิ่นเป็นไปได้จริง
ในเชิงแนวคิด การควอนไทเซชันหมายถึงการใช้บิตน้อยลงในการจัดเก็บน้ำหนักแต่ละตัว โดยแลกกับความแม่นยำเชิงตัวเลขที่ลดลงแทนที่จะเก็บค่าอย่าง 0.123456 ที่มีทศนิยมหลายตำแหน่ง คุณอาจเก็บค่าอย่าง 0.12 ในรูปแบบที่กระชับกว่า ใน FP16 คุณมี 16 บิตต่อค่าน้ำหนักหนึ่งค่า ในขณะที่ระบบ 4 บิตใช้พื้นที่จัดเก็บเพียงหนึ่งในสี่เท่านั้น สิ่งที่น่าประหลาดใจจากการวิจัยล่าสุด (รวมถึงการศึกษาจากปี 2025) คือ สำหรับงานสนทนาและการสรุปหลายๆ อย่าง การลดจาก 16 บิตเหลือ 4 บิต ทำให้ความรู้สึกถึงความฉลาดลดลงเพียงเล็กน้อยเท่านั้น
ระดับและวิธีการควอนไทเซชันที่แตกต่างกันนั้นมุ่งเป้าไปที่ข้อจำกัดของฮาร์ดแวร์และการแลกเปลี่ยนคุณภาพที่แตกต่างกันการตั้งค่าที่นิยมใช้กันทั่วไปคือ Q4_K_M โดย “Q4” หมายถึง 4 บิตต่อค่าถ่วงน้ำหนัก และ “K_M” บ่งบอกถึงกลยุทธ์ขั้นสูงที่บีบอัดเซลล์ประสาทที่มีความสำคัญน้อยกว่าเป็นพิเศษ ซึ่งสามารถลดขนาดโมเดลลงได้ประมาณ 70% ในขณะที่ยังคงรักษาความสามารถในการให้เหตุผลไว้ได้ประมาณ 98% สำหรับการใช้งานในชีวิตประจำวัน เช่น การสนทนา การอธิบาย และการสร้างเนื้อหา
การบีบอัดมากเกินไปอาจทำให้แบบจำลองเสียหายอย่างร้ายแรงได้รูปแบบ Q2 หรือ IQ2 ซึ่งลดน้ำหนักของโมเดลเหลือเพียง 2 บิต ทำให้สามารถโหลดโมเดลขนาดใหญ่ลงบน GPU ที่มีข้อจำกัดสูงได้ แต่ก็มีข้อเสียคือ การวนลูปบ่อยครั้ง วลีซ้ำซ้อน โครงสร้างเชิงตรรกะที่หายไป และประสิทธิภาพในการคำนวณหรือเขียนโค้ดที่ลดลงอย่างมาก ถึงแม้จะยังน่าสนุกที่จะทดลองใช้ แต่ก็ไม่ค่อยเหมาะสมสำหรับการใช้งานจริงจัง
การแปลงเป็นดิจิทัลส่งผลกระทบต่อการใช้เหตุผลอย่างบริสุทธิ์มากกว่าคุณภาพการเขียนบนพื้นผิวงานวิจัยปี 2025 เรื่อง “Quantization Hurts Reasoning?” พบว่า แม้ว่าโมเดลที่ใช้การควอนไทซ์จะยังคงสร้างข้อความเชิงตรรกะที่ลื่นไหลได้ แต่ก็เสียเปรียบในด้านการทดสอบประสิทธิภาพที่เน้นตรรกะ เช่น คณิตศาสตร์และการเขียนโปรแกรมขั้นสูง หากความต้องการหลักของคุณเกี่ยวข้องกับการใช้เหตุผลอย่างเข้มงวด ปัญหาทางฟิสิกส์ หรือโค้ดระดับใช้งานจริง คุณควรใช้ความแม่นยำสูงสุดที่ฮาร์ดแวร์ของคุณรองรับได้อย่างสะดวกสบาย ซึ่งมักจะเป็น Q6 หรือ Q8 สำหรับการตั้งค่าในระดับท้องถิ่น
มีหลักการง่ายๆ ที่ช่วยประเมินว่า GPU ที่กำหนดสามารถรองรับโมเดลแบบควอนไทซ์ได้หรือไม่นำจำนวนพารามิเตอร์หลายพันล้านตัวมาคูณด้วยประมาณ 0.7 GB เพื่อให้ได้ความต้องการ VRAM โดยประมาณสำหรับรุ่น Q4 ตัวอย่างเช่น รุ่น 8B ที่ Q4 จะต้องการ VRAM ประมาณ 5.6 GB (8 × 0.7) ซึ่งเพียงพอสำหรับ GPU ระดับกลางหลายรุ่น ในทางตรงกันข้าม รุ่น 70B ที่ Q4 ต้องการ VRAM ประมาณ 49 GB ซึ่งเกินกว่า GPU สำหรับผู้บริโภคทั่วไป คุณจะต้องใช้การ์ดระดับไฮเอนด์หลายตัวหรือเซิร์ฟเวอร์เฉพาะทาง
การเรียกใช้ LLM ในเครื่อง: แนวทางของ NVIDIA เทียบกับ Apple
การใช้งาน LLM อย่างจริงจังบนเครื่องของคุณเองอาจรู้สึกเหมือนเป็นการแก้ปริศนาฮาร์ดแวร์ และระบบนิเวศได้รวมตัวกันรอบ ๆ ปรัชญาฮาร์ดแวร์หลักสองประการเส้นทางหนึ่งอาศัย GPU ของ NVIDIA และ CUDA เพื่อความเร็วสูงสุด ในขณะที่อีกเส้นทางหนึ่งใช้ประโยชน์จากสถาปัตยกรรมหน่วยความจำแบบรวมของ Apple เพื่อความจุสูงสุด
ในส่วนของ NVIDIA นั้น การ์ดจอซีรีส์ RTX 3000, 4000 และ 5000 ถือเป็นผู้นำที่ไม่มีใครโต้แย้งได้ในด้านประสิทธิภาพการประมวลผลการประมวลผลแบบเร่งความเร็วด้วย CUDA สามารถสร้างโทเค็นได้เร็วกว่าที่คุณจะอ่านได้ โดยเฉพาะอย่างยิ่งสำหรับโมเดลขนาดเล็กในช่วง 7B-13B หากคุณให้ความสำคัญกับการโต้ตอบที่รวดเร็ว เช่น สำหรับเอเจนต์การเขียนโค้ดหรือผู้ช่วยแบบเรียลไทม์ นี่เป็นสิ่งที่น่าสนใจอย่างยิ่ง ข้อเสียคือ VRAM มีราคาแพงและมีข้อจำกัด: การ์ดจอ RTX 4090 รุ่นเรือธงยังคงมี VRAM เพียง 24 GB ซึ่งจำกัดคุณไว้ที่พารามิเตอร์ประมาณ 30-35B ที่ระดับการควอนไทเซชันที่เหมาะสม การขยายไปสู่โมเดล 70B เต็มรูปแบบอาจต้องใช้การ์ดหลายตัวหรือฮาร์ดแวร์ระดับมืออาชีพ
แนวทางของ Apple มุ่งเน้นไปที่ Mac ที่ใช้ชิป M-series และหน่วยความจำแบบรวมขนาดใหญ่ในระบบเหล่านี้ หน่วยความจำเดียวกันทำหน้าที่ทั้งเป็น RAM และ VRAM ซึ่งหมายความว่า Mac Studio ที่มีหน่วยความจำแบบรวม 192 GB สามารถรองรับโมเดลแบบควอนไทซ์ขนาดมหึมาที่ GPU สำหรับผู้บริโภคส่วนใหญ่ทำได้เพียงแค่ฝันถึง ผู้ใช้รายงานว่าสามารถเรียกใช้โมเดลอย่าง Llama‑3.1 405B (แบบควอนไทซ์อย่างหนัก) หรือ DeepSeek 67B ได้โดยตรงบนเครื่องดังกล่าว อัตราการประมวลผลช้ากว่าการ์ด NVIDIA ระดับสูง—ข้อความจะถูกสร้างขึ้นในอัตราที่มนุษย์อ่านได้ แทนที่จะเป็นการประมวลผลแบบรวดเร็ว—แต่สำหรับนักวิจัยและนักพัฒนาที่ให้ความสำคัญกับความจุของโมเดลมากกว่าความเร็ว นี่มักเป็นวิธีที่เข้าถึงได้ง่ายที่สุดในการเรียกใช้ระบบ "ระดับ GPT-4" ในเครื่องของตนเอง
ระบบนิเวศทั้งสองได้รับการสนับสนุนจากเครื่องมือที่ใช้งานง่าย ซึ่งทำให้ LLM ในท้องถิ่นเข้าถึงได้ง่ายสองโปรแกรมที่ได้รับความนิยมมากที่สุดคือ LM Studio และ Ollama LM Studio มีอินเทอร์เฟซกราฟิกที่สวยงามคล้ายกับ ChatGPT พร้อมระบบค้นหาโมเดลในตัว (ผ่าน Hugging Face) การดาวน์โหลดด้วยคลิกเดียว และแถบเลื่อนสำหรับปรับขนาดบริบท อุณหภูมิ โหลด GPU เทียบกับ CPU และอื่นๆ Ollama ซึ่งเป็นที่นิยมอย่างกว้างขวางในหมู่นักพัฒนา มีทั้ง GUI ที่ใช้งานง่ายและการควบคุมผ่านบรรทัดคำสั่งที่ทรงพลัง ทำให้ง่ายต่อการเชื่อมต่อโมเดลในเครื่องกับโปรแกรมแก้ไข เครื่องมือจดบันทึก และแอปพลิเคชันที่กำหนดเองผ่านทาง APIs.
ข้อดีหลักของการติดตั้งใช้งานในเครื่องคือการควบคุม: ข้อความแจ้งเตือนและเอกสารของคุณจะไม่ถูกส่งออกจากเครื่องของคุณ และไม่มีบริการภายนอกใดสามารถจำกัดหรือบล็อกเนื้อหาโดยที่คุณไม่รู้ตัวได้คุณจะได้รับความเป็นส่วนตัว ความสามารถในการทำซ้ำ และต้นทุนส่วนเพิ่มที่ต่ำกว่า โดยเฉพาะอย่างยิ่งหากคุณกำลังใช้งานปริมาณงานขนาดใหญ่ซึ่งจะมีค่าใช้จ่ายสูงหากใช้ API ที่โฮสต์ไว้
ตั้งแต่การฝึกฝนเบื้องต้นไปจนถึงการปรับแต่งและการกระตุ้น
หลักสูตร LLM ทุกหลักสูตรจะต้องผ่านขั้นตอนเชิงแนวคิดอย่างน้อยสองขั้นตอนก่อนที่คุณจะส่งคำถามใดๆ ไปให้ ได้แก่ การฝึกอบรมเบื้องต้นและการปรับตัวการฝึกฝนเบื้องต้น (Pretraining) คือขั้นตอนที่แบบจำลองเรียนรู้รูปแบบภาษาทั่วไป ส่วนการปรับตัว (Fine-tuning หรือ Prompt tuning) คือขั้นตอนที่ทำให้แบบจำลองนั้นมีประโยชน์สำหรับงานเฉพาะเจาะจง
ในระหว่างการฝึกฝนเบื้องต้น โมเดลจะป้อนข้อมูลข้อความจำนวนมหาศาล ซึ่งมักรวมถึงแหล่งข้อมูลต่างๆ เช่น วิกิพีเดีย หนังสือ เว็บเพจ และคลังเก็บโค้ดสาธารณะมันทำการเรียนรู้แบบไม่ใช้การกำกับดูแล โดยพยายามทำนายโทเค็นถัดไปในลำดับซ้ำๆ และวัดข้อผิดพลาดผ่านฟังก์ชันความสูญเสีย โดยใช้การแพร่กระจายย้อนกลับและการไล่ระดับความชัน มันปรับน้ำหนักหลายพันล้านตัวเพื่อลดความสูญเสียนั้น ผ่านโทเค็นนับล้านล้านตัว มันค่อยๆ ซึมซับไวยากรณ์ ความหมาย ข้อเท็จจริงเกี่ยวกับโลก สำนวนการเขียนโค้ด และแม่แบบการให้เหตุผลพื้นฐาน
การปรับแต่งอย่างละเอียดจะทำให้โมเดลที่ฝึกฝนไว้แล้วมีความเฉพาะเจาะจงมากขึ้นสำหรับกิจกรรมที่แคบลงตัวอย่างเช่น คุณสามารถปรับแต่ง LLM บนชุดข้อมูลคู่ขนานสำหรับการแปล หรือบนตัวอย่างการวิเคราะห์ความรู้สึกที่มีการติดป้ายกำกับ หรือบนเอกสารทางกฎหมายที่ติดคำอธิบายประกอบด้วยคำตอบที่ถูกต้อง โมเดลจะทำการฝึกฝนต่อไปบนชุดข้อมูลเฉพาะงานเหล่านี้ โดยปรับเปลี่ยนพารามิเตอร์เล็กน้อยเพื่อให้ทำงานได้ดีขึ้นในด้านเฉพาะนั้น ๆ โดยไม่ละทิ้งความสามารถที่กว้างขวางของมันไปทั้งหมด
การปรับตัวตามคำสั่ง (การให้คำสั่งแบบไม่กี่ครั้งและแบบไม่ให้คำสั่งเลย) เป็นทางเลือกที่เบากว่าการปรับแต่งอย่างละเอียดในการตั้งค่าแบบ few-shot คุณจะฝังตารางหรือตัวอย่างขนาดเล็กเข้าไปในคำถามโดยตรง เช่น รีวิวจากลูกค้าสองสามรายการที่ระบุว่าเป็นบวกหรือลบ จากนั้นขอให้โมเดลจำแนกรีวิวใหม่ในลักษณะเดียวกัน ในโหมด zero-shot คุณเพียงแค่บรรยายงานด้วยภาษาธรรมชาติ (“ความรู้สึกของ 'ต้นไม้ต้นนี้แย่มาก' คือ …”) และอาศัยการฝึกฝนก่อนหน้าของโมเดลเพื่อหาคำตอบ โมเดล LLM สมัยใหม่มักทำงานได้ดีอย่างน่าประหลาดใจในโหมด zero-shot ด้วยความสามารถในการ “เรียนรู้ตามบริบท” ของมัน
ส่วนประกอบหลักภายในแบบจำลองภาษาขนาดใหญ่
ในเชิงสถาปัตยกรรม LLM คือการเรียงซ้อนกันของหน่วยโครงสร้างพื้นฐานที่ค่อนข้างเรียบง่ายและซ้ำกันหลายครั้งการเข้าใจส่วนประกอบหลักจะช่วยให้เห็นภาพชัดเจนว่าอะไรบ้างที่สามารถปรับแต่งหรือเปลี่ยนได้เมื่อคุณออกแบบหรือเลือกโมเดล
เลเยอร์การฝังข้อมูลจะแปลงโทเค็นที่ไม่ต่อเนื่องให้เป็นเวกเตอร์ต่อเนื่องแต่ละดัชนีโทเค็นจากคำศัพท์จะถูกแปลงเป็นเวกเตอร์หนาแน่นที่เข้ารหัสทั้งข้อมูลความหมายและไวยากรณ์ เวกเตอร์ฝังตัวเหล่านี้จะเคลื่อนที่ผ่านเครือข่ายและได้รับการปรับปรุงอย่างต่อเนื่องโดยเลเยอร์ความสนใจและเลเยอร์ส่งต่อข้อมูล
กลไกการดึงดูดความสนใจคือหัวใจสำคัญของหม้อแปลงไฟฟ้าดังที่ได้อธิบายไว้ก่อนหน้านี้ กลไกการให้ความสนใจตนเอง (self-attention) ช่วยให้แต่ละโทเค็นสามารถประเมินน้ำหนักของโทเค็นอื่นๆ ทั้งหมดตามเกณฑ์ที่เรียนรู้มา ทำให้สามารถจับความสัมพันธ์ระยะไกลและเบาะแสตามบริบทได้ กลไกการให้ความสนใจหลายหัว (multi-head attention) ขยายขอบเขตนี้โดยอนุญาตให้ "มุมมอง" หรือพื้นที่ย่อยที่แตกต่างกันหลายๆ มุมมองสามารถให้ความสนใจพร้อมกันได้ ซึ่งจะช่วยเพิ่มความสมบูรณ์ให้กับภาพแทน
ชั้นฟีดฟอร์เวิร์ดหรือชั้น "MLP" จะใช้การแปลงแบบไม่เชิงเส้นกับตัวแทนที่ได้รับความสนใจหลังจากที่กลไกความสนใจคัดกรองสิ่งที่แต่ละโทเค็นควรให้ความสำคัญแล้ว เลเยอร์ฟีดฟอร์เวิร์ดจะผสมผสานและปรับเปลี่ยนข้อมูลนั้นผ่านเลเยอร์เชื่อมต่ออย่างสมบูรณ์และฟังก์ชันการกระตุ้น การเรียงซ้อนบล็อกดังกล่าวจำนวนมากจะสร้างคุณลักษณะแบบลำดับชั้นที่ซับซ้อนขึ้นมา
โดยการปรับวิธีการรวมและปรับขนาดส่วนประกอบเหล่านี้ คุณจะได้โมเดลประเภทต่างๆโมเดลพื้นฐานทั่วไปจะทำนายโทเค็นถัดไปเท่านั้น ในขณะที่โมเดลที่ปรับแต่งตามคำสั่งจะเรียนรู้ที่จะปฏิบัติตามคำสั่งในภาษาธรรมชาติ และโมเดลที่ปรับแต่งตามบทสนทนาจะได้รับการปรับให้เหมาะสมเพื่อให้บทสนทนาหลายรอบมีความสอดคล้องและเป็นประโยชน์
LLM เทียบกับ AI เชิงสร้างสรรค์โดยทั่วไป
เป็นเรื่องง่ายที่จะสับสนระหว่าง “แบบจำลองภาษาขนาดใหญ่” กับ “ปัญญาประดิษฐ์เชิงสร้างสรรค์” แต่คำหลังเป็นคำที่ครอบคลุมกว้างกว่าปัญญาประดิษฐ์เชิงสร้างสรรค์ (Generative AI) ครอบคลุมระบบใดๆ ก็ตามที่สามารถสร้างเนื้อหาได้ ไม่ว่าจะเป็นข้อความ รูปภาพ เสียง วิดีโอ หรือโค้ด โมเดลภาษา (LLM) เป็นโมเดลเชิงสร้างสรรค์ที่เน้นข้อความโดยเฉพาะ ซึ่งได้รับการฝึกฝนด้วยข้อมูลภาษาและปรับให้เหมาะสมเพื่อสร้างหรือแปลงเนื้อหาที่เป็นข้อความ
เครื่องมือที่มีชื่อเสียงหลายอย่างอยู่นอกเหนือหมวดหมู่ LLM แม้ว่าจะเป็นเครื่องมือแบบสร้างอัตโนมัติก็ตามโปรแกรมสร้างภาพอย่าง DALL-E หรือ MidJourney สร้างภาพนิ่งแทนที่จะเป็นข้อความ โมเดลดนตรี ระบบสังเคราะห์วิดีโอ และโปรแกรมสร้างโครงสร้างโปรตีนก็เป็น AI แบบสร้างสรรค์เช่นกัน แต่พวกมันทำงานในพื้นที่อินพุตและเอาต์พุตที่แตกต่างกันมาก แนวคิดหลักที่เหมือนกันคือ พวกมันเรียนรู้ที่จะแปลงจากตัวแทนบางอย่าง (มักจะเป็นคำสั่ง) ไปสู่เอาต์พุตที่สมจริงในโดเมนของตน
กรณีการใช้งานจริง: จุดเด่นของ LLM
ด้วยความสามารถในการทำความเข้าใจและสร้างข้อความที่ยืดหยุ่น LLM จึงกลายเป็นกลไกหลักสำหรับแอปพลิเคชันหลากหลายประเภทหลายสาขาเหล่านี้เคยเป็นสาขาย่อยที่แยกจากกันของ NLP แต่ปัจจุบันมีแบบจำลองพื้นฐานร่วมกัน
การค้นหาและการดึงข้อมูลเป็นหนึ่งในผู้ได้รับประโยชน์ที่เห็นได้ชัดที่สุดเครื่องมือค้นหาสามารถเสริมการจัดทำดัชนีแบบดั้งเดิมโดยใช้คำหลักด้วยการค้นหาเชิงความหมายและคำตอบที่สร้างโดย LLM ทำให้ได้บทสรุปที่กระชับหรือคำตอบแบบสนทนาแทนที่จะเป็นเพียงรายการลิงก์ เครื่องมืออย่าง Elasticsearch Relevance Engine (ESRE) ช่วยให้นักพัฒนาสามารถรวมโมเดล Transformer เข้ากับการค้นหาแบบเวกเตอร์ได้ สถาปัตยกรรมการค้นหาแบบกระจาย เพื่อสร้างประสบการณ์การค้นหาเชิงความหมายเฉพาะด้านของตนเอง
การวิเคราะห์ข้อความและการวิเคราะห์ความรู้สึกก็เหมาะสมเช่นกันบริษัทต่างๆ นำระบบ LLM มาใช้เพื่อวิเคราะห์รีวิวจากลูกค้า โพสต์บนโซเชียลมีเดีย และตั๋วสนับสนุน โดยติดแท็กความรู้สึก ความเร่งด่วน และหัวข้อโดยอัตโนมัติ ตัวจำแนกประเภทตามคำถามหรือที่ปรับแต่งอย่างละเอียดสามารถแทนที่ไปป์ไลน์การเรียนรู้ของเครื่องแบบเก่าด้วยการตั้งค่าที่เรียบง่ายและปรับเปลี่ยนได้มากกว่า
การสร้างเนื้อหาและการเขียนโค้ดอาจเป็นวิธีการใช้งานในชีวิตประจำวันที่ได้รับความนิยมมากที่สุดตั้งแต่การร่างอีเมลและข้อความทางการตลาด ไปจนถึงการแต่งบทกวี “ในสไตล์” ของนักเขียนเฉพาะราย โมเดลภาษาธรรมชาติ (LLM) สามารถสร้างข้อความที่สอดคล้องกันและเหมาะสมกับบริบทได้ในปริมาณมาก ในทำนองเดียวกัน โมเดลที่เน้นการเขียนโค้ดจะช่วยเหลือนักพัฒนาโดยการแนะนำคำเติมเต็ม เขียนโค้ดพื้นฐาน อธิบายส่วนของโค้ด หรือแม้กระทั่งสร้างฟังก์ชันทั้งหมดจากคำอธิบายภาษาธรรมชาติ ดังที่แสดงโดย หลักสูตร LLM ที่เรียนรู้ SwiftUI ผ่านระบบตอบรับอัตโนมัติ
ปัจจุบัน ระบบสนทนาอัตโนมัติและแชทบอทเกือบทั้งหมดทำงานโดยใช้ LLM (Learning Learning Management) รูปแบบใดรูปแบบหนึ่งการสร้างสิ่งเหล่านี้มักต้องอาศัยการวางแผนและประสานงานอย่างรอบคอบ—ดูเพิ่มเติม การออกแบบและการสร้างทีมเอเจนต์ AIในด้านการบริการลูกค้า การคัดกรองผู้ป่วย การเพิ่มประสิทธิภาพการทำงานส่วนบุคคล และการศึกษา โมเดลการสนทนาจะตีความเจตนาของผู้ใช้และตอบสนองในลักษณะที่ใกล้เคียงกับการสนทนาของมนุษย์ โมเดลเหล่านี้สามารถจดจำข้อความก่อนหน้าภายในกรอบบริบท ปฏิบัติตามคำแนะนำ และปรับน้ำเสียงและรูปแบบได้
ความสามารถเหล่านี้กำลังส่งผลกระทบต่อหลายอุตสาหกรรมพร้อมกันในด้านเทคโนโลยี LLM ช่วยเร่งความเร็วในการเขียนโค้ดและการแก้ไขข้อผิดพลาด ในด้านการดูแลสุขภาพและวิทยาศาสตร์ชีวภาพ พวกเขาช่วยวิเคราะห์เอกสารงานวิจัย บันทึกทางคลินิก และแม้แต่ลำดับทางชีววิทยา ในด้านการตลาด พวกเขาช่วยสนับสนุนการคิดคอนเซ็ปต์แคมเปญและการเขียนคำโฆษณา ในด้านกฎหมายและการเงิน พวกเขาช่วยในการร่างเอกสาร สรุป และตรวจจับรูปแบบ ในด้านการธนาคารและความปลอดภัย พวกเขาช่วยตรวจจับพฤติกรรมที่อาจเป็นการฉ้อโกงในบันทึกและข้อความที่มีเนื้อหามากมาย
ข้อจำกัด ความเสี่ยง และความท้าทายที่ยังเปิดอยู่
แม้ว่า LLM จะมีทักษะที่น่าประทับใจ แต่พวกเขาก็ไม่ได้รู้ทุกอย่างหรือไร้ข้อผิดพลาด และการปฏิบัติต่อพวกเขาเช่นนั้นอาจเป็นอันตรายได้พวกมันได้รับมรดกจุดอ่อนมากมายมาจากข้อมูลและโครงสร้างของมัน และจุดอ่อนใหม่ๆ ก็เกิดขึ้นจากวิธีการที่เรานำไปใช้งาน
อาการประสาทหลอน—การกล่าวเท็จอย่างมั่นใจ—ยังคงเป็นปัญหาสำคัญเนื่องจากแบบจำลองภาษาทางกฎหมาย (LLM) เป็นเพียงตัวทำนายโทเค็นถัดไปที่ฝึกฝนจากรูปแบบ ไม่ใช่จากความจริงที่พิสูจน์ได้ จึงอาจสร้างรายละเอียด แหล่งที่มา หรือประสบการณ์ที่ฟังดูน่าเชื่อถือขึ้นมาได้ อาจ "อธิบาย" API ที่ไม่มีอยู่จริง หรือยืนยันข้อเท็จจริงทางกฎหมายที่ผิดพลาด มาตรการป้องกัน การสร้างข้อมูลที่เสริมด้วยการดึงข้อมูล (RAG) และการตรวจสอบโดยมนุษย์จึงมีความสำคัญอย่างยิ่งในสถานการณ์ที่มีความเสี่ยงสูง
ความเสี่ยงด้านความปลอดภัยและความเป็นส่วนตัวก็มีนัยสำคัญเช่นกันโมเดลที่จัดการไม่ดีอาจทำให้ข้อมูลการฝึกอบรมที่ละเอียดอ่อนหรือข้อความแจ้งเตือนที่เป็นความลับรั่วไหล และผู้โจมตีสามารถใช้ LLM ในทางที่ผิดเพื่อการหลอกลวง การหลอกลวงทางสังคม การส่งสแปม หรือการเผยแพร่ข้อมูลเท็จ การโจมตีโดยการแทรกข้อความแจ้งเตือนและการรั่วไหลของข้อมูลผ่านผลลัพธ์ของโมเดลเป็นหัวข้อการวิจัยที่กำลังได้รับความสนใจอย่างมาก
ปัญหาเรื่องอคติและความเป็นธรรมนั้นมีความเชื่อมโยงอย่างลึกซึ้งกับองค์ประกอบของข้อมูลสำหรับการฝึกอบรม—อ่านเกี่ยวกับเรื่องนี้ กับดักการพึ่งพา LLMหากชุดข้อมูลมีสัดส่วนของกลุ่มประชากรหรือมุมมองใดมุมมองหนึ่งมากเกินไป โมเดลจะขยายอคติเหล่านั้นในผลลัพธ์ ซึ่งอาจทำให้กลุ่มหรือมุมมองอื่นๆ ถูกมองข้ามไป การคัดเลือกชุดข้อมูลอย่างระมัดระวัง การประเมินอคติ และกลยุทธ์การลดอคติจึงเป็นสิ่งจำเป็น แต่ก็ยังไม่สมบูรณ์แบบ
ประเด็นเรื่องความยินยอมและทรัพย์สินทางปัญญาเป็นเรื่องสำคัญอย่างยิ่งเช่นกันชุดข้อมูลฝึกอบรมขนาดใหญ่จำนวนมากถูกรวบรวมโดยการคัดลอกเนื้อหาสาธารณะโดยไม่ได้รับอนุญาตอย่างชัดเจนจากผู้เขียน ซึ่งก่อให้เกิดคำถามเกี่ยวกับลิขสิทธิ์ การคุ้มครองข้อมูล และการใช้งานอย่างมีจริยธรรม คดีความเกี่ยวกับการใช้ภาพหรือข้อความโดยไม่ได้รับอนุญาตได้ขึ้นสู่ศาลแล้ว และกฎระเบียบในด้านนี้กำลังพัฒนาอย่างรวดเร็ว
สุดท้ายนี้ การขยายขนาดและการใช้งานนั้นต้องใช้ทรัพยากรจำนวนมากการฝึกอบรมและการให้บริการ LLM ขนาดใหญ่ระดับแนวหน้าจำเป็นต้องใช้ฮาร์ดแวร์เฉพาะทาง ความเชี่ยวชาญด้านระบบกระจาย การตรวจสอบอย่างต่อเนื่อง และการใช้พลังงานจำนวนมาก แม้แต่สำหรับโมเดลขนาดเล็ก การจัดการความหน่วง ต้นทุน และความน่าเชื่อถือในระดับการผลิตก็ไม่ใช่เรื่องง่าย
เมื่อคุณนำส่วนประกอบทั้งหมดเหล่านี้มารวมกัน ไม่ว่าจะเป็นโทเค็นและตัวแยกโทเค็น ทรานส์ฟอร์เมอร์และความสนใจ พารามิเตอร์และบริบท การกำหนดปริมาณและฮาร์ดแวร์ การฝึกฝนและการใช้งาน คุณจะได้ภาพที่ชัดเจนว่า LLM เป็นเครื่องมือเรียนรู้รูปแบบที่มีประสิทธิภาพมากกว่าที่จะเป็นเพียงผู้พยากรณ์มหัศจรรย์ด้วยตัวแยกคำ (tokenizer) ที่เหมาะสม สถาปัตยกรรม กลยุทธ์การบีบอัด และการตั้งค่าฮาร์ดแวร์ที่ถูกต้อง คุณสามารถเรียกใช้โมเดลที่มีประสิทธิภาพสูงในระดับท้องถิ่น ปรับแต่งให้เข้ากับโดเมนของคุณ และผสานรวมเข้ากับการค้นหา การวิเคราะห์ การสร้างเนื้อหา หรือเวิร์กโฟลว์การสนทนา ทั้งหมดนี้ในขณะที่ยังคงตระหนักถึงข้อจำกัดเกี่ยวกับความถูกต้อง ความลำเอียง ความปลอดภัย และข้อจำกัดทางกฎหมาย
