Thanakorn Thaminkaew, Author at Big Data Institute

บทความทั้งหมด

All Articles

Meta Prompting: ใช้ AI ช่วยสร้างคำสั่งให้ AI ทำงานเก่งขึ้น

ทุกวันนี้ เราใช้ AI อย่าง ChatGPT, Claude, หรือ DeepSeek ช่วยทำงานได้หลายอย่าง ไม่ว่าจะเขียนบทความ ตอบคำถาม หรือช่วยคิดวิเคราะห์ข้อมูลต่าง ๆ แต่การจะ “สั่ง” Artificial Inteligence (AI) ให้ทำงานได้ตรงใจนั้นไม่ใช่เรื่องง่าย เพราะบางที AI ก็ให้คำตอบที่ไม่ตรงตามความต้องการ ทำให้เราต้องเสียเวลาแก้คำสั่งซ้ำไปซ้ำมา ซึ่งบทความนี้ผู้เขียนจะแนะนำเทคนิค “เมตาพรอมต์ติ้ง” หรือ Meta Prompting ที่จะให้ AI มาช่วยเราสร้างและปรับปรุง “คำสั่ง” ให้ดีขึ้นไปอีก Meta Prompting คืออะไร? Meta Prompting เป็นเทคนิคหนึ่งในการออกแบบคำสั่ง (Prompt Engineering) โดยเราจะใช้ AI มาช่วยสร้างหรือปรับปรุงชุดคำสั่ง แทนที่เราจะต้องคิดคำสั่งเองทั้งหมด เราก็ให้ AI ช่วยคิดโครงสร้าง เนื้อหา หรือแม้แต่ปรับปรุงคำสั่งเดิม ทำให้เราทำงานที่ซับซ้อน ได้ง่ายขึ้น และปรับตัวตามสถานการณ์ต่างๆ ได้ดีขึ้นด้วย ทำไมต้องใช้ Meta Prompting? วิธีการของ Meta Prompting บทความนี้จะแนะนำตัวอย่างการทำ Meta Prompting 3 วิธี ดังนี้ 1. Meta-Prompting รูปที่ 1 รูปแบบการทำงานของ Meta-Prompting [1] หลักการการทำงาน คือ การสร้าง “คำสั่งหลัก” ที่ทำหน้าที่เหมือน “ผู้จัดการโครงการ” โดยคอยแบ่งงานย่อย ๆ ให้ “คำสั่งย่อย” ที่ทำหน้าที่เหมือน “ผู้เชี่ยวชาญ” ในแต่ละด้าน เช่น “ผู้เชี่ยวชาญด้านการตลาด”, “ผู้เชี่ยวชาญด้านการเขียนโปรแกรม” แล้วค่อยรวบรวมผลลัพธ์ สามารถอ่านรายละเอียดเพิ่มเติมได้ที่ https://arxiv.org/pdf/2401.12954 ขั้นตอนการทำงาน: ตัวอย่างการใช้งาน: “` คุณคือ Meta-Expert ผู้เชี่ยวชาญด้านการวางแผนงานอีเวนต์ สามารถทำงานร่วมกับผู้เชี่ยวชาญอื่น ๆ ได้ เพื่อจัดงานเลี้ยงบริษัทให้สมบูรณ์แบบ คุณสามารถเรียกใช้ผู้เชี่ยวชาญด้านต่าง ๆ ได้แก่ “เชฟมืออาชีพ”, “นักตกแต่งสถานที่”, และ “นักวางแผนกิจกรรม” ในการเรียกผู้เชี่ยวชาญ ให้พิมพ์ชื่อตามด้วย “:” เช่น: เชฟมืออาชีพ: แนะนำเมนูอาหารสำหรับงานเลี้ยงบริษัท 100 คน เน้นอาหารไทย มีตัวเลือกสำหรับคนทานมังสวิรัติ และคนแพ้อาหารทะเล นักตกแต่งสถานที่: ออกแบบการตกแต่งสำหรับงานเลี้ยงบริษัทในธีม “รื่นเริงริมทะเล” ใช้งบประมาณไม่เกิน 50,000 บาท นักวางแผนกิจกรรม: จัดกิจกรรมสันทนาการ 3 กิจกรรมสำหรับพนักงานบริษัท เน้นกิจกรรมที่ส่งเสริมความสามัคคี และสนุกสนาน “` 2. Learning from Contrastive Prompts หลักการการทำงาน คือ การให้ AI เปรียบเทียบ “คำสั่งที่ดี” (ที่สามารถให้ผลลัพธ์ตรงตามความต้องการ) กับ “คำสั่งที่ไม่ดี” เพื่อเรียนรู้ว่าอะไรใช้ได้ผลและอะไรใช้ไม่ได้ผล แล้วสามารถสร้างคำสั่งใหม่ที่ดีกว่าเดิม สามารถอ่านรายละเอียดเพิ่มเติมได้ที่ https://arxiv.org/pdf/2409.15199 ขั้นตอนการทำงาน: รูปแบบการใช้งาน “` โจทย์: {{ Question }} กำหนดอินพุต: {{ Input }} และเอาต์พุตที่คาดหวัง: {{ Output }} อธิบายเหตุผลว่าเหตุใดอินพุตจึงสอดคล้องกับเอาต์พุตที่คาดหวัง จากนั้นใช้เหตุผลดังกล่าวสร้างพรอมต์เพื่อให้ได้เอาต์พุตที่คาดหวังจากอินพุตใดๆ ทั้งหมด 5 พรอมต์ ทำการอธิบายว่าพรอมต์ใดทำงานตามโจทย์ได้ดีที่สุด และสรุปเป็นพรอมต์ใหม่ ที่ดีขึ้นกว่าเดิม “` ตัวอย่างการใช้งาน “` โจทย์: จำแนกความรู้สึกของข้อความต่อไปนี้ว่าเป็น “บวก” หรือ “ลบ” ข้อมูล: “หนังเรื่องนี้สนุกมาก!“ คำตอบที่ถูกต้อง: บวก ข้อมูล: “ฉันไม่ชอบอาหารร้านนี้เลย” คำตอบที่ถูกต้อง: ลบ อธิบายเหตุผลว่าเหตุใดอินพุตจึงสอดคล้องกับเอาต์พุตที่คาดหวัง จากนั้นใช้เหตุผลดังกล่าวสร้างพรอมต์เพื่อให้ได้เอาต์พุตที่คาดหวังจากอินพุตใดๆ ทั้งหมด 5 พรอมต์ ทำการอธิบายว่าพรอมต์ใดทำงานตาม โจทย์ได้ดีที่สุด และสรุปเป็นพรอมต์ใหม่ ที่ดีขึ้นกว่าเดิม “` 3. Declarative Self-improving Python (DSPy) รูปที่ 2 ตัวอย่างการทำงานขอ DSPy [6] หลักการการทำงาน: เป็นหนึ่งใน Python Library ที่มี Framework ที่ช่วยในการคอยปรับแต่งและพัฒนาคำสั่งให้ดีขึ้นโดยอัตโนมัติ สามารถอ่านรายละเอียดเพิ่มเติมได้ที่ https://arxiv.org/pdf/2310.03714 ขั้นตอนการทำงาน: ตัวอย่างการใช้งาน “` import dspy # กำหนด LLM ที่จะใช้ (ในตัวอย่างนี้ขอสมมติเป็น OpenAI) lm = lm = dspy.LM(‘openai/gpt-4o-mini’, api_key=’YOUR_OPENAI_API_KEY’) dspy.settings.configure(lm=lm) # กำหนด signature บอกว่า input คืออะไร (text) และ output คืออะไร (sentiment) class SentimentAnalysis(dspy.Signature): text = dspy.InputField(desc=”The text to analyze”) sentiment = dspy.OutputField(desc=”Either ‘positive’ or ‘negative'”) # สร้าง module ที่ใช้ signature นี้ และมี dspy.Predict เพื่อเรียกใช้ LLM class AnalyzeSentiment(dspy.Module): def __init__(self): super().__init__() self.classify = dspy.Predict(SentimentAnalysis) def forward(self, text): pred = self.classify(text=text) return pred # สร้างตัวอย่างข้อมูล (input, output) trainset...

17 March 2025

LLM Evaluation Metrics: การวัดประสิทธิภาพโมเดลภาษาขนาดใหญ่

ในยุคที่เทคโนโลยีปัญญาประดิษฐ์ (AI) กำลังพัฒนาอย่างรวดเร็ว โมเดลภาษาขนาดใหญ่ (Large Language Model – LLM) ได้กลายเป็นเครื่องมือสำคัญในการประมวลผลภาษาธรรมชาติ (Natural Language Processing – NLP) ซึ่งมีความสามารถในการสร้างข้อความที่ใกล้เคียงกับภาษามนุษย์ เช่น การเขียนบทความ การตอบคำถาม หรือการแปลภาษา การพัฒนา LLM ไม่ได้มุ่งเน้นเพียงการสร้างโมเดลที่ทำงานได้ดีบนข้อมูลที่มีอยู่เท่านั้น แต่ยังต้องให้ความสำคัญกับการประเมินความสามารถของโมเดลด้วยการวัดประสิทธิภาพ (Evaluation Metrics) เพื่อให้ผู้พัฒนาสามารถปรับปรุงโมเดลให้มีประสิทธิภาพที่ดียิ่งขึ้นในอนาคต รูปที่ 1 ภาพรวมระบบการวัดประสิทธิภาพโมเดลภาษาขนาดใหญ่ [1] ในบทความนี้ จะเริ่มด้วยการเล่าถึงความสำคัญของการวัดประสิทธิภาพ LLM ประเภทของการคำนวณค่าการวัดประสิทธิภาพ LLM และการนำไปประยุกต์ใช้งานจริงและข้อควรระวัง ความสำคัญของการวัดประสิทธิภาพ LLM การวัดประสิทธิภาพของโมเดลภาษาขนาดใหญ่เป็นสิ่งสำคัญด้วยเหตุผลหลายประการ เช่น หากการวัดประสิทธิภาพไม่ถูกต้อง อาจนำไปสู่การตัดสินใจที่ผิดพลาดได้ เช่น ประเภทของการคำนวณค่าการวัดประสิทธิภาพ LLM การประเมินผลของ LLM สามารถแบ่งออกเป็น 3 ประเภทหลัก ได้แก่ 1 การวัดเชิงสถิติ (Statistical Scorers) การวัดเชิงสถิติเป็นการใช้วิธีการทางสถิติเพื่อประเมินความคล้ายคลึงกันของข้อความที่โมเดลสร้างขึ้นกับข้อความที่มนุษย์สร้าง ข้อดีของวิธีนี้คือ เข้าใจง่าย ใช้กันแพร่หลาย ใช้ทรัพยากรน้อย และประเมินผลได้รวดเร็ว แต่ข้อเสียคือไม่คำนึงถึงความหมายเชิงบริบทหรือความเข้าใจที่ลึกซึ้ง เช่น 2 การวัดด้วยโมเดล (Model-Based Scorers) การวัดด้วยโมเดลใช้ LLM เองในการประเมินผล ซึ่งสามารถให้ผลที่แม่นยำและใกล้เคียงความจริงมากกว่า แต่มีความซับซ้อนและต้องการการประมวลผลมากขึ้น เช่น รูปที่ 2 แสดงกระบวนการ G-EVAL: LLM สร้าง chain of thoughts จากข้อมูลงานและเกณฑ์ แล้วใช้ผลลัพธ์นี้ประเมินแบบผ่านการใช้คำสั่ง (prompt) จากนั้นคำนวณคะแนนสุดท้ายโดยใช้ผลรวมถ่วงน้ำหนักด้วยความน่าจะเป็นของคะแนนผลลัพธ์ [2] 3 การผสมผสานระหว่างการวัดเชิงสถิติและโมเดล (Combining Statistical and Model-Based Scorers) การผสมผสานระหว่างการวัดเชิงสถิติและการวัดด้วยโมเดลช่วยให้ได้ผลลัพธ์ที่มีความแม่นยำและเชื่อถือได้มากขึ้น โดยคำนึงถึงความหมายเชิงบริบท เช่น รูปที่ 3 แสดงการประเมินความคล้ายคลึงระหว่างข้อความอ้างอิงและข้อความที่สร้างขึ้น โดยใช้ BERT embeddings เพื่อแทนคำในรูปแบบเวกเตอร์ และใช้การคำนวณค่าความคล้ายคลึง (cosine similarity) ระหว่างคำในแต่ละประโยค จากนั้นจับคู่คำที่มีความคล้ายคลึงกันแบบ greedy matching (แสดงด้วยกรอบสีแดง) และอาจถ่วงน้ำหนักด้วย IDF เพื่อเพิ่มความแม่นยำ (เป็นตัวเลือก) [3] การนำไปประยุกต์ใช้งานจริงและข้อควรระวัง เพื่อให้การวัดประสิทธิภาพของโมเดลภาษาขนาดใหญ่มีความครอบคลุมและแม่นยำมากขึ้น ควรพิจารณาวิธีการที่หลากหลายดังนี้: บทสรุป การวัดประสิทธิภาพของโมเดลภาษาขนาดใหญ่เป็นกระบวนการที่สำคัญและจำเป็นในการพัฒนา LLM ที่มีคุณภาพ การใช้วิธีการวัดที่หลากหลายและการประเมินผลอย่างครอบคลุมจะช่วยให้ได้โมเดลที่มีประสิทธิภาพและสามารถตอบสนองต่อความต้องการของผู้ใช้ได้อย่างมีประสิทธิภาพในอนาคต เอกสารอ้างอิง บทความโดย ธนกร ทำอิ่นแก้ว ตรวจทานและปรับปรุงโดย ดร.ขวัญศิริ ศิริมังคลา

24 October 2024

Big Data 101

Machine Learning Security: ความปลอดภัยของการเรียนรู้ของเครื่อง

Machine Learning Security เป็นหลักการป้องกันการโจมตีแบบจำลองการเรียนรู้ของเครื่องระหว่างที่ถูกนำไปใช้งานจริง

19 January 2023

Big Data 101

คลังข้อความภาษาไทย (Thai text corpus)

มาทำความรู้จักกับ คลังข้อความภาษาไทย ซึ่งเป็นชุดข้อความภาษาไทยจำนวนมหาศาลสำหรับโมเดลการประมวลผลภาษาธรรมชาติ อย่างที่ใช้ในสร้าง chatbot

4 April 2022

Big Data 101

Graph Analysis: การวิเคราะห์เชิงกราฟเบื้องต้นและตัวอย่างการประยุกต์ใช้

รู้จักกับการวิเคราะห์เชิงกราฟ (Graph Analysis) เทคนิคการวิเคราะห์ข้อมูลเพื่ออธิบายความสัมพันธ์เชิงลึกระหว่างข้อมูลที่ถูกเชื่อมโยงกันเป็นเครือข่าย

2 November 2021

Big Data 101

เรียนรู้วิธีการสร้าง Interactive Visualization ด้วย Plotly ที่ซับซ้อนมากขึ้น

เจาะลึกไปถึงการตรวจสอบลักษณะข้อมูลเบื้องต้นและการสร้าง Visualization ที่ซับซ้อน ด้วย Plotly โดยประยุกต์ใช้กับข้อมูลอนุกรมเวลา (Time Series)

7 September 2021

Big Data 101

เรียนรู้วิธีการสร้าง Interactive Visualization ด้วย Plotly

หนึ่งในขั้นตอนของการวิเคราะห์ข้อมูลที่สำคัญคือการสำรวจและตรวจสอบข้อมูลเบื้องต้น อาทิ ข้อมูลเป็นข้อมูลประเภทไหน ข้อมูลมีการกระจายตัวเป็นอย่างไร แต่ละตัวแปรมีความสัมพันธ์อย่างไรเทียบกับข้อมูลทั้งหมด เพราะจะช่วยทำให้การตั้งสมมุติฐานของโจทย์ที่ต้องการวิเคราะห์ได้ดีขึ้น ซึ่งปกติแล้วจะนำข้อมูลมาแสดงผลในรูปแบบของภาพนิทัศน์ (visualization) เช่น แผนภูมิแท่ง (bar chart), แผนภูมิเส้น (line chart), แผนภูมิจุด (scatter plot) เป็นต้น สำหรับเครื่องมือการสร้างแผนภูมิใน Python นั้น มีหลายวิธี สำหรับบทความที่ทางเว็บไซต์ได้เขียนไปในก่อนหน้านี้นั้น ได้ใช้การแสดงผลด้วย Matplotlib library เช่น แผนภูมิอนุกรมเวลา และแผนภูมิเส้น ซึ่งสามารถแสดงผลความสัมพันธ์เบื้องต้นได้ง่ายและรวดเร็ว อย่างไรก็ตาม library ดังกล่าว มีข้อจำกัดในด้านการสร้างและแสดงผลที่โต้ตอบกับผู้ใช้งานได้ง่าย ถึงแม้ว่าจะมีความสามารถในการนำทางแบบโต้ตอบ (Interactive Toolbar) ของ Matplotlib library ที่ช่วยให้ผู้ใช้สามารถดูข้อมูล ขยายภาพเฉพาะจุด เก็บแผนภูมิดังกล่าวเป็นไฟล์รูป เทียบกับทาง Plotly library มีความสามารถที่น่าสนใจเพิ่มเติม เช่น กล่องข้อความหรือกลุ่มของข้อมูลสั้น ๆ (Tooltip) ทั้งแบบทีละจุดข้อมูลและแบบเปรียบเทียบข้อมูลทั้งหมด และการเลือกดูข้อมูลด้วยตัวกรองข้อมูล (Filter) เครื่องมือการสร้างแผนภูมิใน Python ที่เป็นที่นิยมเช่น Matplotlib นั้น มีข้อจำกัดในด้านการแสดงผลที่โต้ตอบกับผู้ใช้งาน (interactive visualization) เช่น ไม่สามารถสร้างกล่องข้อความหรือกลุ่มของข้อมูลสั้น ๆ (Tooltip) ทั้งแบบทีละจุดข้อมูลและแบบเปรียบเทียบข้อมูลทั้งหมด และการเลือกดูข้อมูลด้วยตัวกรองข้อมูล (Filter) ในบทความนี้ ผู้เขียนขอแนะนำ Plotly library ซึ่งเป็นเครื่องมือในการสร้างแผนภูมิที่มีความสามารถในการแสดงผลที่โต้ตอบกับผู้ใช้งาน ได้หลายหลาย มีแผนภูมิมากกว่า 40 ประเภท สามารถนำแผนภูมิที่ทำเสร็จสิ้นแล้วไปเพิ่มลงในเว็บไซด์ที่ต้องการได้ง่ายด้วย Python framework ที่ชื่อว่า “Plotly Dash” และที่สำคัญสามารถนำไปใช้งาน แก้ไข และเผยแพร่ได้อย่างเสรี (open source library) การติดตั้ง library สำหรับตัวอย่างในบทความนี้ ผู้เขียนได้ใช้งานบน Jupyter Notebook ซึ่งเป็นสิ่งแวดล้อมสำหรับการพัฒนาแบบเบ็ดเสร็จ (IDE) ที่นิยมสำหรับการวิเคราะห์ข้อมูลโดยการใช้ภาษา Python โดยสามารถทำติดตั้งได้โดยการใช้ command ด้านล่างหรืออ่านเพิ่มเติมได้ ที่นี่ ข้อมูล ผู้เขียนใช้ข้อมูลยอดขายของวีดิโอเกมจากเว็บไซต์ vgchartz.com โดยคัดเลือกเฉพาะวีดิโอเกมที่ขายได้มากกว่าหนึ่งแสนตลับ โดยสามารถอ่านรายละเอียดที่มาของข้อมูลได้ ที่นี่ Rank Name Platform Year Genre Publisher NA_Sales EU_Sales JP_Sales Other_Sales Global_Sales 1 Wii Sports Wii 2006 Sports Nintendo 41.49 29.02 3.77 8.46 82.74 2 Super Mario Bros. NES 1985 Platform Nintendo 29.08 3.58 6.81 0.77 40.24 3 Mario Kart Wii Wii 2008 Racing Nintendo 15.85 12.88 3.79 3.31 35.82 4 Wii Sports Resort Wii 2009 Sports Nintendo 15.75 11.01 3.28 2.96 33 5 Pokemon Red/Pokemon Blue GB 1996 Role-Playing Nintendo 11.27 8.89 10.22 1 31.37 ตัวอย่างข้อมูลยอดขายของวีดิโอเกมจากเว็บไซต์ vgchartz.com จากการดูตัวอย่างข้อมูลจะพบว่า มีตัวแปรต่อเนื่องดังนี้ ลำดับของเกมที่ขายได้ตามจำนวนยอดขายทั้งหมด (Rank) ปีที่เกมดังกล่าวถูกวางขาย (Year) ยอดขายของทวีปอเมริกาเหนือ (NA_Sales) ยอดขายของทวีปยุโรป (EU_Sales) ยอดขายของประเทศญี่ปุ่น (JP_Sales) ยอดขายประเทศอื่น ๆ (Other_Sales) ยอดขายรวม (Global_Sales) และมีตัวแปรแบบจัดกลุ่มดังนี้ ชื่อเกม (Name) แพลตฟอร์มที่เกมถูกเอาไปเล่น (Platform) ประเภทของเกม (Genre) ชื่อบริษัทที่พัฒนาเกม (Publisher) ตัวอย่างการใช้ plotly สำหรับบทความนี้ ทางผู้เขียนสร้างแผนภูมิด้วย plotly.express ซึ่งเป็นตัว function ที่เขียนมาให้สร้างสร้างแผนภูมิ Plotly ได้ง่ายขึ้น โดยจะเริ่มต้นด้วยการวาดกราฟแท่ง (Bar Graph) โดยทางผู้เขียนต้องการทราบว่า บริษัทที่พัฒนาเกม (Publisher) ขนาดใหญ่ที่ขายเกมมากกว่า 500 เกม ชอบสร้างเกมประเภทไหน (Genre) จากแผนภูมิตัวอย่าง จะเห็นจากแผนภูมิได้ว่า บริษัท Electronic Arts จะชอบสร้างเกมประเภท Sports เป็นพิเศษ ซึ่ง tooltip ช่วยให้ผู้ใช้สามารถโต้ตอบกับแผนภูมิด้วยเมาส์ และเห็นข้อมูลเพิ่มเติมในเฉพาะสิ่งที่สนใจได้อีกด้วย ในกรณีนี้ พบว่า Electronic Arts ได้ทำเกมประเภท Sports ออกมาแล้วกว่า 561 เกม ในขณะที่ บริษัท Namco Bandai Games จะชอบสร้างเกมประเภท Sports มีสัดส่วนการสร้างเกมประเภท Role-Playing เทียบกับเกมประเภทอื่นสูงกว่าบริษัทอื่น ตัวอย่างต่อไปจะใช้กราฟเส้น (Line Graph) โดยในกราฟนี้ ทางผู้เขียนต้องการทราบว่า ในแต่ละปี (Year) เกมประเภทไหน (Genre) ถูกนำมาวางขายเยอะที่สุด จากแผนภูมิตัวอย่าง นอกจากการแสดงผลของแนวโน้มโดยรวมระหว่างความสัมพันธ์ของประเภทของเกมเทียบเป็นรายปี เมื่อทำการเลือกดูเฉพาะกลุ่มและทำการเลือกการเปรียบเทียบข้อมูลด้วย tooltip ทำให้เห็นได้ว่าเกมประเภท Racing กับ Platform ขายได้ดีและไปในทิศทางเดียวกันในช่วงระหว่างปี 2000 – 2005 หลังจากนั้นเกมประเภท Role-Playing กับ Puzzle กลับได้รับความนิยมมากกว่าและมียอดขายไปทิศทางเดียวกันในช่วงระหว่างปี 2005 – 2010 ตัวอย่างสุดท้ายจะวาดแผนภูมิจุด (Scatter Graph) ของเกมที่มียอดขายสูงสุด...

1 March 2021

รู้จัก BDI

Organization

Policy and Plan

Personnel

Operations

Thanakorn Thaminkaew

บทความทั้งหมด

All Articles

สถาบันข้อมูลขนาดใหญ่ (องค์การมหาชน)

Big Data Institute (Public Organization)

234/432 Soi Lat Phrao 12, Chomphon, Chatuchak, Bangkok 10900, Thailand

Contact Us

Quick Link

About Us

© Big Data Institute | Privacy Policy