Navavit Ponganan, Author at Big Data Institute

บทความทั้งหมด

All Articles

ข้อมูลภูมิสารสนเทศแนวเขตการปกครอง กับปัญหาที่รอการแก้ไข (Geospatial Data on Administrative Boundaries and Pending Issues)

ข้อมูลเกี่ยวกับแนวเขตการปกครอง (ขอบเขตจังหวัด อำเภอ ตำบล) ในระบบภูมิสารสนเทศมีความสำคัญมากในการจัดการที่มีประสิทธิภาพในพื้นที่ เนื่องจากมีผลต่อการอ้างอิงขอบเขตอำนาจหน้าที่ของหน่วยงานราชการต่าง ๆ โดยกรมการปกครองถือว่าเป็นหน่วยงานหลักที่มีหน้าที่ดูแลในการจัดเก็บข้อมูล (การทบทวนหน่วยงานที่รับผิดชอบชุดข้อมูลภูมิสารสนเทศพื้นฐาน FGDS) โดยได้ดำเนินการสำรวจ ตรวจสอบ และปรับปรุงข้อมูลดังกล่าวตลอดเวลาตั้งแต่ปี พ.ศ. 2546 ภายใต้โครงการปรับปรุงข้อมูลแนวเขตการปกครองในระบบภูมิสารสนเทศ (GIS) มาตราส่วน 1:50000 อย่างไรก็ตามยังมีการปรับปรุงแก้ไขแนวเขตการปกครองเพียงบางพื้นที่เท่านั้น และยังไม่มีการปรับปรุงข้อมูลให้ครอบคลุมทั่วถึงและถูกต้องตามปัจจุบันในทุกพื้นที่ของประเทศ โดยข้อมูลแนวเขตการปกครองในระบบภูมิสารสนเทศ ที่ถูกปรับปรุงล่าสุดโดยกรมการปกครอง อยู่ที่ ปี 2556 รูปแบบในการใช้งานข้อมูลขอบเขตการปกครอง ก่อนที่ผมจะลงลึกไปถึงปัญหา อยากขออธิบายคร่าว ๆ ว่าเราใช้ขอบเขตการปกครองเพื่ออะไรบ้าง ในกรณีนี้สามารถแยกได้ 2 กรณี กรณีที่ 1 ใช้เพื่อนำเสนอ หรือสื่อสารข้อมูล (Data Storytelling) โดยไม่ต้องการความแม่นยำทางภูมิศาสตร์ ยกตัวอย่าง ภาพที่ 1 จะเห็นได้ว่าแผนที่นี้ต้องการที่จะสื่อสารว่าคนในจังหวัดกระบี่ ขาดสารอาหารประเภททองแดง การทำแผนที่ประเภทนี้ก็เพียงแค่เน้นให้จังหวัดกระบี่สามารถสังเกตได้ง่ายกว่าจังหวัดอื่น โดยไม่ได้ต้องการความถูกต้องของแนวเขตจังหวัด เป็นต้น สำหรับนักวิทยาศาสตร์ข้อมูลที่ใช้เครื่องมือ BI ต่าง ๆ ก็อาจจะคุ้นชินกับการใช้เครื่องมือเหล่านี้ในการทำแผนที่ในกรณีนี้เป็นอย่างดี แต่ก็ยังมีอีกกรณีที่เครื่องมือ BI ยังไม่อาจตอบโจทย์ได้นั่นคือ กรณีที่ 2 ใช้เพื่อการพิสูจน์สิทธิ์ การแบ่งหน้าที่ความรับผิดชอบ การกำหนดขอบเขตการเข้าทำประโยชน์ หรือการแบ่งผลประโยชน์ ต้องการการคำนวณขนาดพื้นที่ ฯลฯ ยกตัวอย่างดังภาพที่ 2 หมายเหตุ ในกรณีนี้ไม่ได้บอกว่าเราสามารถใช้ข้อมูลภูมิสารสนเทศขอบเขตการปกครองอ้างอิงได้โดยตรง เพราะต้องมีการตรวจสอบความถูกต้องโดยการรังวัดที่ดินเพื่อปักเขตและทำเขตที่แม่นยำ หน่วยงาน หมายเหตุ แหล่งที่มา กรมการปกครอง (DOPA) ข้อมูลปี 2556 สามารถติดต่อผ่านช่องทางของหน่วยงาน กรมพัฒนาที่ดิน (LDD) ข้อมูลปี 2661 (ขอบเขตจังหวัดเชียงหม่ ที่แนบมากับข้อมูลการใช้ที่ดิน) Link Information Technology Outreach Services (ITOS) (Reference from file’s metadata) ข้อมูลนี้ ICRC ได้รับมาจาก กรมที่ดินราชอาณาจักรไทย (RTSD) และถูกเผยแพร่ให้ OCHA ใช้งาน Link ตารางที่ 1 แหล่งข้อมูลขอบเขตการปกครอง จากภาพที่ 2 จะสังเกตได้ว่าข้อมูลจุดความร้อนเกิดขึ้นอยู่ระหว่างประเทศไทยและประเทศพม่า ซึ่งก็อาจเกิดข้อถกเถียงเรื่องขอบเขตความรับผิดชอบต่อจุดความร้อนดังกล่าวได้ จะเห็นได้ว่าขอบเขต จังหวัด อำเภอ ตำบล เป็นข้อมูลภูมิสารสนเทศพื้นฐานที่มักถูกนำมาใช้ประกอบการวิเคราะห์ข้อมูลด้านต่าง ๆ แต่ทว่าปัญหาใหญ่ที่พบเจอคือ ข้อมูลเหล่านี้มักมีที่มาจากแหล่งข้อมูลที่หลากหลาย ทำให้เกิดปัญหาในการใช้งานร่วมกัน บทความนี้มุ่งเน้นไปที่การอภิปรายปัญหาที่อาจเกิดขึ้นจากการใช้ข้อมูลดังกล่าว ปัญหาที่พบเจอ ผลกระทบ ปัญหาเหล่านี้ส่งผลกระทบต่อการวิเคราะห์ข้อมูลภูมิสารสนเทศ รวมไปถึงการบริหารงาน ตัวอย่างเช่น แนวทางแก้ไข (ดีที่สุดที่เราจะสามารถทำได้ ณ ขณะนี้) จะเห็นได้ว่าแนวทางแก้ไขที่เราเสนอไปก็ไม่ได้เป็นการแก้ไขที่ยั่งยืน ในการนี้ ผู้เขียนขออนุญาตเสนอแนวทางในการบริหารจัดการข้อมูลชุดนี้ดังต่อไปนี้ ความเคลื่อนไหวของหน่วยงานผู้รับผิดชอบ ในปัจจุบัน กรมการปกครองมีโครงการจัดทำข้อมูลภูมิสารสนเทศขั้นพื้นฐานหลัก ชั้นข้อมูลแนวเขตการปกครองระดับหมู่บ้าน มาตรส่วน 1:4000 ด้วยงบประมาณกว่า 700 ล้านบาท ซึ่งมีเป้าหมายที่จะแนวเขตการปกครองตำบล อำเภอ และจังหวัดในพื้นที่ระดับหมู่บ้านทั้งหมด 63193 หมู่บ้าน และคาดว่าโครงการนี้จะเสร็จสิ้นในปี พ.ศ. 2569 บทสรุป แม้ว่าปัจจุบันจะยังมีปัญหาในการใช้งานข้อมูลขอบเขตการปกครองจากหลายแหล่งที่มาและความไม่สอดคล้องกัน แต่เรามีแนวทางในการแก้ไขปัญหาเบื้องต้นเพื่อลดผลกระทบ เช่น การเลือกใช้ข้อมูลจากแหล่งที่น่าเชื่อถือ ตรวจสอบระบบพิกัดให้ตรงกัน และติดตามการเปลี่ยนแปลงเขตการปกครองอย่างใกล้ชิด รวมถึงการจัดทำ metadata อย่างละเอียด นอกจากนี้ กรมการปกครองได้ตระหนักถึงปัญหาดังกล่าวและมีโครงการจัดทำข้อมูลภูมิสารสนเทศขอบเขตการปกครองในระดับหมู่บ้านทั่วประเทศอย่างครอบคลุมและมีมาตรฐานเดียวกัน ซึ่งหากดำเนินการได้สำเร็จตามแผน ก็จะเป็นการแก้ไขปัญหาได้อย่างยั่งยืน การริเริ่มโครงการสำคัญนี้ถือเป็นความหวังที่จะทำให้ข้อมูลขอบเขตการปกครองมีความถูกต้อง ทันสมัย และเป็นมาตรฐานเดียวกันทั่วประเทศ ซึ่งจะส่งผลให้การนำข้อมูลไปใช้งานมีประสิทธิภาพสูงสุดและแก้ไขปัญหาข้อขัดแย้งต่าง ๆ ได้อย่างมีประสิทธิผล บทความโดย นววิทย์ พงศ์อนันต์ตรวจทานและปรับปรุงโดย อิสระพงษ์ เอกสินชล อ้างอิง

1 May 2024

Big Data 101

การสร้างแพลตฟอร์มข้อมูลภูมิสารสนเทศด้วย FOSS4G: ทำไมเราถึงอยากแนะนำ

การจัดการข้อมูลเชิงพื้นที่มีความสำคัญอย่างยิ่งต่อองค์กรต่าง ๆ และ FOSS4G เป็นทางเลือกที่น่าสนใจในการสร้างแพลตฟอร์มเหล่านี้ มาทำความรู้จักกับ FOSS4G และเหตุผลที่ควรพิจารณาในการใช้งาน ในบทความนี้"

10 April 2024

Big Data 101

อะไรอะไรก็ Shapefile: ข้อมูลภูมิสารสนเทศยุคใหม่มีทางเลือกอื่นหรือไม่?

โลกของ GIS รูปแบบไฟล์ที่เรียกว่า Shapefile ได้ถูกใช้งานกันอย่างแพร่หลาย แต่เมื่อเวลาผ่านไป Shapefile ก็ไม่อาจรองรับการใช้งานที่หลากหลาย เราผู้ใช้จะสามารถเลือกอะไรมาทดแทนได้บ้าง สามารถอ่านได้ในบทความนี้

18 March 2024

Big Data 101

คัมภีร์การทำแผนที่บน MS Power BI ฉบับประเทศไทย The Cartographic Bible for MS Power BI, Thailand Edition

การวิเคราะห์ข้อมูลภูมิศาสตร์และตำแหน่งที่ตั้งเป็นสิ่งที่สำคัญต่อการตัดสินใจในธุรกิจของหลายภาคส่วน การแสดงผลแผนที่แบบอินเตอร์แอคทีฟเป็นอีกหนึ่งวิธีที่ช่วยให้เราสามารถแสดงข้อมูลตำแหน่งในรูปแบบแผนที่ได้อย่างสะดวก และช่วยให้เราสามารถเข้าใจแนวโน้มของข้อมูลที่ซับซ้อนได้ง่ายขึ้น

19 May 2023

Data for Business

การวิเคราะห์ Social Listening: ความคิดเห็นของผู้บริโภค

ในยุคปัจจุบันที่เป็นยุคแห่ง Big Data หรือข้อมูลขนาดใหญ่ ผู้บริโภคได้รับอิทธิพลจากข้อมูลที่พวกเขาได้รับตลอดเวลาและพฤติกรรมของผู้บริโภคก็กลายมาเป็นข้อมูลสำหรับแบรนด์ เป็นวงจรวนเช่นนี้ไปเรื่อย ๆ ดังนั้นการเข้าใจข้อมูลเชิงลึก ของผู้บริโภคจึงใช่แค่ตัวเลือกในการดำเนินธุรกิจแล้ว แต่กลับเป็นสิ่งจำเป็นสำหรับแบรนด์ เพื่อที่จะดึงลูกค้าไว้กับเรา แต่อย่างไรก็ตามก็ยังเป็นเรื่องยากสำหรับบริษัท โดยเฉพาะบริษัทขนาดเล็กและขนาดกลางที่จะสร้างทีมข้อมูลขนาดใหญ่ บริษัทเหล่านี้จึงมองหาบริการวิเคราะห์ข้อมูลที่ทำโดย AI ที่เป็นตัวช่วยให้บริษัทได้รับข้อมูลเชิงลึก จากข้อมูลมหาศาลในตลาด และปรับปรุงประสิทธิภาพการดำเนินการโดยที่ค่าใช้จ่ายไม่สูง ซึ่งบริการแบบนี้มีชื่อว่า Social-Listening ทำไมเราจึงต้องมี Social Listening? แพลตฟอร์มอีคอมเมิร์ซรายใหญ่ในประเทศจีนอย่างเช่น Tmall ได้มีการเปลี่ยนแปลงประสบการณ์ในการช็อปปิ้งใน Flagship Store ของแบรนด์ต่าง ๆ เพื่อเพิ่มยอดขายหรือ Sales Conversion สิ่งนี้บ่งบอกได้ว่าหากแบรนด์ต้องการพัฒนา ช่องทางการขายในอีคอมเมิร์ซแบบระยะยาว เนื้อหา และการบริการแบบยึดผู้บริโภคเป็นศูนย์กลาง (consumer-oriented) เป็นหนึ่งในกุญแจหลักของธุรกิจในอนาคต การที่เราจะสร้างเนื้อหาหรือบริการที่ดีได้นั้น เราจำเป็นต้องมีความเข้าใจความต้องการของผู้บริโภค โดยเฉพาะข้อมูลเชิงลึกของการสนทนาระหว่างผู้บริโภคกับแบรนด์ (การคุยกับฝ่ายบริการลูกค้า, ความเห็น, ฯลฯ) แม้ว่า Tmall กับ JD จะมีช่องทางที่ช่วยให้แบรนด์หรือร้านค้าต่าง ๆ สามารถบริหารจัดการข้อมูลในการติดตามผลและปรับปรุงธุรกิจ อย่างเช่น “Biz Advisor” และ “Data Bank” แต่การวิเคราะห์ข้อมูลของแบรนด์นั้นยังคงเน้นที่ปริมาณข้อมูลเป็นหลัก ซึ่งทำให้เกิดช่องว่างขนาดใหญ่ใน การวิเคราะห์ข้อมูลจากผู้บริโภค ทำให้แบรนด์ต่าง ๆ มีเพียงแต่ข้อมูลในปริมาณมาก แต่ไม่สามารถวิเคราะห์ข้อมูลเชิงลึกของลูกค้าได้อย่างมีประสิทธิภาพ มูลค่าของ Social Listening แบรนด์ควรใช้ความต้องการของผู้บริโภคเป็นแก่นหลัก ในการขับเคลื่อนความก้าวหน้าของแบรนด์ในระยะยาว และเพิ่มความสำคัญให้กับการตอบรับคำติชมของผู้บริโภค ผ่านทางเทคโนโลยีวิเคราะห์ตีความข้อมูลขนาดใหญ่อย่าง Social-Listening ที่ช่วยวิเคราะห์คำติชมจากผู้บริโภค ในแพลตฟอร์มอีคอมเมิร์ซรายใหญ่ และโซเชียลมีเดียของประเทศจีน ซึ่งช่วยให้แบรนด์สามารถวิเคราะห์ข้อมูล Customer Journey ของผู้บริโภคได้ โดยสามารถอัปเดตข้อมูลต่าง ๆ และดูข้อมูลการวิเคราะห์ได้แบบ Realtime วิธีการของ Social Listening ข้อมูลเชิงลึกของผู้บริโภคผ่านทางวงจรแบบปิดแบบดิจิทัล ข้อมูลเชิงลึกแบบหลายมิติผ่านโมเดลปีระมิด นอกจากสามขั้นตอนที่กล่าวถึงข้างต้น เรายังทำตามโมเดลการวิเคราะห์แบบปีระมิดกลับหัวด้วย โดยเริ่มจากแพลตฟอร์มออนไลน์ ต่อด้วยอุตสาหกรรมและประเภทของธุรกิจ ไปจนถึงคู่แข่งของแบรนด์ โมเดลนี้ค่อย ๆ คัดกรองข้อมูลเชิงลึกทีขั้น ทำให้บริษัทสามารถวิเคราะห์ และคาดการณ์แนวโน้มของธุรกิจได้ รวมถึงการเริ่มต้นจากการย่อยข้อมูลให้ละเอียด เพื่อให้การคัดกรองข้อมูลมีประสิทธิภาพมากที่สุด ข้อดีของ Social Listening สามารถปรับการพัฒนาระบบได้ตามต้องการ: ก่อนการวิเคราะห์ บริษัทที่ให้บริการด้าน Social Listening จะคุยกับแบรนด์ก่อนว่า ต้องการให้กรอบการวิเคราะห์ข้อมูลออกมาเป็นอย่างไร ครอบคลุมข้อมูลอะไรบ้าง การเลือกแบรนด์และผลิตภัณฑ์คู่แข่ง ซึ่งการเก็บรวบรวมข้อมูลนั้นจะปรับตามข้อมูลที่แบรนด์ต้องการ แพลตฟอร์มข้อมูลนี้ขับเคลื่อนด้วย Smart AI: ไม่ว่าจะเก็บข้อมูลไว้ที่ไหน แบรนด์สามารถเชื่อมต่อกับ แพลตฟอร์มของผู้ให้บริการได้อย่างง่ายดายด้วยแหล่งข้อมูลแบบเปิดที่ใช้ API ในระบบหลังบ้าน ทำให้ฐานข้อมูลบริษัทภายในและภายนอกสามารถเชื่อมต่อได้อย่างง่ายดาย แหล่งข้อมูลทั้งหมดจึงมารวมกันอยู่ในแพลตฟอร์มเดียว วิธีแก้ปัญหาแบบครบวงจร: ผู้ให้บริการ Social Listening ได้สร้างระบบวิเคราะห์ข้อมูลแบบ “เน้นผู้บริโภค” ที่อยู่ในที่เดียว ซึ่งจะทำตั้งแต่เก็บรวบรวม สร้างโมเดลข้อมูล วิเคราะห์ข้อมูล รวมถึงการแปลงข้อมูลเป็นภาพที่ทำให้เราเข้ามาดูข้อมูลได้ง่ายขึ้น รายงานข้อมูลเชิงลึกของผู้บริโภค: ผู้ให้บริการ Social Listening จะคัดสรรข้อมูลที่สำคัญที่สุด และนำเสนอข้อมูลให้กับแบรนด์ในรูปแบบที่เป็นรูปภาพ ทำให้แบรนด์สามารถเข้าใจข้อมูลได้ง่ายขึ้น การติดตามและเฝ้าสังเกตข้อมูลอย่างต่อเนื่อง: โมเดลวิเคราะห์ข้อมูลที่สร้างโดยผู้ให้บริการ Social-Listening ทำให้ข้อมูลถูกบริหารอย่างมีระบบและอัปเดตอัตโนมัติ ซึ่งการที่แบรนด์สามารถเฝ้าสังเกตและวิเคราะห์ได้อย่างต่อเนื่องนั้น ทำให้แบรนด์รู้ข้อเสียของผลิตภัณฑ์ และสามารถพัฒนาหรือปรับปรุงสินค้าได้ในทันที รวมถึงหากมีปัญหาเกิดขึ้นก็สามารถทำกลยุทธ์ส่งเสริมการตลาดได้ทันเวลา จะเห็นได้ว่า การทำ Social-Listening จะช่วยให้แบรนด์รู้จักกับลูกค้ามากขึ้น รู้ว่าลูกค้าคิดอย่างไรกับแบรนด์เรา ทำให้แบรนด์สามารถพัฒนาสินค้าหรือบริการ รวมถึงกลยุทธ์การตลาดที่โดนใจหรือตอบโจทย์ลูกค้ามากขึ้น ดังนั้น Social-Listening ก็นับได้ว่าเป็นอีกหนึ่งเครื่องมือที่แบรนด์ควรมี เพื่อต่อสู้กับการแข่งขันที่สูงขึ้นในปัจจุบัน บทความโดย ecommerceTOChinaเนื้อหาจากบทความของ ecommerceTOChinaแปลและเรียบเรียงโดย ไอสวรรค์ ไชยชะนะตรวจทานและปรับปรุงโดย นววิทย์ พงศ์อนันต์

15 November 2022

Big Data 101

คำสั่งแบบ Switch-Case Statements จะสามารถใช้ร่วมกับ Python ได้แล้ว!

Python คำสั่ง เวอร์ชั่นที่ออกมาใหม่ล่าสุดเผยให้เห็น New Logic (ตรรกะแบบใหม่) Python 3.10 เริ่มจะเต็มไปด้วยฟีเจอร์ใหม่ ๆ น่าทึ่งหลายอย่าง มีฟีเจอร์หนึ่งที่น่าสนใจมาก — Structural Pattern Matching (การเทียบเคียงรูปแบบแบบมีโครงสร้าง) — หรือที่พวกเรารู้จักกันคือ switch/case statement ซึ่ง Switch-statement ห่างหายไปจาก Python มานานแม้ว่าจะเป็นฟีเจอร์ทั่วไปของเกือบทุกภาษา ย้อนกลับไปปี 2006 ที่มีการสร้าง PEP 3103 ขึ้น โดยแนะนำให้ดำเนินการตามคำสั่ง Switch-case Statement แต่หลังจากทำแบบสำรวจที่ PyCon 2007 หรืองานสัมมนาเกี่ยวกับภาษาที่ใช้เขียนโปรแกรม พบว่าฟีเจอร์ดังกล่าวไม่ได้รับการสนับสนุนผู้พัฒนา Python จึงล้มเลิกการพัฒนาฟีเจอร์นี้ไป ในปี 2020 และ Guido van Rossum (กวีโด แวน รอสซัม) ผู้สร้าง Python นำเสนอเอกสารกำกับโปรแกรมฉบับแรกภายใต้หัวข้อ Switch-statement แบบใหม่ ที่ถูกตั้งชื่อว่า Structural Pattern Matching ตามที่พบใน PEP 634 โดยสิ่งที่เรามีในตอนนี้เป็นมากกว่าแค่ Switch-case Statement แบบเรียบง่าย ซึ่งเดี๋ยวเราจะได้เห็นกันในบทความนี้ มาดูกันว่าตรรกะแบบใหม่นี้ทำงานอย่างไร Structural Pattern Matching Pattern Matching ใช้ค่าตัวเลขหลังจาก match และช่วยให้เราเขียนเคสที่อาจมีออกมาหลายกรณี โดยแต่ละกรณีจำกัดความว่าเป็น case ที่เท่าไหร่ และถ้าเราต้องจับคู่ระหว่าง Match และ Case หรือ match-case เราจะต้องใช้งานโค้ดตามลำดับ ตัวอย่างเช่น: ในส่วนนี้เราต้องตรวจดูเงื่อนไขหลายอย่าง รวมถึงการดำเนินการปฏิบัติการที่แตกต่างกัน โดยขึ้นอยู่กับค่าตัวเลขที่เราพบภายใน http_code จากแผนผังในด้านบน จะเห็นได้ชัดในทันทีว่าเราสามารถสร้างตรรกะเดียวกันโดยใช้กลุ่มของ If-elif-else Statement: อย่างไรก็ตาม เราสามารถใช้ Match-case Statement ลบการทำซ้ำของ http_code == ออก ซึ่งเมื่อทดสอบกับหลากหลายเงื่อนไขจะให้ผลลัพธ์ที่ดูง่ายกว่า อีกหนึ่งตัวอย่างของ Match-case Statement เราจะศึกษาตัวอย่างที่ดีของการใช้ Match-case Statement เพื่อปรับปรุงความสามารถในการอ่านโค้ดใน PEP 635 หนึ่งในนั้นคือตัวอย่างนี้ ซึ่งแสดงให้เราเห็นวิธีใช้ Match-case เพื่อตรวจดูประเภทและโครงสร้างของตัวทดสอบของเรา: ในส่วนนี้เรามักจะคาดหวังที่จะได้รายละเอียดการเชื่อมโยงในรูปแบบ Tuple (ทูเพิล) และมอบหมายค่าตัวเลขที่ให้มากับตัวแปรที่ถูกต้อง ซึ่งถ้า mode การเชื่อมโยงยังไม่ถูกกำหนดภายใน Tuple (ตัวอย่างเช่น มีเพียงค่าตัวเลขสองค่าที่ให้มาคือ host และ port) เราสันนิษฐานได้ว่าโหมดการเชื่อมโยงคือ “http”. อย่างไรก็ตามในกรณีอื่น ๆ เราอาจคาดการณ์ได้ว่าโหมดถูกกำหนดไว้แล้วอย่างชัดเจน เราจึงอาจจะได้รับ Tuple แบบ (<host>, <port>, "ftp") — ซึ่งในกรณีนี้เราไม่ได้อยากตั้ง mode เป็น “http” และถ้าเราอยากจะเขียนตรรกะเดียวกันโดยใช้ If-else Statement เราจะได้สิ่งนี้: การเลือกใช้ของแต่ละคนอาจจะแตกต่างกันตามความ แต่สำหรับผมแล้วการใช้งาน Match-case ดูได้สบายตากว่ามาก กรณีศึกษาของ JSON อีกกรณีศึกษาหนึ่งที่ดูน่าสนใจคือความสามารถในการแยกวิเคราะห์คำในพจนานุกรมที่แตกต่างกันตามโครงสร้างของมัน กรณีทดสอบที่ดีของเรื่องนี้คือการแยกวิเคราะห์ชุดข้อมูล SQuAD 2 โดยชุดข้อมูล SQuAD 2 เป็นชุดถาม-ตอบที่เป็นที่นิยมมาก ซึ่งใช้ในการฝึกโมเดลเรียนรู้ของเครื่องจักรสำหรับการถาม-ตอบ เราสามารถดาวน์โหลดข้อมูลได้ด้วย: ถ้าเรามาลองดูโครงสร้างของ SQuAD จะเห็นชัดว่ามีหลากหลายระดับ ซึ่งเราจะต้องพิจารณาเมื่อทำการแยกวิเคราะห์: แต่ปัญหาคือ ไม่ใช่ว่าทุกตัวอย่างจะสามารถใช้รูปแบบพจนานุกรมแบบเดียวกันได้ ถ้าเราดูสองสามตัวอย่างสุดท้าย เราจะเห็นรายการ qas มีทั้ง answers และ plausible_answers — ขณะที่ตัวอย่างมีเพียงแค่ answers: ทีนี้ลองมาใช้ Match-case Statement แบบใหม่เพื่อสร้างทางเลือกที่สบายตากว่าสำหรับตรรกะหนัก ๆ แบบ if-else ที่จำเป็นต้องใช้กับสิ่งนี้ อย่างแรก เราต้องโหลดข้อมูลมาก่อน: SQuAD JSON มีหลายระดับชั้น หลังจากเข้าถึง squad['data'] เราจำเป็นต้องทำซ้ำในคำถามแต่ละ group: จากนั้นในแต่ละ paragraph แล้วในแต่ละ qas (คำถาม-คำตอบ) — ซึ่งดูเหมือน: และนี่คือจุดที่เริ่มสนุกแล้วล่ะ การใช้ตรรกะแบบ if-else เราจะได้อะไรแบบนี้: แม้ว่ามันจะดูไม่ค่อยสวย แต่มันก็สามารถใช้งานได้ ลองมาเขียนใหม่โดยใช้ตรรกะแบบ match-case ดูบ้าง: จะเห็นได้ว่า การใช้ ตรรกะนี้จะช่วยให้ดูซับซ้อนน้อยลงและถือเป็นอีกหนึ่งทางเลือกที่ดีเมื่อเทียบกับเวอร์ชั่นดั้งเดิมที่ใช้ตรรกะการแยกวิเคราะห์ ทั้งหมดมีแค่นี้เป็นเรื่องของ Structural Pattern Matching แบบใหม่ที่นำเสนอใน Python 3.10! แบบสั้น ๆ เท่านั้น เวอร์ชั่นเต็มคาดว่าจะออกมาในต้นเดือนตุลาคม 2021 ส่วนตัวแล้ว ผมคิดว่า Syntax แบบใหม่นี้ดูดีมาก ๆ — แม้ว่าตอนนี้จะมั่นใจได้แค่ 50/50 แต่เมื่อมีผู้ใช้ match-case ทำโค้ดมากขึ้น ผมมั่นใจว่าพวกเขาจะเลือกวิธีการที่ดีที่สุดในการเขียน บทความโดย James Briggsเนื้อหาจากบทความของ Mediumแปลและเรียบเรียงโดย ไอสวรรค์ ไชยชะนะตรวจทานและปรับปรุงโดยนววิทย์ พงศ์อนันต์

31 July 2022

Big Data 101

เปรียบเทียบ Data Fabric, Data Mesh และ Knowledge Graph

เป็นเวลาเกือบหนึ่งทศวรรษหรือมากกว่านั้นแล้วที่เวนเดอร์ ผู้ให้คำปรึกษา ตลอดไปจนถึงลูกค้าของพวกเขาได้พูดคุยกันในแง่ของโครงสร้างข้อมูลหรือ Data Fabric ถ้าหาก “Big Data (ข้อมูลขนาดใหญ่)” เป็นปัญหาที่ต้องแก้ไข Data Fabric ก็แนะนำทางแก้ไว้เสร็จสรรพแล้ว John Mashey (จอห์น แมชีย์) หัวหน้านักวิทยาศาสตร์ที่ Silicon Graphics ใช้ศัพท์คำว่า “Big Data” เพื่อบรรยายถึงชุดข้อมูลขนาดใหญ่ที่ไม่มีโครงสร้างและผลกระทบที่ของมันมีต่อโครงสร้างพื้นฐานในสไลด์นำเสนอในปี 1998 อีกทั้ง Apache Hadoop ได้รับความนิยมขึ้นมาหลังจากวิศวกรคนหนึ่งที่ New York Times ได้เขียนบล็อกในปี 2009 เกี่ยวกับการผสมผสาน PDF แบบอัตโนมัติโดยใช้ Hadoop ( Big Data และทางเเก้ไข ) ศัพท์คำว่า “Data Lake” เริ่มมาเป็นที่นิยมในต้นทศวรรษ 2010 เพื่อบรรยายถึงวิธีที่ไม่เป็นทางการในการทำให้ทีมวิเคราะห์สามารถเข้าถึงข้อมูลหลายประเภทได้ Data Lake ช่วงแรก ๆ เกี่ยวข้องกับคลังแบบกระจายตามแนวทางของ Hadoop สำหรับการวิเคราะห์ที่เรียบง่าย (10000 โหนดคลัสเตอร์ของ Yahoo ซึ่งได้แรงบันดาลใจจากการเก็บข้อมูลแบบกระจายภายในช่วงแรก ๆ ของ Google ) แต่เมื่อองค์กรเพิกเฉยต่อ Data Lake ของพวกเขา นักวิจารณ์จึงรีบเรียกมันว่า “Data Swamp” แต่การใช้ Data Lake ยังคงมีต่อไปไม่น้อยลงเลย อาจเพราะว่า Data warehouse ก็มักไม่ได้รับการดูแลอย่างดีเช่นกัน Data Fabric ในปี 2014 SAP ใช้ “In-memory Data Fabric” เพื่ออธิบายถึงคลังข้อมูลออนไลน์ ซึ่งเป็นองค์ประกอบหลักของสายผลิตภัณฑ์ “360-degree Customer View ” จาก HANA ทุกวันนี้ Gartner ก็ใช้ศัพท์คำว่า “Data Fabric” เพื่อหมายถึงวิธีครบวงจรของการผสมผสานข้อมูลที่ต่างชนิดกัน เมื่ออ้างอิงจากโพสต์ในปี 2021 เรื่องสถาปัตยกรรม Data Fabric: “[Data Fabric] คือแนวความคิดซึ่งทำหน้าที่เป็นข้อมูลหลายระดับชั้น (Fabric) ซึ่งผสมผสานกันและเป็นกระบวนการที่เชื่อมโยงกัน Data Fabric ใช้ประโยชน์จากการวิเคราะห์ Metadata Asset ที่มีอยู่ ค้นพบได้ อนุมานได้ อย่างต่อเนื่อง เพื่อสนับสนุนการออกแบบ การจัดสรร และการใช้ข้อมูลที่ผสมผสานและใช้ซ้ำใหม่ในเงื่อนไขต่าง ๆ ได้ ซึ่งรวมไปถึงแพลตฟอร์มไฮบริดและ Multi-cloud อีกด้วย “Data Fabric ใช้ประโยชน์จากศักยภาพของทั้งมนุษย์และเครื่องจักรเพื่อเข้าถึงข้อมูลที่มีอยู่ อีกทั้งยังระบุและเชื่อมโยงข้อมูลจากการใช้งานที่แตกต่างกันเพื่อค้นพบความสัมพันธ์เชิงธุรกิจใหม่ ๆ ระหว่าง Data Point ที่มีอยู่” Gartner เผยแพร่รายงานเรื่องการบริหารข้อมูลของ “AI-enabled” และทิศทางการเปลี่ยนแปลงของการบริหารข้อมูล “Data Fabric” จึงกลายมาเป็นวิธีลัดสำหรับเทคนิคการบริหารข้อมูลที่สมัยใหม่ที่มีศักยภาพมากกว่า Data Mesh Zhamak Dehghani (ซามัค เดคานี) ผู้อำนวยการฝ่ายเทคโนโลยีอุบัติใหม่ที่ Thoughtworks กับทีมงานของเธอ คิดค้นแนวคิดของ “Data Mesh” ขึ้นมาว่าเป็นอีกทางเลือกหนึ่งของคลังข้อมูลและ Data Lake ซึ่งเชื่อมกับโดเมนและเป็นแบบกระจาย ี่ Thoughtworks เปรียบเปรยว่าการใช้งานนั้นเป็นเหมือน Data Plane สองอัน-อันหนึ่งเป็นฝ่ายปฏิบัติการและอีกอันเป็นฝ่ายวิเคราะห์ แนวคิดเรื่อง Data Mesh ของ Thoughtworks มุ่งเน้นที่วิธีที่ใช้โดเมนมากกว่าวิธี Monolithic ของสถาปัตยกรรมเชิงวิเคราะห์ เจ้าของ Domain Data ต้องรับผิดชอบต่อการมอบข้อมูลที่กลายเป็นผลิตภัณฑ์ให้กับผู้ใช้งาน “ข้อมูลในฐานะผลิตภัณฑ์” หมายความว่าข้อมูลที่ให้นั้นต้องมีคุณภาพ สมบูรณ์ สภาพพร้อมใช้งานและอื่น ๆ ที่จำเป็นสำหรับผู้ใช้ที่จะสามารถพึ่งพามันได้ ตามมุมมองนี้ ผลิตภัณฑ์ข้อมูลคือ “Architectural Quantum หรือควอนตัมคอมพิวเตอร์เชิงสถาปัตยกรรม” ผลิตภัณฑ์นี้เป็นหน่วยสถาปัตยกรรมที่เล็กที่สุดที่สามารถทำงานด้วยกันได้ดีด้วยตัวมันเอง ด้วยเหตุผลนี้แต่ละผลิตภัณฑ์จึงมีรหัส ข้อมูล Metadata และโครงสร้างพื้นฐานรวมอยู่ด้วย เป้าหมายที่ครอบคลุมของแพลตฟอร์ม Data Mesh ซึ่งประกอบด้วยควอนตัมคอมพิวเตอร์เฉพาะโดเมนเหล่านี้คือการวิเคราะห์ตนเองแบบที่สามารถวัดได้ แต่ละแพลตฟอร์มจะมี 3 เพลน (Plane) ได้แก่ เพลนสำหรับการจัดสรรโครงสร้างพื้นฐาน เพลนสำหรับประสบการณ์ของผู้พัฒนา และเพลนสำหรับการดูแลงาน นอกจากนี้ Thoughtworks ยังมีวิสัยทัศน์ถึงระบบการกำกับดูแลแบบศูนย์รวมที่ซับซ้อนในการบริหารนโยบายต่าง ๆ ตลอดทั่วแพลตฟอร์ม แนวคิดเรื่อง Data Mesh ยังอยู่ในระยะเริ่มต้น วิสาหกิจผู้ทำความเข้าใจเรื่อง Data Mesh บอกว่า Data Mesh ไม่ใช่จุดหมายปลายทางแต่เป็นการเดินทางมากกว่า ความพยายามในช่วงแรกมักใช้ไปกับการค้นคว้า หาวิธีที่จะนำไปใช้ให้เกิดประโยชน์ที่สุด และจัดสรรทรัพยากรที่ Data Mesh จำเป็นต้องใช้ Tareq Abedrabbo (ทาเรค อะเบดรับโบ) หัวหน้าวิศวกรข้อมูลหลักของผู้ให้บริการแพลตฟอร์มแลกเปลี่ยน CMC Markets อธิบายในการสัมภาษณ์กับ InfoQ ถึงความท้าทายของการค้นหาข้อมูลที่ CMC ต้องเผชิญเมื่อใช้ Data Mesh ตัวอย่างเช่น ตามหลักการแล้วข้อมูลต้องกระจายออกจากศูนย์กลาง แต่วิธีการอย่างเช่น SQL กลับจำเป็นต้องมีการรวมข้อมูลสู่ศูนย์กลาง Knowledge Graph ศัพท์คำว่า Knowledge Graph เริ่มได้รับความนิยมตั้งแต่เมื่อ Google บัญญัติขึ้นมาในปี 2012 ตลอดทศวรรษที่ผ่านมา มากกว่า 90 เปอร์เซ็นต์ของบริษัททางเทคโนโลยียักษ์ใหญ่ของโลกได้สร้างและใช้ Knowledge Graph ตั้งแต่ผู้นำในวงการเภสัช รัฐบาล บริการการเงิน การผลิต และร้านค้าออนไลน์ต่างก็ใช้ Knowledge Graph การใช้ Knowledge Graph ที่พบบ่อยและโดนเด่นที่สุดคือการใช้วิวัฒนาการของเทคโนโลยี Semantic Web Stack (การซ้อนกันของเว็บความหมาย) ซึ่งถูกพัฒนาและปรับปรุงมามากกว่าสองทศวรรษ แรงบันดาลใจดั้งเดิมของ Tim Berners-Lee สำหรับ Semantic Web คือให้เป็น “Web of Data (เครือข่ายข้อมูล)” โดยมีเนื้อหา, การนิยามความหมาย (ontologies) และข้อมูลเชิงสัมพันธ์รวมไว้อยู่ใน Entity เดียวกัน + ความสัมพันธ์หรือลักษณะที่มีภาคประธาน ภาคแสดง ภาคกรรมพ่วงมา นอกจากนี้ยังมีการวางกรอบความคิดอื่น...

30 July 2022

Movements

อุตุนิยมวิทยา (Meteorology) กับการแลกเปลี่ยนข้อมูลตรวจอากาศก่อนยุคแห่งบิ๊กดาต้า

อุตุนิยมวิทยากับการแลกเปลี่ยนข้อมูลตรวจอากาศก่อนยุคแห่งบิ๊กดาต้า Meteorology and the exchange of weather data before the Bigdata era

29 July 2022

Big Data 101

เทคโนโลยี Remote Sensing (Geospatial Big Data) กับงานประยุกต์ด้านต่าง ๆ

Remote Sensing หรือ การสำรวจระยะไกล เป็นกระบวนการในการตรวจจับและตรวจสอบลักษณะทางกายภาพของพื้นที่โดยการวัดรังสีที่สะท้อน และที่ปล่อยออกมาจากระยะไกล (โดยทั่วไปมาจากดาวเทียมเครื่องบิน หรือ Drone) กล้องที่มีคุณสมบัติพิเศษจะทำการถ่ายภาพจากระยะไกล ซึ่งช่วยให้เราทราบสิ่งต่าง ๆ ที่เกิดขึ้นบนโลกได้ เพราะกล้องบนดาวเทียม สามารถถ่ายภาพพื้นที่บริเวณกว้าง ทำให้มองเห็นอะไรได้มากกว่าการยืนอยู่บนพื้น และนี่คือตัวอย่างของการนำข้อมูลภาพดาวเทียมไปใช้ในงานประยุกต์ต่าง ๆ เช่น กล้องที่มีคุณสมบัติพิเศษบนดาวเทียม จะทำให้ได้ข้อมูลที่มีคุณลักษณะแตกต่างไปจากกล้องถ่ายภาพธรรมดาที่เราใช้กันทั่วไป หากพูดถึงกล้องถ่ายภาพปกติ จะให้ข้อมูลจำนวน 3 แบนด์ (Red, Green, Blue) และ โดยปกติข้อมูลจะถูกบีบอัดและจัดเก็บในรูปแบบบิต (8-14 บิตขึ้นอยู่กับสเปคของกล้อง) ในแต่ละแบนด์ แต่หากพิจารณาข้อมูลดาวเทียม จะมีคุณสมบัติที่แตกต่างออกไป มีความพิเศษมากกว่า เนื่องจากเป็นการถ่ายภาพจากระยะไกล ทำให้ต้องเอาชนะทั้งในเรื่องของ ระยะทาง และ สิ่งรบกวนต่าง ๆ ที่อาจเกิดขึ้นในชั้นบรรยากาศ ในการเลือกข้อมูลจากดาวเทียมไปใช้งานประยุกต์ สามารถพิจารณาจากเรื่องพื้นฐานอันหนึ่ง คือ Resolutions หรือ ความละเอียด นั่นเอง สามารถแบ่งได้เป็น 4 ประเภทได้แก่ Spatial, Spectral, Radiometric และ Temporal 1. Spatial Resolution (ความละเอียดเชิงพื้นที่)จะเป็นอันที่ เราคุ้นเคยมากที่สุด เช่น ความละเอียดเชิงพื้นที่ 10 meters (m) หมายถึง ข้อมูลนั้น แสดงวัตถุขนาด 10 x 10 sq.m. ด้วย 1 จุดภาพ (Pixel) หรือ หากเปรียบเทียบกับข้อมูลอีกชุดหนึ่งที่ความละเอียดเชิงพื้นที่ 1 m. ก็จะเป็นข้อมูลที่ละเอียดมากกว่า เมื่อเทียบกับ 10 m. ตัวอย่าง ข้อมูลที่มีความละเอียดเชิงพื้นที่สูง (50 cm) นำมาใช้ในงานเกี่ยวกับด้านความมั่นคง ที่ต้องการเห็นรายละเอียดของวัตถุ เช่น เครื่องบินรบ รถยนต์ของผู้ก่อการร้าย 2. Spectral Resolution (ความละเอียดเชิงสเปคตรัม)คือ ช่วงความยาวคลื่นที่ข้อมูลแต่ละชุดสามารถบ่งบอกได้ หรือ จำนวนแบนด์ของข้อมูลนั่นเอง เช่น มีแบนด์ NIR, Red, Green, Blue เรียกว่า Multi-Spectral หรือ มีแบนด์เป็นจำนวนหลักร้อย เรียกว่า Hyper-Spectral เหตุผลที่กล้องบนดาวเทียมมีจำนวนแบนด์มากกว่ากล้องถ่ายภาพปกติ เนื่องจากระยะทางที่ไกล และ หากต้องการตรวจจับวัตถุบนพื้นโลก เช่น พื้นที่เกษตรกรรม กับ มหาสมุทร การมีหลายแบนด์ทำให้สามารถสร้าง Signature ของวัตถุต่าง ๆ ได้มีประสิทธิภาพมากกว่า 3. Radiometric Resolution (ความละเอียดเชิงรังสี)คือ ความละเอียดของข้อมูลดาวเทียม ที่แบ่งระดับการแยกแยะความเข้ม ในแต่ละแบนด์ ตัวอย่างของรูปภาพจากกล้องปกติ คือ ข้อมูล 8 บิต แสดงค่าที่แตกต่างได้ 2^8 = 256 ระดับ สำหรับข้อมูลดาวเทียม เช่น Landsat 8 อาจมีข้อมูลแบบ 16 บิต แสดงค่าได้ 2^16 = 65,536 ระดับ ในกรณีนี้ จำนวนบิตที่มาก จะแยกแยะความเข้มได้ละเอียดมากกว่านั่นเอง 4. Temporal Resolution (ความละเอียดเชิงเวลา)ข้อมูลภาพดาวเทียม จะถูกถ่าย ณ ช่วงเวลาหนึ่ง ค่า Temporal Resolution จะเป็นการวัดช่วงเวลาที่จะได้ข้อมูลพื้นที่บริเวณเดิมอีกครั้ง บางครั้ง เรียกว่า “Return time” หรือ “Revisit time” เป็นเวลาที่ Satellite นั้น สามารถโคจรกลับมาถ่ายภาพ ณ บริเวณเดิมได้ พิจารณาข้อมูล Satellite อันหนึ่ง ซึ่งมีข้อมูลทุก 16 วัน เปรียบเทียบกับข้อมูลอีกชุดหนึ่ง มีข้อมูลทุก ๆ วัน ข้อมูลชุดที่มีทุกวัน จะมีความละเอียดเชิงเวลาที่มากกว่า หากมีความเข้าใจเรื่องพื้นฐานเหล่านี้แล้ว เราก็สามารถเลือกใช้ข้อมูล ในแต่ละงานประยุกต์ได้อย่างเหมาะสม เช่น เหตุการณ์น้ำท่วม ที่ต้องบริหารจัดการแบบรายวัน ก็เลือกข้อมูลดาวเทียมที่มีความละเอียดรายวัน การประเมินพื้นที่ป่าไม้ที่หายไป ซึ่งดูการเปลี่ยนแปลงในรอบหลาย ๆ สิบปี ก็ไม่ต้องการความละเอียดเชิงเวลา และ พื้นที่ สูงมากนัก เป็นต้น จะเห็นได้ว่าในแง่ของข้อมูล ถือได้ว่าเป็น (Geospatial) Big Data อันหนึ่ง ในปัจจุบันมีงานวิจัยเกี่ยวกับ Remote Sensing โดยใช้ Machine Learning หรือ Deep Learning Algorithms [3] เป็นจำนวนมาก และ มีข้อมูล Open Data ที่นิยมใช้อย่างเช่น Landsat, MODIS, Sentinel, ฯลฯ [4] ข้อมูลอ้างอิง เนื้อหาโดย ดร.นรุตม์ สุนทรานนท์ตรวจทานและปรับปรุงโดย นววิทย์ พงศ์อนันต์

29 June 2022

รู้จัก BDI

Organization

Policy and Plan

Personnel

Operations

Navavit Ponganan

บทความทั้งหมด

All Articles

สถาบันข้อมูลขนาดใหญ่ (องค์การมหาชน)

Big Data Institute (Public Organization)

234/432 Soi Lat Phrao 12, Chomphon, Chatuchak, Bangkok 10900, Thailand

Contact Us

Quick Link

About Us

© Big Data Institute | Privacy Policy