◎ ความท้าทาย：

การบันทึกภาพกลุ่มอาคารพระราชวังหลายหลังในพื้นที่ที่พลุกพล่านที่สุดแห่งหนึ่งของ Grand Duchy แห่ง Luxembourg ด้วยรายละเอียดที่เพียงพอสำหรับการใช้งาน VR/AR

◎ วิธีแก้ปัญหา：

Artec Ray II, AI Photogrammetry (Artec Studio)

◎ ผลลัพธ์：

แบบจำลอง 3 มิติที่สมจริงและสมบูรณ์แบบอย่างเหลือเชื่อ สำหรับจัดแสดงประวัติศาสตร์ของ Luxembourg ในงาน World Expo ที่โอซาก้า และแบ่งปันให้กับผู้เยี่ยมชมทั่วโลกผ่านแอปพลิเคชันเฉพาะ

◎ ทำไมต้อง Artec 3D ?：

Ray II สามารถติดตั้งใช้งานได้อย่างรวดเร็วและง่ายดายในระดับพื้นดิน เพื่อสแกนโครงสร้างขนาดใหญ่จากระยะไกลถึง 130 เมตร เทคโนโลยี AI Photogrammetry รองรับการถ่ายภาพและวิดีโอจากโดรน ในขณะที่ Artec Studio ช่วยให้สามารถรวมชุดข้อมูลทั้งสองเข้าด้วยกันเพื่อสร้างแบบจำลองที่มีรายละเอียดงดงาม

ในตอนแรก พวกเขาพยายามสร้างแบบจำลองดิจิทัลจากแบบจำลองพระราชวังที่ทำจากน้ำตาลโดยใช้เครื่องสแกน Artec Spider II ที่มีความละเอียดสูง แม้ว่ามันจะมีลักษณะที่สมจริงมาก (และ Spider II ก็เก็บรายละเอียดได้อย่างยอดเยี่ยม) แต่แบบจำลองนั้นขาดความแม่นยำทางเรขาคณิตที่จำเป็นในการสร้างแบบจำลอง 3 มิติแบบหนึ่งต่อหนึ่งที่แท้จริง

โดรน Artec Spider II สามารถจับภาพโมเดลพระราชวัง Grand Ducal แห่ง Luxembourg ที่ทำจากน้ำตาลได้

เมื่อวิธีลัดที่พวกเขาใช้ไม่ได้ผล ทีมงาน Artec จึงไม่มีทางเลือกอื่น: พวกเขาต้องไปสแกนพระราชวัง Grand Duke ด้วยตัวเอง ซึ่งก็มาพร้อมกับความท้าทายเช่นกัน เครื่องสแกน Artec Ray II นั้นยอดเยี่ยมในการจับภาพวัตถุและพื้นที่ขนาดใหญ่ อย่างไรก็ตาม การติดตั้งบนขาตั้งกล้องจำกัดสิ่งที่มัน “มองเห็น” จากด้านบน โชคดีที่ปัจจุบัน Artec Studio มีฟังก์ชันการถ่ายภาพสามมิติที่รองรับโดรนแล้ว

ปัญหาต่อไปคือวิธีการนำโดรนขึ้นบินในบริเวณสถานที่สำคัญทางประวัติศาสตร์ที่มีผู้คนพลุกพล่าน ซึ่งหมายความว่าต้องไปขออนุญาตจากที่ปรึกษาอาวุโสของพระราชวัง ซึ่งท่านก็สามารถขออนุญาตบินได้ สุดท้ายก็คือปัญหาเรื่องคนเดินเท้า สถานที่ท่องเที่ยวชื่อดังแห่งนี้มักเต็มไปด้วยผู้คนมากมาย ในการจับภาพ 3 มิติ นี่เป็นเรื่องที่ไม่ดี เพราะอาจทำให้รายละเอียดถูกบดบังและเกิดภาพเบลอจากการเคลื่อนไหว

แต่ด้วยเทคนิคการสแกนซ้ำอย่างระมัดระวัง ระบบ Visual Inertial System (VIS) ในตัวของ Ray II และอัลกอริธึมขั้นสูงภายใน Artec Studio ทีมงานจึงสามารถจับภาพโมเดล 3 มิติขนาดใหญ่แต่มีรายละเอียดสูงได้อย่างน่าทึ่ง พร้อมรูปลักษณ์ที่สมจริงสำหรับการใช้งาน VR แบบดื่มด่ำ

การสแกนที่ตรงไปตรงมา ให้ผลลัพธ์ที่ยอดเยี่ยม

ตามคำกล่าวของ Keynan Tenenboim หนึ่งในผู้เชี่ยวชาญด้านการสแกน 3 มิติที่อยู่เบื้องหลังโครงการนี้ การเก็บข้อมูลด้วย Ray II นั้นไม่ได้ยากอย่างที่คิด ระบบ VIS ของเครื่องช่วยให้สามารถติดตามตำแหน่งในพื้นที่ 3 มิติได้ หมายความว่าผู้ใช้เพียงแค่ต้องวางตำแหน่งอุปกรณ์เพื่อเก็บข้อมูลจากทุกมุม “งานของผมในภาคสนามก็คือการเคลื่อนเครื่องสแกนไปรอบ ๆ แล้วกดปุ่ม” Tenenboim กล่าว “ไม่มีทักษะอื่นใดเกี่ยวข้อง ผมสามารถมอบงานนี้ให้ใครก็ได้!”

ความท้าทายที่แท้จริงคือการสแกนจากระยะห่างที่เพียงพอเพื่อเก็บข้อมูลในขนาดที่ถูกต้อง Ray II สามารถทำความแม่นยำได้ถึง 1.9 มม. จากระยะห่างสิบเมตร แต่ถ้า Tenenboim เข้าใกล้มากเกินไป บางส่วนของสถาปัตยกรรมของพระราชวังจะบดบังส่วนอื่น ๆ ซึ่งหมายความว่าต้องถอยห่างออกไป – ไปอยู่ที่ระยะประมาณ 20 เมตร เพื่อให้โครงสร้างทั้งหมดอยู่ในสายตา และวนรอบบริเวณนั้น

แบบจำลอง 3 มิติขั้นสุดท้ายของพระราชวัง Grand Duke

ขณะที่เทเนนบอยม์กำลังสแกนด้วย Ray II เพื่อนร่วมงานของเขา Jerry Klein ก็กำลังบังคับโดรนบินสำรวจพื้นที่ แม้ว่าเขาจะได้รับอนุญาตให้บิน แต่นั่นก็ไม่ใช่เรื่องง่ายเลย พระราชวังล้อมรอบด้วยเครือข่ายถนนที่ซับซ้อน และความผิดพลาดในการนำทางเพียงเล็กน้อยก็อาจส่งผลเสียอย่างร้ายแรง อย่างไรก็ตาม แม้จะไม่ใช่นักบินที่มีประสบการณ์ Klein ก็สามารถบันทึกภาพเหตุการณ์ทั้งหมดได้

“การบังคับโดรนก็เหมือนกับการเล่นวิดีโอเกม มันไม่มีอะไรพิเศษ มันค่อนข้างใช้งานง่าย” Klein ธิบาย “ข้อดีของการถ่ายภาพคือคุณจะได้ภาพที่มีความละเอียดสูงกว่าและมีสัญญาณรบกวนน้อยกว่า ใน Artec Studio คุณยังสามารถสร้างแบบจำลอง 3 มิติจากวิดีโอได้ – ผมถ่ายทั้งสองแบบเพื่อความปลอดภัย เราสามารถใช้วิดีโอเพื่อให้ทำงานได้เร็วขึ้น และใช้ภาพถ่ายสำหรับส่วนที่ยากต่อการสร้างใหม่”

การรวมชุดข้อมูลต่าง ๆ ใน ​​Artec Studio

Artec Studio คือเครื่องมือแบบครบวงจรสำหรับการจับภาพ, ประมวลผล และรวมชุดข้อมูล 3 มิติที่ได้จากเครื่องสแกนแสงโครงสร้าง, เลเซอร์ และ LiDAR รวมถึงการถ่ายภาพทางอากาศ ในการรวมข้อมูลสแกน 3 มิติและภาพถ่าย/วิดีโอ ผู้ใช้จำเป็นต้องสร้างแบบจำลอง 3 มิติ (3D mesh) ก่อน เมื่อพูดถึงการรวมข้อมูลจาก Ray II ระบบ VIS ก็เป็นกุญแจสำคัญอีกครั้งในโครงการนี้ โดยช่วยลดขั้นตอนการจัดเรียงล่วงหน้าให้ง่ายขึ้น

“ระบบ VIS ของ Ray II จะจัดเรียงข้อมูลสแกนทั้งหมดโดยอัตโนมัติ ดังนั้นเมื่อคุณอัปโหลดข้อมูลไปยัง Artec Studio วัตถุทั้งหมดจะถูกจัดเรียงล่วงหน้าแล้ว” Tenenboim กล่าวเสริม “แทนที่จะเห็นข้อมูลสแกนที่แตกต่างกัน 100 รายการ คุณจะเห็นวัตถุเพียงชิ้นเดียวบนหน้าจอ สิ่งหนึ่งที่เราพยายามทำคือการติดตามและบำรุงรักษาระบบนี้ให้มากที่สุดเท่าที่จะเป็นไปได้”

Artec Ray II ตั้งอยู่ด้านนอกแหล่งมรดกทางวัฒนธรรม “Hollow Tooth” ในประเทศลักเซมเบิร์ก

การสร้างแบบจำลอง 3 มิติด้วย AI Photogrammetry นั้นแตกต่างออกไปเล็กน้อย แต่ก็ยังให้ผลลัพธ์ที่ยอดเยี่ยม อัลกอริทึมของ Artec Studio จะแปลงภาพถ่ายหรือวิดีโอให้เป็น “ภาพตัวอย่างแบบจำลอง” พร้อมกรอบขอบเขตที่ปรับได้ เมื่อระบุข้อมูลที่บันทึกไว้ที่จะใช้แล้ว ซอฟต์แวร์จะสร้างแบบจำลอง 3 มิติที่สมจริงแบบเรียลไทม์ ซึ่งสามารถผสานรวมกับแบบจำลองที่สร้างจากการสแกน 3 มิติเพื่อให้ได้รายละเอียดสูงในขนาดที่เหมาะสม

ภายใน Artec Studio ยังสามารถเติมช่องว่าง, ลบวัตถุที่เคลื่อนไหว, แมปพื้นผิว และลดจำนวนโพลีกอนของแบบจำลองได้อีกด้วย ทั้งหมดนี้ช่วยให้ผู้ใช้สามารถเพิ่มรายละเอียดได้ – และในกรณีของผู้เชี่ยวชาญด้านการสแกน 3 มิติของ Artec นั้น เป็นสิ่งสำคัญอย่างยิ่งในการสร้างแบบจำลองที่มีน้ำหนักเบาสำหรับกรณีการใช้งาน VR

เปิดรับการอนุรักษ์มรดกทางวัฒนธรรมยุคใหม่

ด้วยการผสานรวมเทคโนโลยี Ray II, AI Photogrammetry และอุปกรณ์พกพาอย่าง Artec Leo แบบไร้สาย ทีมงานจึงสามารถสร้างแบบจำลองดิจิทัลของสถานที่สำคัญอื่น ๆ สำหรับศาลาลักเซมเบิร์กได้สำเร็จ ซึ่งรวมถึง “Hollow Tooth” สถานที่มรดกโลกของ UNESCO ที่มีหน้าผาอยู่ด้านหนึ่ง ซึ่งต้องใช้โดรนในการสร้าง และข้อมูลจากโดรนก็ถูกผสานรวมกับข้อมูลการสแกนจาก Ray II อีกครั้ง เพื่อสร้างแบบจำลองที่บันทึกภาพจากทุกมุม

นอกจากแบบจำลองอื่น ๆ ที่สร้างขึ้นอย่างสวยงามแล้ว ปัจจุบัน Hollow Tooth สามารถรับชมได้ผ่านแอปพลิเคชัน Osaka Expo ซึ่งเป็นการนำประวัติศาสตร์ของประเทศไปสู่ผู้ชมกลุ่มใหม่ ๆ ที่จริงแล้ว ผู้เข้าชมงาน expo เองก็สามารถเข้าร่วมกับผู้ที่รับชมจากระยะไกลเพื่อ “เที่ยวชม” สถานที่สำคัญทางประวัติศาสตร์ต่าง ๆ ในรูปแบบ VR ได้เช่นกัน

แบบจำลอง 3 มิติของ Hollow Tooth ที่สร้างขึ้นด้วยเทคโนโลยี Ray II และ AI Photogrammetry

ไคลน์มองเห็นศักยภาพที่สำคัญของแนวทางนี้ ไม่เพียงแต่ในการอนุรักษ์มรดกทางวัฒนธรรมเท่านั้น แต่ยังรวมถึงการใช้งานขนาดใหญ่อื่น ๆ ที่เครื่องสแกน 3 มิติและโฟโตแกรมเมตรีที่แตกต่างกันสามารถมอบความแม่นยำสูงอย่างเหลือเชื่อและการเก็บรายละเอียดในขนาดที่เหมาะสม: เป็นการรวมข้อดีของทั้งสองโลกเข้าด้วยกัน

“ผมมองเห็นว่าแนวทางนี้สามารถนำไปใช้ได้ทุกที่ ตั้งแต่อุตสาหกรรมภาพยนตร์ฮอลลีวูดไปจนถึงวิดีโอเกม ทุกที่ที่คุณไม่สนใจรูปทรงเรขาคณิต แต่สนใจพื้นผิวมากกว่า” Klein สรุป “เนื่องจากคุณสามารถรวมทั้งการสแกน 3 มิติและโฟโตแกรมเมตรีเข้าด้วยกัน คุณจึงได้ทั้งรูปทรงเรขาคณิตที่ดีและพื้นผิวที่มีความละเอียดสูง นั่นมีประโยชน์มาก คุณไม่ต้องเลือก!”

Artec 3D รู้สึกเป็นเกียรติที่ได้มีส่วนร่วมในการสร้างศาลาลักเซมเบิร์กในโอซาก้า