ใช้ Claude ของ Anthropic บน Amazon Bedrock เพื่อประมวลผลเอกสารขั้นสูง

Streamlining Document Analysis with Amazon Bedrock and Claude

เอกสารทางวิทยาศาสตร์และวิศวกรรมมักจะนำเสนอข้อมูลที่หนาแน่น รวมถึงสูตรคณิตศาสตร์ที่ซับซ้อน แผนภูมิที่มีรายละเอียด และกราฟที่ซับซ้อน การดึงข้อมูลเชิงลึกที่มีความหมายจากเอกสารเหล่านี้อาจเป็นอุปสรรคสำคัญ ซึ่งต้องใช้เวลาและความพยายามอย่างมาก โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับชุดข้อมูลขนาดใหญ่ การเกิดขึ้นของ AI เชิงกำเนิดแบบหลายโมดอล (multi-modal generative AI) ซึ่งแสดงให้เห็นโดย Claude ของ Anthropic ที่มีอยู่บน Amazon Bedrock นำเสนอโซลูชันที่เปลี่ยนแปลงไปสำหรับความท้าทายนี้ แนวทางนี้ช่วยให้สามารถจัดทำดัชนีและติดแท็กเอกสารทางเทคนิคโดยอัตโนมัติ ปรับปรุงการประมวลผลสูตรทางวิทยาศาสตร์และการแสดงข้อมูลเป็นภาพ และทำให้สามารถเติมฐานความรู้ Amazon Bedrock ด้วยเมตาดาต้าที่ครอบคลุม

Amazon Bedrock มี API แบบรวมศูนย์สำหรับการเข้าถึงและใช้ประโยชน์จาก foundation models (FMs) ประสิทธิภาพสูงจากผู้ให้บริการ AI ชั้นนำ บริการที่มีการจัดการเต็มรูปแบบนี้ช่วยลดความยุ่งยากในการพัฒนาแอปพลิเคชัน AI เชิงกำเนิด โดยเน้นที่ความปลอดภัย ความเป็นส่วนตัว และแนวทางปฏิบัติ AI ที่มีความรับผิดชอบ โดยเฉพาะอย่างยิ่ง Claude 3 Sonnet ของ Anthropic โดดเด่นด้วยความสามารถด้านการมองเห็นที่ยอดเยี่ยม เหนือกว่ารุ่นชั้นนำอื่นๆ ในระดับเดียวกัน จุดแข็งที่สำคัญของ Claude 3 Sonnet อยู่ที่ความสามารถในการถอดความข้อความจากรูปภาพได้อย่างแม่นยำ แม้กระทั่งรูปภาพที่มีคุณภาพไม่สมบูรณ์ ความสามารถนี้มีนัยสำคัญสำหรับภาคส่วนต่างๆ เช่น การค้าปลีก โลจิสติกส์ และบริการทางการเงิน ซึ่งข้อมูลเชิงลึกที่สำคัญอาจฝังอยู่ภายในรูปภาพ กราฟิก หรือภาพประกอบ ซึ่งเกินกว่าข้อมูลที่มีอยู่ในข้อความเพียงอย่างเดียว รุ่นล่าสุดของ Claude ของ Anthropic แสดงให้เห็นถึงความเชี่ยวชาญที่โดดเด่นในการทำความเข้าใจรูปแบบภาพที่หลากหลาย ซึ่งครอบคลุมภาพถ่าย แผนภูมิ กราฟ และไดอะแกรมทางเทคนิค ความสามารถรอบด้านนี้ปลดล็อกแอปพลิเคชันมากมาย รวมถึงการดึงข้อมูลเชิงลึกที่ลึกซึ้งยิ่งขึ้นจากเอกสาร การประมวลผลส่วนต่อประสานผู้ใช้บนเว็บและเอกสารผลิตภัณฑ์ที่ครอบคลุม การสร้างเมตาดาต้าแคตตาล็อกรูปภาพ และอื่นๆ อีกมากมาย

การสนทนานี้จะสำรวจการประยุกต์ใช้จริงของ AI เชิงกำเนิดแบบหลายโมดอลเหล่านี้เพื่อเพิ่มประสิทธิภาพการจัดการเอกสารทางเทคนิค ด้วยการแยกและจัดโครงสร้างข้อมูลสำคัญจากแหล่งข้อมูลอย่างเป็นระบบ โมเดลเหล่านี้อำนวยความสะดวกในการสร้างฐานความรู้ที่สามารถค้นหาได้ ฐานความรู้นี้ช่วยให้ผู้ใช้สามารถค้นหาข้อมูลเฉพาะ สูตร และการแสดงภาพที่เกี่ยวข้องกับงานของตนได้อย่างรวดเร็ว ด้วยเนื้อหาเอกสารที่จัดระเบียบอย่างพิถีพิถัน นักวิจัยและวิศวกรสามารถเข้าถึงความสามารถในการค้นหาขั้นสูง ทำให้พวกเขาสามารถระบุข้อมูลที่เกี่ยวข้องมากที่สุดสำหรับข้อสงสัยเฉพาะของตนได้ สิ่งนี้นำไปสู่การเร่งความเร็วของเวิร์กโฟลว์การวิจัยและพัฒนาอย่างมาก ปลดปล่อยผู้เชี่ยวชาญจากงานที่ต้องใช้แรงงานมากในการกลั่นกรองข้อมูลที่ไม่มีโครงสร้างจำนวนมากด้วยตนเอง

โซลูชันนี้เน้นย้ำถึงศักยภาพในการเปลี่ยนแปลงของ AI เชิงกำเนิดแบบหลายโมดอลในการจัดการกับความท้าทายเฉพาะที่ชุมชนวิทยาศาสตร์และวิศวกรรมต้องเผชิญด้วยการจัดทำดัชนีและติดแท็กเอกสารทางเทคนิคโดยอัตโนมัติ โมเดลอันทรงพลังเหล่านี้มีส่วนช่วยในการจัดการความรู้ที่มีประสิทธิภาพมากขึ้นและส่งเสริมนวัตกรรมในหลากหลายอุตสาหกรรม

Leveraging Supporting Services for a Comprehensive Solution

นอกเหนือจาก Claude ของ Anthropic บน Amazon Bedrock แล้ว โซลูชันนี้ยังรวมบริการหลักอื่นๆ อีกหลายอย่าง:

• Amazon SageMaker JupyterLab: สภาพแวดล้อมการพัฒนาแบบโต้ตอบบนเว็บ (IDE) นี้ได้รับการปรับแต่งสำหรับโน้ตบุ๊ก โค้ด และข้อมูล แอปพลิเคชัน SageMaker JupyterLab มีอินเทอร์เฟซที่ยืดหยุ่นและกว้างขวาง อำนวยความสะดวกในการกำหนดค่าและการจัดเรียงเวิร์กโฟลว์แมชชีนเลิร์นนิง (ML) ภายในโซลูชันนี้ JupyterLab ทำหน้าที่เป็นแพลตฟอร์มสำหรับการรันโค้ดที่รับผิดชอบในการประมวลผลสูตรและแผนภูมิ

• Amazon Simple Storage Service (Amazon S3): Amazon S3 ให้บริการพื้นที่จัดเก็บอ็อบเจกต์ที่แข็งแกร่งซึ่งออกแบบมาเพื่อการจัดเก็บและการป้องกันข้อมูลจำนวนเท่าใดก็ได้ ในบริบทนี้ Amazon S3 ใช้เพื่อจัดเก็บเอกสารตัวอย่างที่เป็นพื้นฐานของโซลูชันนี้

• AWS Lambda: AWS Lambda เป็นบริการประมวลผลที่รันโค้ดเพื่อตอบสนองต่อทริกเกอร์ที่กำหนดไว้ล่วงหน้า เช่น การแก้ไขข้อมูล การเปลี่ยนแปลงสถานะแอปพลิเคชัน หรือการกระทำของผู้ใช้ ความสามารถของบริการต่างๆ เช่น Amazon S3 และ Amazon Simple Notification Service (Amazon SNS) ในการทริกเกอร์ฟังก์ชัน Lambda โดยตรง ทำให้สามารถสร้างระบบประมวลผลข้อมูลแบบเรียลไทม์แบบไร้เซิร์ฟเวอร์ที่หลากหลาย

A Step-by-Step Workflow for Document Processing

เวิร์กโฟลว์ของโซลูชันมีโครงสร้างดังนี้:

1. Document Segmentation: ขั้นตอนเริ่มต้นเกี่ยวข้องกับการแบ่งเอกสาร PDF ออกเป็นแต่ละหน้า ซึ่งจะถูกบันทึกเป็นไฟล์ PNG สิ่งนี้อำนวยความสะดวกในการประมวลผลต่อหน้าในภายหลัง

2. Per-Page Analysis: สำหรับแต่ละหน้า จะมีการดำเนินการหลายอย่าง:

   1. Text Extraction: เนื้อหาข้อความต้นฉบับของหน้าจะถูกแยกออกมา
   2. Formula Rendering: สูตรจะถูกแสดงผลในรูปแบบ LaTeX เพื่อให้แน่ใจว่ามีการแสดงที่ถูกต้อง
   3. Formula Description (Semantic): คำอธิบายความหมายของแต่ละสูตรจะถูกสร้างขึ้น โดยจับความหมายและบริบท
   4. Formula Explanation: คำอธิบายโดยละเอียดของแต่ละสูตรมีให้ โดยชี้แจงวัตถุประสงค์และฟังก์ชันการทำงาน
   5. Graph Description (Semantic): คำอธิบายความหมายของแต่ละกราฟจะถูกสร้างขึ้น โดยสรุปคุณสมบัติหลักและการแสดงข้อมูล
   6. Graph Interpretation: การตีความของแต่ละกราฟมีให้ โดยอธิบายแนวโน้ม รูปแบบ และข้อมูลเชิงลึกที่สื่อถึง
   7. Page Metadata Generation: เมตาดาต้าเฉพาะสำหรับหน้าจะถูกสร้างขึ้น ซึ่งครอบคลุมข้อมูลที่เกี่ยวข้องเกี่ยวกับเนื้อหา

3. Document-Level Metadata Generation: เมตาดาต้าถูกสร้างขึ้นสำหรับทั้งเอกสาร โดยให้ภาพรวมที่ครอบคลุมของเนื้อหา

4. Data Storage: เนื้อหาและเมตาดาต้าที่แยกออกมาจะถูกอัปโหลดไปยัง Amazon S3 เพื่อจัดเก็บอย่างถาวร

5. Knowledge Base Creation: ฐานความรู้ Amazon Bedrock ถูกสร้างขึ้น โดยใช้ประโยชน์จากข้อมูลที่ประมวลผลแล้วเพื่อเปิดใช้งานการค้นหาและการดึงข้อมูลที่มีประสิทธิภาพ

Utilizing arXiv Research Papers for Demonstration

เพื่อแสดงให้เห็นถึงความสามารถที่อธิบายไว้ จะใช้เอกสารงานวิจัยตัวอย่างจาก arXiv arXiv เป็นบริการเผยแพร่ฟรีและที่เก็บแบบเปิดที่ได้รับการยอมรับอย่างกว้างขวาง ซึ่งโฮสต์บทความทางวิชาการเกือบ 2.4 ล้านบทความในสาขาต่างๆ รวมถึงฟิสิกส์ คณิตศาสตร์ วิทยาการคอมพิวเตอร์ ชีววิทยาเชิงปริมาณ การเงินเชิงปริมาณ สถิติ วิศวกรรมไฟฟ้าและวิทยาศาสตร์ระบบ และเศรษฐศาสตร์

Extracting Formulas and Metadata with Anthropic’s Claude

เมื่อเอกสารรูปภาพพร้อมแล้ว Claude ของ Anthropic ซึ่งเข้าถึงได้ผ่าน Amazon Bedrock Converse API จะถูกใช้เพื่อแยกสูตรและเมตาดาต้า นอกจากนี้ Amazon Bedrock Converse API ยังสามารถใช้ประโยชน์เพื่อสร้างคำอธิบายภาษาธรรมดาของสูตรที่แยกออกมาได้ การรวมกันของความสามารถในการแยกสูตรและเมตาดาต้ากับ AI เชิงสนทนาทำให้เกิดโซลูชันแบบองค์รวมสำหรับการประมวลผลและทำความเข้าใจข้อมูลที่อยู่ในเอกสารรูปภาพ

Interpreting Graphs and Generating Summaries

ความสามารถที่สำคัญอีกประการหนึ่งของ AI เชิงกำเนิดแบบหลายโมดอลคือความสามารถในการตีความกราฟและสร้างบทสรุปและเมตาดาต้าที่สอดคล้องกัน ต่อไปนี้แสดงให้เห็นว่าเมตาดาต้าสำหรับแผนภูมิและกราฟสามารถรับได้อย่างไรผ่านการโต้ตอบภาษาธรรมชาติอย่างง่ายกับโมเดล

Generating Metadata for Enhanced Searchability

การใช้ประโยชน์จากการประมวลผลภาษาธรรมชาติ เมตาดาต้าสำหรับเอกสารงานวิจัยสามารถสร้างขึ้นเพื่อปรับปรุงความสามารถในการค้นหาได้อย่างมาก เมตาดาต้านี้ครอบคลุมแง่มุมที่สำคัญของเอกสาร ทำให้ง่ายต่อการค้นหาและดึงข้อมูลที่เกี่ยวข้อง

Creating an Amazon Bedrock Knowledge Base for Question Answering

ด้วยข้อมูลที่เตรียมไว้อย่างพิถีพิถัน รวมถึงสูตรที่แยกออกมา แผนภูมิที่วิเคราะห์ และเมตาดาต้าที่ครอบคลุม ฐานความรู้ Amazon Bedrock จะถูกสร้างขึ้น ฐานความรู้นี้แปลงข้อมูลให้เป็นทรัพยากรที่สามารถค้นหาได้ ทำให้สามารถตอบคำถามได้ สิ่งนี้อำนวยความสะดวกในการเข้าถึงความรู้ที่มีอยู่ในเอกสารที่ประมวลผลแล้วอย่างมีประสิทธิภาพ กระบวนการนี้จะทำซ้ำหลายครั้งเพื่อให้แน่ใจว่าฐานความรู้มีความแข็งแกร่งและครอบคลุม

Querying the Knowledge Base for Targeted Information Retrieval

ฐานความรู้สามารถสืบค้นเพื่อดึงข้อมูลเฉพาะจากเมตาดาต้าสูตรและกราฟที่แยกออกมาภายในเอกสารตัวอย่าง เมื่อได้รับแบบสอบถาม ระบบจะดึงส่วนของข้อความที่เกี่ยวข้องจากแหล่งข้อมูล จากนั้นจะมีการสร้างการตอบสนองตามส่วนที่ดึงมาเหล่านี้ เพื่อให้แน่ใจว่าคำตอบนั้นมีพื้นฐานมาจากเนื้อหาต้นฉบับโดยตรง ที่สำคัญ การตอบสนองยังอ้างอิงแหล่งที่มาที่เกี่ยวข้อง ให้ความโปร่งใสและการตรวจสอบย้อนกลับ

Accelerating Insights and Informed Decision-Making

กระบวนการดึงข้อมูลเชิงลึกจากเอกสารทางวิทยาศาสตร์ที่ซับซ้อนนั้นเป็นงานที่ต้องใช้แรงงานมาก อย่างไรก็ตาม การถือกำเนิดของ AI เชิงกำเนิดแบบหลายโมดอลได้เปลี่ยนแปลงโดเมนนี้โดยพื้นฐาน ด้วยการใช้ประโยชน์จากความเข้าใจภาษาธรรมชาติขั้นสูงและความสามารถในการรับรู้ภาพของ Claude ของ Anthropic ทำให้ตอนนี้สามารถแยกสูตรและข้อมูลจากแผนภูมิได้อย่างแม่นยำ นำไปสู่ข้อมูลเชิงลึกที่รวดเร็วและการตัดสินใจที่มีข้อมูลมากขึ้น

เทคโนโลยีนี้ช่วยให้นักวิจัย นักวิทยาศาสตร์ข้อมูล และนักพัฒนาที่ทำงานกับวรรณกรรมทางวิทยาศาสตร์สามารถเพิ่มประสิทธิภาพและแม่นยำได้อย่างมาก ด้วยการรวม Claude ของ Anthropic เข้ากับเวิร์กโฟลว์ของพวกเขาบน Amazon Bedrock พวกเขาสามารถประมวลผลเอกสารที่ซับซ้อนในวงกว้าง ปลดปล่อยเวลาและทรัพยากรอันมีค่าเพื่อมุ่งเน้นไปที่งานระดับสูงและค้นพบข้อมูลเชิงลึกที่มีค่าจากข้อมูลของพวกเขา ความสามารถในการทำงานอัตโนมัติในด้านที่น่าเบื่อของการวิเคราะห์เอกสารช่วยให้ผู้เชี่ยวชาญสามารถมุ่งเน้นไปที่ด้านกลยุทธ์และความคิดสร้างสรรค์ของงานของพวกเขาได้มากขึ้น ซึ่งท้ายที่สุดแล้วจะขับเคลื่อนนวัตกรรมและเร่งการค้นพบ