ข้อมูลและสเปรดชีต · CSV สะอาดยิ่งขึ้น
RFC 4180 อธิบาย: สิ่งที่ใกล้เคียงที่สุด CSV ต้องเป็นไปตามมาตรฐานอย่างเป็นทางการ
· พื้นหลัง
เผยแพร่โดย ToolAcre บทวิจารณ์เพิ่มเติม
csv อาร์เอฟซี-4180 ข้อมูลรูปแบบ

CSV ดำรงอยู่มานานหลายทศวรรษก่อนที่ใครจะจดบันทึกไว้ โพสต์นี้กล่าวถึง RFC 4180 ว่าจริงๆ แล้วโพสต์กล่าวถึงอะไรเกี่ยวกับตัวคั่น การอ้างอิง การลงท้ายบรรทัดและส่วนหัว และเหตุใดไฟล์ในโลกแห่งความเป็นจริงจึงยังคงเพิกเฉยต่อโพสต์นี้
ไฟล์ CSV ที่ 'ถูกต้อง' สองไฟล์ที่ไม่มี parser ใดอ่านได้อย่างถูกต้อง - เหตุใดรูปแบบจึงขยายมานานหลายทศวรรษโดยไม่มีมาตรฐาน
ไฟล์สองไฟล์สามารถมีนามสกุล .csv ได้ ในขณะที่ไฟล์หนึ่งใช้อัฒภาค อีกแท็บ และแต่ละไฟล์ใช้เครื่องหมายคำพูดต่างกัน parser ต้องรู้ภาษาถิ่นก่อนที่เครื่องหมายวรรคตอนจะกลายเป็นโครงสร้าง ToolAcre เริ่มต้นด้วยตัวเลือกสี่ตัวและคะแนนแยกวิเคราะห์รูปร่างตัวอย่างแทนที่จะเชื่อถือส่วนขยาย
ความยืดหยุ่นนั้นอธิบายได้ว่าเหตุใด “valid CSV” จึงมักเป็นคำอธิบายที่ไม่สมบูรณ์ อุปกรณ์ทำความสะอาดสามารถยอมรับการเบี่ยงเบนทั่วไป จากนั้นจึงจัดลำดับผลลัพธ์ที่สอดคล้องกัน ลักษณะการทำงานของมันถูกกำหนดโดยการกำหนดค่าและการทดสอบ ทำให้สัญญามีประโยชน์มากกว่าการที่ผู้ผลิตทุกรายปฏิบัติตามบันทึกช่วยจำเดียวอย่างสมบูรณ์
RFC 4180 คืออะไร — บันทึกข้อมูลจาก 2005 ที่บันทึกแนวทางปฏิบัติทั่วไป ไม่ใช่มาตรฐานที่มีผลผูกพัน
พื้นที่เก็บข้อมูลตั้งชื่อซ้ำๆ ว่า RFC 4180 เป็นรูปแบบเอาต์พุต แต่ไม่ใช่แหล่งที่มาสำหรับการอ้างสิทธิ์ในอดีตเกี่ยวกับวันที่ของบันทึกช่วยจำหรือสถานะทางกฎหมาย บทความนี้จึงมุ่งเน้นไปที่กฎต่างๆ ที่รวมอยู่ในการดำเนินการ: การสิ้นสุดบันทึก การอ้างอิง ความกว้างของส่วนหัว และการจัดการตัวคั่น
เมื่อประวัติศาสตร์มาตรฐานภายนอกมีความสำคัญ ให้อ้างอิงสิ่งพิมพ์หลักแยกต่างหาก สำหรับการใช้ ToolAcre หลักฐานที่เกี่ยวข้องอยู่ในเครื่อง: ค่าเริ่มต้นของโค้ดคือ CRLF เสนอราคาอักขระโครงสร้าง เพิ่มเครื่องหมายคำพูดภายในเป็นสองเท่า และรายงานแถวที่มีความกว้างแตกต่างจากส่วนหัว
หลักฐานที่เก็บข้อมูลใช้ RFC 4180 เป็นแบบแผนเป้าหมาย ประวัติการตีพิมพ์อยู่นอกชุดแหล่งที่มา
เป้าหมายที่กำหนดค่าจะอธิบายเอาต์พุตที่คั่นด้วยเครื่องหมายจุลภาค การสิ้นสุดบรรทัด CRLF แนวคิดส่วนหัวเพิ่มเติม และแถวสี่เหลี่ยม ในเส้นทางที่จัดส่ง ในทางปฏิบัติแถวแรกไม่ใช่ทางเลือก แต่จะใช้เป็นส่วนหัวเสมอ ไฟล์ที่ไม่มีส่วนหัวจะสูญเสียบันทึกแรกของบทบาทนั้น
อินพุตที่ขาดไม่ทำให้เกิดการปฏิเสธ แถวสั้นจะเต็มไปด้วยเซลล์ว่าง แถวยาวจะเก็บค่าพิเศษไว้ และทั้งคู่จะได้รับคำเตือนตามหมายเลขแถว ตัวซีเรียลไลเซอร์จะเขียนทุกแถวที่เก็บไว้ ดังนั้น "เอาต์พุตที่สะอาด" ไม่ได้หมายความว่าโปรแกรมจะเดาว่าจะแก้ไขความขัดแย้งทางโครงสร้างได้อย่างไร
การอ้างอิงตามบันทึกช่วยจำ - เมื่อใดที่ต้องเสนอราคาฟิลด์และวิธีเพิ่มเครื่องหมายคำพูดคู่ตามตัวอักษรเป็นสองเท่า
ฟิลด์จะต้องถูกยกมาเมื่อมีตัวคั่นที่เลือก เครื่องหมายคำพูด หรืออักขระที่ลงท้ายด้วยเรคคอร์ด ToolAcre ยังใส่เครื่องหมายคำพูดสำหรับช่องว่างนำหน้าหรือต่อท้ายด้วย ดังนั้น parser อื่นจะได้ไม่เล็มช่องว่างเหล่านั้นอย่างเงียบๆ ภายในช่องที่มีเครื่องหมายคำพูด แต่ละเครื่องหมายคำพูดคู่ตามตัวอักษรจะกลายเป็นเครื่องหมายคำพูดคู่ 2 ใบ
ใบเสนอราคาสวิตช์ฟิลด์ทุกตัวขอสไตล์ที่เหมือนกัน มิฉะนั้นเอาต์พุตจะถูกยกมาน้อยที่สุด เครื่องหมายคำพูดแหล่งที่มาที่ซ้ำซ้อนอาจหายไปในขณะที่ค่าที่แยกวิเคราะห์ยังคงเท่ากัน การทำให้เป็นมาตรฐานนี้เป็นสิ่งที่คาดหวัง และเป็นสาเหตุที่การทดสอบเปรียบเทียบตารางที่กู้คืนกับผลลัพธ์ที่แน่นอนสำหรับตัวอย่างที่เลือก
ประเภทสื่อ text/csv — พารามิเตอร์ส่วนหัวและชุดอักขระที่เป็นทางเลือก และสาเหตุที่ไม่ค่อยเดินทางพร้อมกับไฟล์บนดิสก์
ไฟล์บนดิสก์แทบจะไม่มาถึงพร้อมกับพารามิเตอร์ประเภทสื่อที่แนบมาด้วย ToolAcre ไม่อ่านพารามิเตอร์ `header` หรือ `charset` จากไฟล์ที่เลือก ขึ้นอยู่กับสัญญาเส้นทาง: UTF-8 ข้อความ ส่วนหัวของแถวแรก และการตรวจจับตัวคั่นที่รองรับหรือการเลือกด้วยตนเอง
สวิตช์ส่งออก BOM ซึ่งเป็นตัวเลือกจะเขียน U+FEFF ก่อนส่วนหัวแรก ซึ่งอาจช่วยให้สเปรดชีตรู้จัก UTF-8 แต่การกำหนดค่าเตือนว่าอาจทำให้สคริปต์ที่เข้มงวดหรือการนำเข้าฐานข้อมูลเสียหายได้ เนื่องจากเครื่องหมายจะรวมชื่อเมื่อไม่ได้แยกออก ปล่อยทิ้งไว้เว้นแต่ผู้บริโภคต้องการ
ที่ที่โลกแตกต่าง - อัฒภาค, การลงท้ายบรรทัด LF, แถวที่ขาดๆ หายๆ และการเข้ารหัสที่ไม่มีป้ายกำกับ และเหตุใดบันทึกช่วยจำจึงไม่ยอมรับสิ่งใดเลย
อินพุตจริงอาจใช้อัฒภาค แท็บหรือไปป์ LF หรือ CR เดี่ยว แถวไม่เท่ากัน และนำหน้า UTF-8 BOM โปรแกรมแยกวิเคราะห์จงใจยอมรับการลงท้ายบรรทัดและตัวเลือกตัวคั่นทั้งหมดเหล่านั้น มันไม่ “อดทน” แถวที่ขาดๆ หายๆ อย่างเงียบๆ มันเก็บข้อมูลและแนบคำเตือน
ใบเสนอราคาที่ไม่เปิดเผยเป็นอีกเงื่อนไขที่ยอมรับแต่รายงานได้ ทุกอย่างที่อยู่หลังเครื่องหมายคำพูดเปิดจะกลายเป็นฟิลด์เดียว เนื่องจากไม่มีขอบเขตการปิดที่ชัดเจน แก้ไขแหล่งที่มานั้นก่อนที่จะเชื่อถือการส่งออก การแยกวิเคราะห์ที่อนุญาตเป็นกลยุทธ์ในการเก็บรักษา ไม่ใช่การรับรองว่าอินพุตเป็นไปตามข้อกำหนด
ToolAcre ยอมรับการเบี่ยงเบนในโลกแห่งความเป็นจริงหลายครั้งในขณะที่รายงานแถวที่ขาด ๆ หาย ๆ แทนที่จะปฏิเสธ
ไม่มีกฎเกณฑ์ใดในที่นี้จะระบุประเภทตัวเลข บูลีน หรือค่าว่างให้กับเซลล์ parser ส่งคืนสตริงและตัวแปลง JSON จะคงไว้เป็นสตริง ผู้ส่งและผู้รับจะต้องตกลงแบบแผนความหมาย รวมถึงระบุว่าข้อความว่างหายไปหรือไม่ และลำดับตัวเลขเป็นตัวระบุหรือไม่
กล่อง ข้อมูล ของ ผู้ ผู้พัฒนา JSON- เพื่อ..CSV นักเขียนแยกเป็นขอบเขตการเขียนอย่างเดียว มันยอมรับอย่างเข้มงวด JSONนําเสนอเครื่องหมายจุลภาค, กึ่งโคลอน หรือค่าแท็บ, แบนลงเป็นคอลัมน์ประ และคว่ําผลลัพธ์ที่ 2,000 คอลัมน์ มันจงใจไม่ให้เข้ามา CSVเพราะนั่นต้องใช้การเดาอย่างเดาเอา การอ้างถึง หัวและเซลล์ การ ถ่าย ภาพ และ การ ใช้ สตริง เปล่า ทั้ง สอง แบบ จึง กลาย เป็น เซลล์ ที่ ว่าง เปล่า ดัง นั้น ความ แตก ต่าง จึง ไม่ อาจ ผ่าน พ้น การ ฉาย ภาพ ได้.
ความปลอดภัยในการปรับแต่งสูตรเป็นนโยบายส่งออก ชั้นด้านบน CSV ไวยากรณ์ เมื่อเปิดใช้งาน อักขระตัวนําที่มีความเสี่ยงจะได้รับรูปแบบ apostrophe ยกเว้นรูปแบบตัวเลขธรรมดา ที่จงใจเปลี่ยนค่าสําหรับความปลอดภัยตารางคํานวณ; มันไม่ได้เป็นส่วนหนึ่งของการอ้างถึงการหลบหนีหรือระบบประเภททั่วไป เช็ครับค่าระบบ ควรตรวจสอบทั้งมุมมองตารางคํานวณ และข้อความดิบ เพื่อให้ดีลิมิเตอร์, CRLF, BOM และสายใยแบบสูตรที่ขาดไม่ได้ ถูกตรวจสอบโดยไม่อาศัยการแสดงของผู้นําเข้า.
ตั้งเป้าไปที่เอาต์พุตสไตล์ RFC แม้ว่าอินพุตจะเพิกเฉยก็ตาม — วิธีที่ ToolAcre CSV Cleaner ซ่อมแซมไฟล์ให้มีการกำหนดขอบเขตและการอ้างอิงที่สอดคล้องกัน
มุ่งเป้าไปที่ผลลัพธ์ที่คาดเดาได้แม้ว่าภาษาถิ่นของแหล่งที่มาจะแตกต่างกันไปก็ตาม หลังจากแยกวิเคราะห์และแก้ไขคำเตือนแล้ว ToolAcre ปล่อยบันทึก CRLF และการหลีกเครื่องหมายคำพูดมาตรฐาน หากตัวคั่นที่ตรวจพบยังคงเป็นเครื่องหมายอัฒภาคหรือแท็บ การดาวน์โหลดจะเก็บตัวคั่นนั้นไว้แทนที่จะบังคับลูกน้ำเสมอ
เลือกเครื่องหมายจุลภาคด้วยตนเองเมื่อสัญญาการรับต้องใช้เอาต์พุตที่คั่นด้วยเครื่องหมายจุลภาค และตรวจสอบตัวควบคุมเนื่องจากจะแสดงตัวคั่นที่ใช้จริง ความสอดคล้องมาจากการเลือกที่ชัดเจนบวกกับรูปร่างแถวที่ได้รับการตรวจสอบ ไม่ใช่จากส่วนขยาย CSV เพียงอย่างเดียว