1. IQC, EQC and PT Nantaya Chanarat Department of Clinical Chemistry Faculty of Associated Medical Sciences Chiang Mai university < [email_address] > [email_address]

3. Types of Mistakes Reported in Thailand BMC Clin Pathol 2001; 1: 5 6 months monitoring, 935,896 specimens - 941902 analyses Pre-analytical mistakes = 1048 ( 0.11 %) = Wrong identification : Physician’s order mistakes, Inapp. Container used, Inapp. Quantity of specimen, Inapp. Quality of specimens

4. Types of Mistakes Reported Internationally Lapworth, Ann Clin Biochem 1994, 31: 78-84 Clin Chem / 1 yr / ~997000 tests / 249000 pts No. of errors 120 => Frequency 0.05% of pts. Pre-analytical mistakes = 31.6% Analytical = 31.6% Post analytical = 30.8% Multiple phases = 6% Identification errors 31%

5. Goldschmidt & Lent, Klin Biochem Metab 1995; 3: 131-40 Whole lab / 6 yr / No. of errors 133 Pre-analytical mistakes = 53% Analytical = 23% Post analytical = 24% Identification errors 58% Impact on patient’s outcomes : None 43% Mild 23% (delay) Moderate 26% (potential damage) Severe 8% (errorneous med .Intervention) Very severe None

6. Plebani & Carraro, Clin Chem 1997; 43: 1348-51 Stat lab / 3 mo / No. of total / errors 40490/189 Frequency = 0.47% of test results Pre-analytical mistakes = 68.2% Analytical = 13.3% Post analytical = 18.5% Identification errors 2.6% Impact on patient’s outcomes : None 74% Mild 19.6% (further investigation) Moderate 6.4% (inapprop. Therapy modif.)

7. Runner et al, Arch PatholLab Med 1993; 117: 573-7 Transfusion labs / 4 wk / 712 hospitals No. of occasions 2 463 727 errors 67 289 Frequency = 2.7% Types & Cause of errors Absent wristband 49.5% Multiple wristband 18.3% Incomplete data 17.5% Partly errorneous data 0.6% Illegible data 5.7% Wrong wristband 0.5%

8. McClelland & Phillips, BMJ 1994; 308: 1205-6 UK Transfusion / 2 yr / 245 hospitals/ No. of errors 111 Death 6 (1/550000 Tx) Morbidity 12 (1/275000 Tx) No adverse effect 93 (1/36000 Tx) Types & Causes : Wrong blood tubes 23 Lab errors 6 Tx wrong blood 82 Results on Patient outcomes

9. Hofgartner & Tait, Am J Clin Pathol 1999; 112: 14-21 2 Molecular (Survey)labs / 10 yr / No. of tests 4234 errors 16 Frequency = 0.38% Pre-analytical mistakes = 44% Analytical = 31% Post analytical = 12.5% Multiple phase = 12.5 Impact on patient’s outcomes : Mild 25% Moderate 50 % Severe 25%

10. Hofgartner & Tait, Am J Clin Pathol 1999; 112: 14-21 2 Molecular labs / 1 yr / (Questionaire) No. of tests 88394 errors 293 Frequency = 0.33 % Pre-analytical mistakes = 60 % Analytical = 19 % Post analytical = 15 % Multiple phase = 6 % Impact on patient’s outcomes : Mild 20 % Moderate 10.2 % Severe 6.4 %

11. Pre-analytical errors/ yr 2000 / San Raffaele Hosp. Types of errors Inpatients Outpatients Hemolysed serum 8494 256 Insufficient sample 3256 102 Incorrect sample 1824 289 Clotted sample 792 80 Incorrect ident 287 2 Lack of signature (Bl Gr) 266 Empty tubes 238 8 Sample not on ice 75 6 Lack/wrong compilation of accom. Tube 120 Tube broken in the centrifuge 57 36 Urine not acidified 24 Open container 20 13 Module withour signature 14 Urine volume not indicated 5 TOTAL 15 503 792

12. Steps of IQC Process @ การเตรียมผู้ป่วย @ เก็บรักษาสิ่งส่งตรวจถูกต้อง @ จัดระบบภายใน Lab. เหมาะสม @ วิธีการวิเคราะห์เชื่อถือได้ @ การคำนวณผลถูกต้อง @ พิจารณาค่าที่ได้ว่ายอมรับได้ หรือต้องทำซ้ำ @ การรายงานผล คัดลอกผลถูกต้อง @ การติดต่อสัมพันธ์กับแพทย์ พยาบาล

13. Physilogical factor Pathological factors Risk factors Technical factors

15. Change (%) of the serum conc. of analytes after a standard meal

16. Instrument components that affect the calculation factors Sample deterioration Reagents Pipetting system Temperature Transducer Light source Optical path Light selector Washing system Calibration procedure Analytical results FACTORS

17. การควบคุมคุณภาพภายในห้องปฏิบัติการ Internal Quality Control, IQC กระบวนการเพื่อควบคุมคุณภาพภายในห้องปฏิบัติการให้ได้ผลเป็นที่ยอมรับ วัตถุประสงค์ เพื่อควบคุมผล Lab. ให้ถูกต้อง รวดเร็ว รักษาสภาพการทำงานให้คงที่ เป็นที่เชื่อถือ และ ยอมรับ

18. ปัจจัยที่เกี่ยวข้อง Preanalytical step - การเตรียมผู้ป่วย การเก็บสิ่งส่งตรวจ การ กระทำต่อสิ่งส่งตรวจ การเตรียมสารละลาย ฯลฯ Analytical step - การเตรียมขั้นตอน สภาวะการทดสอบ การ จัด / การเตรียม QC material การอ่านค่า ฯลฯ Post-analytical step - การคำนวณ คัดลอกผล รายงานผล และการแปลผล ฯลฯ องค์ประกอบของ IQC - บุคลากร - เทคโนโลยี = วิธีการ สารเคมี น้ำ เครื่อง มือ อุปกรณ์ การจัดการ

19. Steps of IQC Process @ Optimum condition variance (OCV) @ Routine condition variance - Known value (RCV-K) @ Routine condition variance - Unknown value (RCV-U) @ Statistical use of patients’ results @ Other applications : CUSUM plot, Youden plot, Westgard multirule, Mean-range chart, etc.

20. IQC for Glucose determination

21. Routine Condition Variance - Unknown Value ( R CV- U ) = ใช้ตัวอย่างที่กำหนดค่าแน่นอน = มีตัวอย่างที่มีค่ามากกว่า 1 ระดับ = ทำวันละ 1 ตัวอย่าง = Plot ค่า %Variation แต่ละวัน โดย %Variation = Observed value - Corrected value* Corrected value *Corrected value = Assigned value = Reference value x100

25. วันที่ mg / dl ตัวอย่างกราฟควบคุมคุณภาพซึ่งแสดงว่ามี Accuracy เปลี่ยนไป โดยที่ Precision ไม่เปลี่ยน ( คาดว่าเกิดประมาณวันที่ 27 ) 4

26. วันที่ mg / dl ตัวอย่างกราฟควบคุมคุณภาพซึ่งแสดงว่ามี Precision เปลี่ยนไป โดยที่ Accuracy ไม่เปลี่ยน ( คาดว่าเกิดประมาณวันที่ 26 ) 5

27. More Considerations @ Critical Value @ Delta (Prior value) check @ Cumulative Report @ Clinical correlation @ Lab. Data correlation

28. Limitation in IQC @ Control material ไม่เหมือนตัวอย่างผู้ป่วย @ Random error @ การกำหนดค่า True value ที่ถูกต้อง @ Bias @ ไม่สามารถควบคุมขั้นตอนก่อนการวิเคราะห์ @ วิธีการทางสถิติ ถือเป็น Normal distribution @ สิ้นเปลืองทั้งเวลา แรงงานและค่าใช้จ่าย

29. Statistical Use of Patients' Results

34. Youden (2-way Convergence) Plot X X +1SD +1SD -1SD -1SD -2SD -2SD -3SD -3SD +2SD +3SD +2SD +3SD Acceptable range Random error Systemic error * * *

35. Cumulative Sum (CUSUM) Plot Cumulative Data (Assigned value X = 10) X X-X CUSUM 10 0 0 12 +2 +2 8 -2 0 13 +3 +3 11 +1 +4 12 +2 +6 11 +1 +7 9 -1 +6

36. 0 • • • • • • • • 5 10 - 5

37. MEAN - RANGE (X-R) GRAPH DATE 2/5/95 2/5/95 3/5/95 4/5/95 5/5/95 5/5/95 6/5/95 7/5/95 7/5/95 TIME 0900 1300 0900 0900 0900 0300 0900 0900 1300 X 95, 96 95,97 97,95 95,93 96,96 92,99 97,99 97,97 99,94 96,95 94,96 99,94 95,96 95,94 93,98 96,98 96,92 93,96 Total 382 382 385 379 381 382 390 382 382 Mean 95.5 95.5 96.25 94.75 95.25 95.5 97.5 95.5 95.5 Range 1 3 5 3 2 7 2 5 6 Note

40. Case 1 Date Protein Albumin Bilirubin ALP ALT 1/10 6.7 3.1 32.8 127 956 3/10 5.4 # R 20.6 # R 0.6 # R 55 # R 26 # R 4/10 7.2 3.3 39.5 147 1421 6/10 7.1 3.4 35.7 164 1500 8/10 6.8 3.4 31.8 163 1527 # = Delta check failure R = Repeat

41. Case 2 CBC : WBC 30,000 /cu.mm. Platelet 1,300,000 /cu.mm. Serum Plasma Na 138 139 mmol/L K 6.4 4.6 mmol/L Cl 95 98 mmol/L HCO 3 27 25 mmol/L Urea 8.0 8.5 mmol/L Creatinine 0.09 0.09 mmol/L Previous K 5 determinations were 5.2-6.4 mmol/L with unknown cause

42. Case 3 Lab. Results of a man with diabetic ketoacidosis Na 132 mmol/L(132-144) K 6.5 mmol/L(3.2-4.8) Cl 89 mmol/L(98-108) HCO 3 6 mmol/L(22-32) Urea 14.5 mmol/L(3.0-8.0) Glucose 64 mmol/L(3.5-5.5) Blood pH 7.02 (7.35-7.45) AG 30.5 (7-17)

43. Anion Gap (AG) Total anion = Total cation Measured anion + Unmeasured anion = Measured cation + Unmeasured cation AG = Unmeasured anion – Unmeasured cation Unmeasured anion - Unmeasured cation = Measured cation - Measured anion AG = Na + + K + - (Cl - + HCO - 3 ) Ref. Value = 7-17 mmol/L OR AG = Na + - (Cl - + HCO - 3 ) Ref. Value = 2-12 mmol/L

45. 7. No regulations, reward/punishment Focus only on performance/ test system 8. Focus only on performance/tests system not on total system 9. Data not shown in graph 10. EQA – prolonged response, no discussion or suggestion, low frequency, discontinuous of the program 11. Clinician understandings ? 12. Equivalent QC, Electronic QC, Eq (Big error Less quality) 13. Etc.

46. การตรวจคุณภาพสินค้า การตรวจสอบผล lab. ในห้องปฏิบัติการ ความอ่อนล้าของผู้ตรวจสอบคุณภาพสินค้า ความอ่อนล้า เนื่องจากจำนวนตัวอย่างมาก สภาพจิตใจและร่างกายของผู้ตรวจสอบฯ สภาพจิตใจและร่างกายของหัวหน้า lab. ความเบื่อหน่ายในการทำงานซ้ำซาก ความเบื่อหน่ายที่ต้องตรวจงานซ้ำซาก ความกดดันที่ต้องผลิตสินค้าให้ได้ปริมาณ มีผู้ปฏิบัติงานน้อย ต้องรีบทำให้เสร็จตาม และคุณภาพตามกำหนด กำหนด ความถูกต้องของเครื่องมือและเครื่องวัดที่ ความถูกต้องของเครื่องมือที่ใช้ในห้อง lab. เกี่ยวข้อง ความลำบากในการตรวจสอบสภาพพร้อม ไม่สามารถตรวจสอบความพร้อมในการทำ ต่างๆ งาน หรือความถูกต้องได้ทุกขั้นตอน ความชำนาญและประสบการณ์ของแต่ละ ขาดประสบการณ์และความชำนาญ บุคคล

47. What is external quality assessment? การที่หน่วยงานที่เป็นศูนย์กลาง กำหนดให้กลุ่มห้อง ปฏิบัติการ วิเคราะห์ตัวอย่างเดียวกัน ส่งผลกลับคืนมา ศูนย์กลาง จะทำการวิเคราะห์ผลที่ได้ เพื่อดูว่า lab ใด ได้ผลการตรวจวิเคราะห์ใกล้เคียงกับค่าที่กำหนด ที่วิเคราะห์โดยวิธีอ้างอิง หรือห้องปฏิบัติการอ้างอิง หรือค่าที่วิเคราะห์ได้อยู่ในกลุ่ม หรือแตกต่างไปจากกลุ่มมากน้อยเพียงใด

50. EQA แสดงโดย ดัชนีความแปรปรวน ( Variance index, %V) ดังนี้ %V = (X – mean)/mean * 100 เมื่อ X เป็นค่าที่วิเคราะห์ได้โดย lab Mean เป็นค่าที่กำหนด (Designed value) Variance index (VI) = (V/CCV) * 100 เมื่อ V = % Variation CCV = Chosen coefficient of variation

53. การประมวล ผลโดยใช้กราฟ ใ ช ้ ก ร า ฟ 4 5 o

54. วิธีการคำนวณเพื่อลากเส้น VIS = 100 ถ้าจะให้ได้ VI ( ซึ่งก็คือ VIS ) = 100 จะต้องให้ % VARIATION ( V ) = CCV พอดี VI = x 100 ตัวอย่าง CCV ของ SODIUM = 1.6% ก็คือค่า SODIUM 100 m mol / l ถ้าวิเคราะห์แล้วค่าที่ได้เบี่ยงเบนไปจากค่าที่ กำหนด + 1.6 m mol / l หา VIS แล้วจะได้ = 100 X = 100 , X = 101.6 V = X - X x 100 = 101.6 - 100 x 100 = 1.6 X 100 VI = V x 100 = 1.6 x 100 = 100 VIS = 100 CCV 1.6 V CCV 30

55. ดังนั้นถ้าจะดูว่าหากค่า DESIGNATED VALUE = 150 mmol/Ll VIS 100 จะมีค่าเท่าใด ? คำนวณได้ดังนี้ : 100 = + 1.6 150 = + 1.6 x 150 = + 2.4 mmol/L 100 เช่นกันให้คำนวณที่ค่าต่ำๆ เช่นที่ 130 mmol/L อีกชุดหนึ่ง ก็สามารถลากเส้น VIS = 100 ด้านบน & ด้านล่าง ของ เส้น 45 องศา ได้ นั่นคือ VIS 100 จะอยู่ที่ 150 + 2.4 = 152.4 mmol/L และ 150 2.4 = 147.6 mmol/Ll 31

56. Your Result ( A ) SODIUM m mol / l VIS 100 VIS 100 VIS 0 120 130 140 150 160 Designated Value ( B ) m mol / l 127.9 132.1 147.6 152.4 VIS เกิน 100 VIS เกิน 100 ( 1 ) ( 1 ) ( 2 ) ( 2 ) ( 2 ) ( 2 ) ( 2 ) ( 3 ) ( 3 ) ( 3 ) ( 3 ) ( 3 ) ( 3 ) CCV = 1.6 % 32

57. Your Result ( A ) SODIUM m mol / l VIS 100 VIS 100 VIS 0 120 130 140 150 160 Designated Value ( B ) m mol / l * 3 * 1 * 2 * 6 * 4 * 5 33

58. Your Result ( A ) SODIUM m mol / l VIS 100 VIS 100 VIS 0 120 130 140 150 160 Designated Value ( B ) m mol / l * 3 * 1 * 5 * 4 * 2 * 6 34 1

59. Your Result ( A ) SODIUM m mol / l VIS 100 VIS 100 VIS 0 120 130 140 150 160 Designated Value ( B ) m mol / l * 1 * 2 * 3 * 4 * 5 * 6 35

60. Your Result CHOLESTEROL ( mg / dl ) VIS 100 VIS 0 VIS 100 20 70 120 170 220 270 320 Designated Value ( mg / dl ) 1 * 2 * 5 * 4 ** 6 3 * 36

64. External Quality Assurance ( EQA ) โดยกรมวิทยาศาสตร์การแพทย์ ทุก 3 เดือน EQC: VIS ต่ำกว่า 150 ถือว่า Acceptable VIS ต่ำกว่า 50 ถือว่า อยู่ในเกณฑ์ดีมาก 2545 2547 2549 2551 2545 2547 2549 2551 2545 2547 2549 2551 2545 2547 2549 2551

65. Proficienct Testing (PT) การทดสอบความชำนาญ เป็นเทคนิคหนึ่งของการประกันคุณภาพสำหรับห้องปฏิบัติการ เป็นตัวตัดสินการกระทำของแต่ละห้องปฏิบัติการ ในการทดสอบที่จำเพาะ หรือการวัด และใช้ตรวจสอบห้องปฏิบัติการที่มีการปฏิบัติอย่างต่อเนื่อง หน่วยงานที่รับผิดชอบ ( PT provider) ทำการแจกจ่ายตัวอย่างให้กับห้องปฏิบัติการ เพื่อทำการตรวจวิเคราะห์ การประเมินความสามารถของห้องปฏิบัติการ สถิติที่ใช้คือ Robust Z-Score ที่คำนวณจากค่าเฉลี่ย Robust และค่าส่วนเบี่ยงเบนมาตรฐาน Robust

66. คำนวณหาอัตราส่วนของการเบี่ยงเบนระหว่างค่าอ้างอิง และค่าของห้องปฏิบัติการต่อค่าเบี่ยงเบนมาตรฐานผลการเข้าร่วมทั้งหมด โดย Z = (x – X)/s โดยที่ x = ผลของห้องปฏิบัติการที่เข้าร่วม X = ค่าที่กำหนดหรือค่าอ้างอิง s = ค่าเบี่ยงเบนจากการทดสอบ ( ได้แก่ค่าเบี่ยงเบน มาตรฐานของผู้เข้าร่วมโปรแกรม เป็นต้น )

67. Z = + 2 แสดงว่าผลการทดสอบนั้นยอมรับได้ ( Satatisfactory) Z = < + 3 แสดงว่าผลการทดลองนั้นน่าสงสัย ( Questionable) Z = > + 3 แสดงว่าผลการทดลองนั้นยอมรับไม่ได้ ( Unsatatisfactory)

68. Proficiency test results are reported as standard deviation indexes ( SDIs ). SDI is calculated by the following formula : SDI = (Result – Mean)/ sd

70. Quality is a Journey, not a Destination Q O L O I O GO

71. Quality is a Journey, not a Destination THE END