كيف نقيّم مخاطر الهلوسة في الذكاء الاصطناعي السريري
قصة الإثبات الخاصة بـ Notat ليست نسبة دقة سحرية. إنها منهجية شفافة: استخراج الحقائق السريرية أولاً، وتوليد الملاحظات من هذه الحقائق، وعرض السياق الخام على الطبيب، ومراجعة كل مخرج مقابل الأدلة.
منهجية التقييم
1. Build the reference facts
A reviewer reads the encounter material and creates a reference set of clinical facts: symptoms, negatives, medication changes, assessment, plan, safety-netting, and coding-relevant details.
2. Compare transcript-direct output
We generate a note from transcript-style input and mark unsupported statements, missing high-salience facts, incorrect attribution, and invented certainty.
3. Compare FactsContext output
We generate documentation from extracted facts and review whether each sentence is supported by a visible fact. The clinician-facing fact list is evaluated as part of the output, not hidden.
4. Record limits, not magic numbers
We do not publish fake accuracy percentages. Each evaluation note includes dataset scope, review date, known limitations, and examples of what the system still requires clinicians to verify.
ما الذي يرصده المراجعون
Unsupported clinical assertion
Wrong medication, dose, frequency, or route
Missing red-flag negative or safety-net advice
Wrong diagnosis certainty: possible vs established
Wrong speaker attribution
Unsupported ICD-10 suggestion
Clinician-visible evidence for each key statement
Facts reusable for notes, codes, referrals, and patient instructions
ملاحظة داخلية مؤرخة
ملاحظة التقييم الحالية، 2026-07-01: توثّق هذه الصفحة المنهجية والأمثلة النوعية المستخدمة لتقييم بنية FactsContext. وهي لا تدّعي التحقق الخارجي أو الدقة الشاملة. يجب أن تكون العلامة الفارقة التالية للإثبات مراجعة معماة ومصنّفة حسب التخصص، مع الإبلاغ العلني عن حجم مجموعة البيانات، ومدى اتفاق المراجعين، ونسبة العبارات غير المدعومة.
استخراج الحقائق مقابل التوليد المباشر من النص المكتوب
Medication change discussed twice
مخاطر التوليد المباشر من النص المكتوب
“Increase amlodipine to 10 mg and stop lisinopril.” The transcript contained a correction: the clinician first considered stopping lisinopril, then decided to continue it after reviewing renal function.
مخرجات FactsContext
Facts: amlodipine increased to 10 mg daily; lisinopril continued; renal function normal; review in 6 weeks. Note generated from those facts only.
لماذا يهم ذلك
Transcript-direct generation can smooth over corrections. FactsContext preserves the final decision as a discrete fact before writing.
Negative finding matters
مخاطر التوليد المباشر من النص المكتوب
“No neurological symptoms.” The actual encounter only documented no saddle anesthesia and no bladder symptoms; leg radiation was present.
مخرجات FactsContext
Facts: left leg radiation to calf; SLR positive left; no saddle anesthesia; no bladder or bowel symptoms. Note keeps the negatives specific.
لماذا يهم ذلك
Broad negative statements are risky. The fact list keeps the clinical context granular and reviewable.
Code suggestion requires evidence
مخاطر التوليد المباشر من النص المكتوب
Suggested J44.1 for COPD exacerbation without showing the symptom or treatment evidence.
مخرجات FactsContext
Facts: increased breathlessness, purulent sputum, prednisolone burst, antibiotics started. Suggested J44.1 with those facts as evidence.
لماذا يهم ذلك
The code is easier to verify because the reason for the suggestion is visible, not buried in prose.
القيود المعروفة
Clinician review remains mandatory. Notat drafts; clinicians verify and sign.
The method reduces unsupported statements by architecture, but no clinical AI should claim zero hallucinations.
Small internal evaluations are useful for engineering direction, not a substitute for external clinical validation.
Specialty, language, audio quality, speaker overlap, and local coding rules can change performance.
اقرأ الإثبات، ثم تحقق من حقائقك الخاصة.
منهجية التقييم بسيطة لأن المنتج مصمم ليكون قابلاً للفحص: الحقائق أولاً، ثم الملاحظة، والمراجعة السريرية دائمًا.
جرّب Notat مجانًا