اتهامه ظلمًا سكن في دير بجبل سيناء، وذات مرّة دخل رجل شرير إلى خيمة رجل إعرابي متزوج وأضجع مع ابنته، وقال لها الشرير: "قولي أن أنبا قزمان الراهب هو الذي فعل الشر معي"، فقالت لأبيها هكذا. أخذ الرجل سيفه ورفعه قاصدًا ذبح القديس قزمان، ولكن يده انثنت فلم يستطع قتله.

فذهب إلى كنيسة الدير وقال للآباء ما فعله الشيخ مع ابنته، فأحضره الآباء وجلدوه عدة جلدات وأرادوا طرده من الدير. لكنه ألحَّ عليهم قائلاً: "اسمحوا لي أن أمكث هنا من أجل الله لكي أتوب عن خطيتي". فعزلوه بعيدًا عن الاخوة ثلاث سنين، وأمروا الجميع بعدم الاقتراب منه. وكان يقضي وقته بمفرده ويذهب إلى الكنيسة كل أحدٍ فقط، ويقدّم توبة ويرجو الآباء أن يصلّوا من أجله.

ترك الدير لعزلته ونبذ الرهبان له، سمح لفكر شيطان الكبرياء أن يدخل إلى قلبه فأعلن لهم الحقيقة، وأنه لم يسقط مع الفتاة، فاجتمع الرهبان حوله وأعلنوا ندمهم على نبذهم له وطلبوا منه أن يصفح عنهم، فقال لهم: "إنني حقًا قد سامحتكم ولكنه لم يعد من الممكن أن أمكث معكم بعد ذلك، إذ لم أجد منكم مشجعًا يعطف عليَّ"، ورحل من الدير. بستان القديسين، صفحة 99.