Μετά την πρώτη πολιορκία του Αλή στα Γιάννενα (1821), είχαν καταφύγει στους Καλαρρύτες πολλοί ευκατάστατοι Γιαννιώτες (χριστιανοί, Εβραίοι αλλά και Οθωμανοί) με αξιόλογη κινητή περιουσία. Η παρουσία 500 Αλβανών υπό τον Ιμπραήμ Πρεμέτη, που είχε σκοπό να μείνει ανοικτή η επικοινωνία μεταξύ των σουλτανικών στρατοπέδων των Ιωαννίνων και της Θεσσαλίας, δεν εμποδίζει την κήρυξη της επανάστασης. Αρχηγός στο Συρράκο είναι ο Ιωάννης Κωλέττης, ο μετέπειτα πρωθυπουργός της Ελλάδος, ενώ στους Καλαρρύτες ο Γεώργιος Τουρτούρης και ο Ιωάννης Ράγκος.
Το Συρράκο καταλαμβάνεται μετά από ασθενή αντίσταση και καταστρέφεται. Στους Καλαρρύτες οι Αλβανοί συλλαμβάνουν προκρίτους ως ομήρους και οχυρώνονται σε σπίτια, αναμένοντας ενισχύσεις από τον Χουρσίτ πασά. Αυτός στέλνει δύναμη για την καταστολή, με επικεφαλής τον Χαμζά μπέη, που ενώνεται με τους άνδρες του Πρεμέτη. Οι κάτοικοι, όταν αντιλαμβάνονται ότι κάθε αντίσταση είναι μάταιη, παίρνουν μαζί τους ό,τι πολύτιμο μπορούν να μεταφέρουν και απομακρύνονται από το χωριό. Η εγκατάλειψη των περιουσιών συντείνει πολύ στη διάσωση των φυγάδων. Οι Οθωμανοί και οι Αλβανοί εκθεμελιώνουν το χωριό, λαφυραγωγούν και πυρπολούν τα πάντα, αλλά συγχρόνως δίνουν και ικανό χρόνο σ’ αυτούς που φεύγουν. Η καταστροφή είναι ολοκληρωτική. Ο Στρατηγός Μακρυγιάννης στα απομνημονεύματά του αναφέρει:
“Και χάλασαν τους Έλληνες και αφανίστηκαν οι δυστυχείς Καλαρρυτιώτες, οπόταν οι πλέον πλούσιοι σ’ εκείνα τα μέρη κι έμειναν διακονιαραίοι. Αφανίστηκαν αυτείνοι και ο τόπος τους ερήμαξε.”
Οι προνομιούχοι κάτοικοι θα μετατραπούν σε πρόσφυγες και θα καταφύγουν σε παραπλήσια μέρη όπως στη Ζάκυνθος|Ζάκυνθο, όπου στα τέλη του 18ου αιώνα είχαν ήδη μεταναστεύσει αρκετοί από αυτούς. Άλλοι θα καταφύγουν στο Μεσολόγγι, όπου θα συμμετάσχουν στην έξοδο του Μεσολογγίου, στην Αιτωλοακαρνανία, μέχρι την Αθήνα και τη Χαλκίδα. Στην Παραμυθιά καταφεύγει η οικογένεια Βούλγαρη, στην Κέρκυρα οι οικογένειες Παπαγεωργίου, Παπαμόσχου και Λάμπρου. Μερικοί πρόσφυγες, ρακένδυτοι και πεινασμένοι, φθάνουν στην Ανκόνα, όπου η εκεί Ελληνική παροικία θα τους προσφέρει από το κοινό της ταμείο οικονομική βοήθεια και περίθαλψη.
Οι Καλαρρύτες γνωρίζουν πρωτοφανή ερήμωση, αφού στις παραμονές του 1821 αριθμούσαν περίπου 500 οικογένειες και στην απογραφή του 1831 παρουσιάζονται μόνο 26 από αυτές, οι περισσότερες από τις οποίες είναι φτωχές και χειροβίοτες. Οι δύο διαταγές (μπουγιουρντί) που εκδόθηκαν το 1822 και το 1826 (σώζονται στο αρχείο της κοινότητας) για αμνηστία και ασφαλή επιστροφή των κατοίκων δεν στάθηκαν ικανές να αποτινάξουν τον φόβο. Ο μικρός αριθμός των οικογενειών που επανακάμπτει κάνει μια νέα αρχή. Η ανασυγκρότηση γίνεται με δυσκολία και αργούς ρυθμούς. Ωστόσο το 1828 έχουμε την έναρξη λειτουργίας σχολείου.
Τόσο μεγάλη ήταν η καταστροφή του χωριού, ώστε οι κάτοικοι να είναι επιφυλακτικοί σε κάθε νέα συμμετοχή σε επαναστατικά κινήματα, φοβούμενοι τα τουρκικά αντίποινα. Αυτός είναι ο λόγος που δεν λαμβάνουν μέρος στην επανάσταση Ηπείρου – Θεσσαλίας το 1854. Εξάλλου, συμμορίες Τουρκαλβανών, πριν και μετά την επανάσταση του 1854, λεηλατούν με κάθε μέσο τους χωρικούς όλης της Ηπείρου. Ο φόβος και η ανασφάλεια που επικρατούν κάνουν εξίσου δύσκολη την επιστροφή των εμπόρων και πολλοί είναι οι πρόσφυγες που δεν επιστρέφουν και εγκαθίστανται μόνιμα στα μέρη που τους υποδέχθηκαν.