Οι αρχές της ιστορίας της Αυτοκρατορίας είναι πολύ σκοτεινές. Πάντως μπορούμε να εκκινήσουμε από το σημείο ότι οι Σελτζούκοι Τούρκοι, μετά τη νίκη του στο Μάντζικερτ (1071), κατέλαβαν προσωρινά το θέμα Χαλδίας με την Τραπεζούντα. Ο δούκας, όμως, της Χαλδίας Θεόδωρος Γαβράς κατόρθωσε να συγκεντρώσει στρατό, εξεδίωξε τους Τούρκους και κυβέρνησε ως ανεξάρτητος ηγεμόνας από το Βυζάντιο. Σε νέο πόλεμο που ξέσπασε, αιχμαλωτίστηκε και μεταφέρθηκε στο Ερζερούμ, όπου και πιέστηκε να γίνει μουσουλμάνος επειδή, όμως, δεν δέχτηκε, μαρτύρησε υπέρ του Χριστιανισμού το 1098. Και άλλοι Έλληνες ανεξάρτητοι στρατηγοί πολέμησαν εναντίον των Τούρκων, το δε Βυζάντιο κατόρθωσε να καταλάβει και να κυβερνήσει το θέμα της Χαλδίας ως το 1204.