"Les enfants de la vieille Sabretache"

Lorsque Bourseul rejoint le régiment en Crimée, celui-ci campe dans la plaine de Balaklava.
Pendant le siège de Sébastopol, il effectue quelques reconnaissances sur les bords de la Tchernaïa et dans la vallée de Baïdar.

Sébastopol prise (9 Septembre), les alliés se portent sur Eupatoria. Le 4e Hussards est embarqué le 23 Septembre à Kamiesch et débarque le 25 à Eupatoria. Il entre dans la composition de la division d'Allonville, formée des 6e et 7e Dragons, du 4e Hussards et d'une batterie.

La cavalerie française allait enfin pouvoir donner, comme le relate l'Historique du 4e Hussards :

"Combat de Kanghil. - Le 29 septembre, à 3 heures du matin, la division tout entière quittait Eupatoria pour faire une reconnaissance. Des Bachi-Bouzoucks servent d'éclaireurs et un corps de 10,000 Turcs l'appuie et sert de soutien. Les flancs de la division étaient couverts à droite par un peloton du 4e hussards, à gauche par deux pelotons fournis aussi par le régiment.
Après avoir franchi le défilé de Joseck, la division prit un ordre de combat, chassant devant elle les postes russes. Le contact est pris par les Bachi-Bouzoucks avec les fourrageurs cosaques. Ceux-ci se multipliant, un peloton du régiment, commandé par le lieutenant Garcin, est envoyé en soutien, puis une division du 4e escadron est lancée pour nettoyer le terrain des essaims de cosaques. Ceux-ci disparaissent et démasquent un corps important placé sur la droite de la division et masqué par le brouillard.
le général met sa batterie en position, place le 6e dragons à gauche, le 4e hussards à droite et envoie le 7e dragons vers la gauche pour exécuter un mouvement convergent.
Vers 10 heures, afin de donner à l 'infanterie turque le temps d'arriver et de faire manger hommes et chevaux, le général ordonne une halte. Les Russes profitent de cet arrêt pour se dérober et disparaître, couverts par quelques éclaireurs. La déception était déjà générale, mais le général d'Allonville, passant devant les rangs, s'écria : "Rassurez-vous, braves hussards, vous aurez votre charge aujourd'hui. Qu'on fasse sortir des rangs tout ce qui n'est pas susceptible d'une marche longue et rapide."
Son plan était de les acculer à un lac en se portant rapidement par un mouvement de flanc sur leur ligne de retraite et de les forcer à combattre. Rompant en colonnes de pelotons, le 4e hussards en tête, au trot, il marcha pendant trente minutes à cette allure. Peu à peu toute la gauche de la colonne, les dragons, les lanciers turcs, l'artillerie se trouva distancée. Le régiment arriva donc seul en vue de l'ennemi à 2 kilomètres environs du village de Kanghil.
Celui-ci était disposé de la manière suivante : six escadrons formaient la ligne de bataille, le flanc gauche était couvert par deux escadrons adossés au village. En arrière, huit pièces d'artillerie étaient établies de manière à pouvoir arrêter toute attaque sur la gauche et le centre. Trois sotnias de cosaques formaient un épais rideau de tirailleurs devant les escadrons de droite.
Le général d'Allonville, qui marchait en tête de sa division, donne aussitôt l'ordre au général Esterhazy de faire former le 4e hussards en bataille au galop et de charger. Le régiment ayant à sa tête le général Esterhazy et le colonel, part comme l'éclair, les deux premiers escadrons sous les ordres du commandant Tilliard, les deux autres commandés par le capitaine d'Anglars.
L'artillerie ennemie jusque-là cachée par un pli de terrain se trouve démasquée et fait sur les escadrons de droite une décharge à mitraille. La ligne russe fait feu en restant de pied ferme, puis croise la lance confiante dans le fer de ses canons. Mais ni les balles, ni la mitraille qui, du reste, ne touchèrent presque personne, n'arrêtèrent les hussards qui traversèrent la ligne ennemie. Une mêlée générale et corps à corps s'engage. Deux escadrons arrivent jusqu'aux pièces dont ils s'emparent après avoir sabré les servants.
Toutefois les hulans revenus de leur surprise, se rallient et parviennent à reprendre trois de leurs pièces. Les deux escadrons du village qui n'avaient pu encore faire aucun mouvement, se mettent en marche pour tenter de prendre les hussards par derrière.
Le général Esterhazy, pour parer à ce danger, donne l'ordre au commandant Tilliard de rallier ce qu'il pourra de monde et de les charger. Mais à ce moment les 3e et 4e escadrons, après avoir refoulé la droite de la ligne russe et l'avoir poursuivie en partie, se jettent dans la mêlée qui avait lieu vers Kanghil. En outre, l'apparition du 6e dragons dont les casques brillent au loin, décide les hulans à se retirer sans tenter la charge.
Le général d'Allonville lance le 6e dragons pour achever la déroute et permettre au 4e hussards de se rallier.
A la chute du jour la division de cavalerie rentra à son bivouac ramenant 170 prisonniers, dont 2 officiers, 250 chevaux, 6 pièces de canon, 12 caissons et une forge. Ce brillant fait d'armes coûta au régiment une vingtaine de tués ou blessés, dont deux officiers." 

C'est au ralliement du régiment que le Général d'Allonville eut ces paroles fameuse (in "Lettres de Crimée du capitaine de Berthois", Carnet de la Sabretache No.414) :
"Mes braves hussards, vous êtes les premiers de la cavalerie française qui ayez rencontré l'ennemi en rase campagne et vous l'avez fait de telle sorte que désormais dès qu'il apercevra nos pelisses rouges, il f...ra le camp. Vous vous êtes montrés les dignes enfants de la vieille Sabretache. Je vous remercie, honneur à vous". Il exultait de joie."

Bourseul fait partie des blessés - et non des moindres ; l'historique du 4e Hussards précise :
"2e escadron. (...) Le maréchal des logis Bourseul s'est élancé un des premiers sur les canons et est resté couvert de blessures sur le champ de bataille"
Le registre des officiers du 3e hussards, dans lequel il sera versé plus tard, énumère ainsi les blessures :
"Blessé au combat de Kanghil, le 29 Septembre 1855, de cinq coups de sabre à la tête, cinq coups de lance à la région postérieure du tronc, deux coups de lance au bras droit, deux coups de lance à la hanche droite, un coup de lance au genou gauche, un coup de lance au cou, et enfin un coup de lance à la région épigastrique."
Bourseul sera décoré de la Légion d'honneur suite à ce fait d'armes, par arrêté du maréchal commandant en chef, en date du 6 Octobre 1855.

Il rentre d'Orient le 30 Novembre 1855 ; il repartira en Crimée du 14 Avril au 26 Juillet 1856.
Il reçoit la décoration de S.M. la Reine d'Angleterre.

Ses aventures peu banales lui valent les honneurs du public.
Les "Fastes de la Guerre d'Orient" (E.Pick,1856) reprendront ainsi :

"UN HEROS DE VINGT-DEUX ANS.
                                                                                       ....Aux âmes bien nées,
                                                          La valeur n'attend pas le nombre des années.
Le jeune Bourseul, natif de Douai, département du Nord, engagé au 4e hussards, après avoir chargé, à la tête de son peloton, un escadron de Cosaques, en donnant l'exemple du courage le plus héroïque, fut relevé parmi les morts, couvert de dix-sept blessures.
Décoré sur le champ de bataille, à l'âge de vingt-deux ans à peine, il est aujourd'hui à la veille de recevoir l'épaulette. Nul doute que le jeune Douaisien ne remplisse de la manière la plus brillante une carrière commencée sous d'aussi glorieux auspices : c'est ainsi qu'ont débuté la plupart des plus vaillants capitaines de nos guerres de la République et de l'Empire.
Le jeune Bourseul est aujourd'hui de retour à Douai, où il a été accueilli avec l'enthousiasme le plus vif et les honneurs bien légitimement dus à une intrépidité aussi précoce."

Bourseul sera promu Lieutenant au régiment le 16 Mars 1861.
Cette année là, le régiment est désigné pour partir en Afrique. Le régiment se réunit à Moulins, dont il partira démonté le 12 septembre pour prendre le train pour Toulon.
Bourseul ne suit pas le régiment, qui est détaché à l'Ecole Impériale de Cavalerie de Saumur en compagnie du Sous-Lieutenant de Pins. Il y sert comme Lieutenant d'instruction du 9 Septembre 1861 au 31 Octobre 1862 (il obtient le No.5 sur 26).