Pierwszy zamek powstał w tym miejscu, wg K. Wehsego, przed rokiem 1120 i zbudowany został zapewne przez króla Czech. Pierwszym znanym z nazwiska panem lennym zamku był czeski szlachcic Thamo Glubos. Rodzina Glubosów posiadała w herbie złotego karpia umieszczonego na niebieskim tle, stąd też ma pochodzić nazwa zamku.
Karpień był w XIV i XV w. centrum państewka obejmującego obszar doliny górnej Białej Lądeckiej i jej dopływów powyżej Radochowa. Pan posiadał zamek, sąd ziemski w Lądku, prawo pieczęci oraz 13 wsi. Na Ziemi Kłodzkiej istniały wówczas jeszcze dwa inne podobne państewka z centrami na zamkach Homole oraz Szczerba.
Sam zamek powstał zapewne w sąsiedztwie nowo tworzonego centrum osadniczego jakie stanowiło miasto Lądek otoczone wieńcem wiosek. Jednak położenie zamku głęboko w górach, według dzisiejszego spojrzenia na pozór mało sensowne, miało swą wielką wagę. Zamek strzegł położonej naprzeciw niego Przełęczy Karpowskiej, która już wówczas musiała odgrywać ważną rolę w komunikacji pomiędzy Ziemią Kłodzką a obszarami wschodniego Śląska. Przełęczą tą, a następnie u stóp zamku przebiegała zatem pierwsza droga nazwana później Solną Drogą. Po drugiej stronie gór odpowiednikiem Karpienia był zamek Rychleby, górujący nad Rakową Doliną (Rači udoli) ciągnącą się na północny wschód od Przełęczy Karpowskiej.
W czasie swego około półtorawiecznego funkcjonowania szczególną rolę odegrał zamek w okresie wojen husyckich i bezpośrednio po nich. Zamek, tak jak i Lądek został zniszczony w marcu 1428 r. w trakcie pierwszego najazdu husytów na Ziemię Kłodzką, i powtórnie w 1431 r.
Ostatnim panem zamku był możnowładca czeski Hinko Krušina, który w 1440 r. wykupił zastaw Ziemi Kłodzkiej, lecz pod pozorem działalności politycznej trudził się rozbojem i rabunkiem. Na drodze do Nysy porwał ludzi orszaku księcia opawskiego Wilhelma i wypuścił ich z lochu Karpienia dopiero po otrzymaniu 99 guldenów okupu. W dniu 28 V 1442 r. najechał i splądrował klasztor w Henrykowie. To, oraz ciągłe rozboje w sąsiednim księstwie biskupim spowodowały, że biskup wrocławski Konrad zwrócił się o pomoc do księcia Wilhelma i pod jego dowództwem wojski niektórych miast księstw śląskich 15 VI 1443 r. zdobyły i zniszczyły (?) zamek Karpień. Tym samym przestało istnieć państewko karpieńskie.