Zamek Sokolec, którego ruiny można jeszcze dzisiaj znaleźć na północno zachodnich stokach Krzyżnej Góry zbudowany został prawdopodobnie na początku XIII wieku z inicjatywy księcia Henryka Brodatego, któremu legenda przypisuje znalezienie w tym miejscu gniazda sokoła, co wiąże się z nazwą warowni. Wcześniej bo już w VIII — IX wieku istniał w tym miejscu wczesnosłowiański gród obronny.
W czasach, o których mówimy Krzyżna Góra nie nosiła jeszcze swojej nazwy związanej z postawieniem na jej szczycie siedmiometrowego żelaznego krzyża, ufundowanego przez księżnę Annę Marię Amelię von Hessen – Homburk, dla upamiętnienia rocznicy urodzin jej męża Wilhelma von Hohenzolerna. Krzyż odlano w hucie gliwickiej w roku 1830, a poświęcono na jednym z sześciu wierzchołków Gór Sokolich 28 maja 1832 roku.
Silne zniszczenia zabytku i brak badań terenowych uniemożliwiają dokładne i precyzyjne ustalenie układu przestrzennego i funkcji zamkowych budowli. Można jednak z całą pewnością powiedzieć, że podobnie jak w zamku Bolczów budowniczowie Sokolca w ciekawy sposób wykorzystali naturalne warunki terenowe. Zamek wzniesiono z kamienia na planie czworokąta poniżej szczytu góry w taki sposób, że masyw skalny szczytu stanowił południową kurtynę obwodu. Dziedziniec z pozostałych stron otaczał mur obwodowy o zaokrąglonych od północy narożach.
Wjazd do warowni umieszczono w kurtynie zachodniej i był on flankowany przez dwa niewielkie budynki. Nie wiadomo czy zamek posiadał wieżę. Na zewnątrz obwodu warownego dostrzec można ślady ziemnych wałów. Do naszych czasów z zamku zachowały się jedynie fragmenty murów przyziemia i zewnętrznych wałów ziemnych.
Od roku 1406 zamek był własnością Hansa von Tschirn z Płoniny, postaci niezwykle barwnej. Sokolec cieszył się w czasie wojen husyckich sławą gniazda rycerzy — rozbójników, co niewątpliwie stanowiło źródło wielu opowiadań o ukrytych na stokach Krzyżnej Góry skarbach. Hans von Tschirn popierał husytów, ale w 1434 roku zmienił poglądy i zaprosiwszy na Sokolec dwóch dowódców husyckich między innymi księcia Biedżycha w nocy z 11 na 12 sierpnia 1434 roku wydał ich w ręce wrocławskiego biskupa i świdnickich mieszczan. Paniczna ucieczka husytów z Sokolca miała swój tragiczny finał w skalnej przepaści, w którą spadali przerażeni Czesi. Od tamtej pory wzniesienie nad przepaścią nosi nazwę Husyckich Skał
Z okresem wojen husyckich i rodziną von Tschirn wiąże się jedna z legend mówiaca, jak pewnego razu małżonka własciciela zamku i dwie jego córki Uda i Gisela, udały się do zamku Bolczów na chrzciny. Przy tej okazji Uda zaręczyła się z synem rycerza Petschke von Zedlitz panującego w Maciejowej. Uroczystości trwały trzy dni. W zamkowych salach, wśród suto zastawionych stołów czas płynął szybko. Wieści o nadciąganiu dużego oddziału husytów spowodowały pośpieszną ucieczkę gości, z których każdy usiłował jak najszybciej wrócić do domu, pod ochronę potężnych zamkowych murów. Szlachetne damy z Sokolca także wsiadły do swojego powozu, aby szybko udać się w powrotną drogę do domu. Husyci byli jednak blisko i wydawało się że panie von Tschirn znalazły się w poważnym niebezpieczeństwie. Panowała ciemna noc, w mrokach której woźnica pomylił drogę i zboczył w stronę skalnego urwiska. Wszyscy wpadli w przepaść i roztrzaskali się. Od tamtej pory spóźnieni turyści mogą w okolicy Husyckich Skał usłyszeć przerażone głosy, szczęk broni i turkot rozpędzonego pojazdu.
Opowieści o zakopanych w ruinach Sokolca kosztownościach sprawiły, że od ponad pięciuset lat zbocza i załomy skalne Krzyżnej Góry przyciągają poszukiwaczy skarbów . Według legendy w kilka lat po zniszczeniu warowni do ruin wybrał się Stefan z Giecza. Po niedługich poszukiwaniach znalazł kilka grudek złota i wielki ciężki kielich. Kiedy chciał już wracać ze zdobyczą do domu nagle zauważył osła. Zwierzę wzięło do pyska kielich i odłożyło na bok, a w zamian przyniosło Stefanowi złotą kulę. Chytry człowiek nie zrezygnował jednak z kielicha. Całą zdobycz wrzucił do worka i objuczył nim osła, który w drodze do domu padł. Stefan postanowił zatem przetopić całe złoto i odlać z niego figurę osła. Jak zamyślił tak uczynił. Jednak, kiedy osioł był już gotowy rozległ się głos mówiący„mimo ostrzeżeń przetopiłeś Świętego Graala, kielich używany przez samego Jezusa Chrystusa podczas ostatniej wieczerzy. Będziesz za to przeklęty na wieki.” W tym momencie złoty osioł zapadł się pod ziemię, a chciwy Stefan zamienił się w kamień. Podobno złote zwierzę wciąż czeka na swojego odkrywcę.
Zwiedzając okolice Krzyżnej Góry i widniejące na jej zboczu zamkowe ruiny, także dzisiaj nie sposób oprzeć się posępnemu urokowi okolicy i wspaniały widokom roztaczającym się z Gór Sokolich. Opowiadania o duchach i zjawach zamieszkujących te malownicze zakątki Rudaw Janowickich nabierają w czasie takich wędrówek nowych treści ubarwiających nawet najbardziej trudne szlaki.