Первые укрепления в Скале возникли еще в раннеславянские времена и представляли собой деревянно-земляное городище. Деревянный замок, скорее всего, был сожжен татаро-монголами. На его месте в 1370-х годах князья Кориатовичи, владевшие Подольем с 1331 года, построили каменную крепость. В то время Скала-над-Збручем наряду с Каменцем, Червоногрудом, Бакотой и Брацлавом считалась одним из крупнейших, укрепленных городов Подолья. В конце XIV века подольские земли перешли к князю Витовту, а в 1443 — в собственность польского короля. В 1498 году король Ян Ольбрахт на 15 лет освободил жителей города от налогов. Эта привилегия для горожан была продлена еще на 10 лет в 1510 году.
В 1515 году польский король Сигизмунд I отдал город «в вечное пользование» каменецкому старосте Станиславу Лянцкоронскому (1465 — 1535), а уже в следующем году замок в Скале был сожжен татарами. Лянцкоронский начинает его восстановление за счет горожан, которых на 2 года освободили от налогов. В 1518 году Сигизмунд I предоставил Скале-над-Збручем Магдебургское право, а с ним и разрешение на ежегодную ярмарку в праздник Вознесения Господня и еженедельные торги по вторникам. В то время город стал центром Скальского староства и вскоре получает свою печать с изображением замка (1531 год).
В 1538 году Скалу вместе с замком уничтожили валахи. В тот же год сандомирский воевода Станислав Лянцкоронский начал перестройку укреплений. Каменный замок был возведен на высокой скале около 50 метров над уровнем реки. Скалы круто обрываются на западе и севере до ручейка Чернушка, а на востоке — до широкой поймы Збруча. Первоначально детинец занимал мысовую часть скалы, а позже расширился на ее напольную часть. Замок имел неправильную форму, что было обусловлено рельефом местности.
Когда подходишь к замку со стороны города, создается впечатление, что место его расположения выбрано неудачно: он якобы находится в яме ниже уровня дороги. Это представление сразу же исчезает, когда оказываешься на замковой территории, а особенно, когда смотришь на замок со стороны Збруча. Само местоположение крепости на высокой неприступной скале и послужило ее естественной защитой. С юга, со стороны с современного города, там, где сейчас проходит главная улица, действительно находилось уязвимое место крепости. Там был вырыт глубокий ров, от которого сегодня не осталось и следа, возведены каменный забор и оборонная пороховая башни.
Пороховая башня – лучше всего сохраненная деталь замка в Скале. Она имеет четыре яруса. Первый ярус прямоугольный, внешняя часть остальных трех ярусов с внешней стороны замка округляется. Все четыре яруса имеют бойницы. На первом ярусе они ключевидные, на других — прямоугольные. Крыша на башне отсутствует. Легенды утверждают, что под замком находится много подземелий, которые начинаются именно в пороховой башне. Некоторые из них вели к Каменцу (к которому отсюда 40 километров). С их помощью жители спасались от турок, татар, валахов. Сейчас вход в подземелья засыпан.
Рядом с пороховой башней на южной стене замка находились въездные ворота, к которым вел подъемный мост на огромных цепях. От них, к сожалению, ничего не осталось. А от замковых стен сохранилась примерно их половина. Большинство из них просматривается со стороны реки. Среди местных жителей существовала легенда о том, что замок построили турки на яичном растворе. Конечно, это выдумка: захват турками Подолья наоборот стал началом конца замка в Скале.
В 1615 году замок разрушили татары, а в 1620 году город пытались взять турки, спалив большинство домов и повредив замок. Для обороны от османов во время Хотинской войны краковский и русский воевода Станислав Любомирский устроил в замке польский военный лагерь. В 1648 году, когда Скала принадлежала одному из руководителей шляхетских войск, брацлавскому и русскому воеводе Станиславу Лянцкоронскому, крепость захватили казаки под предводительством Максима Кривоноса, изгнав оттуда польский гарнизон. Замок был значительно разрушен, когда в нем в 1657 — 1658 году находилась залога князя Трансильвании Дьердя II Ракоци. Ракоци в то время вместе с украинскими и шведскими войсками воевал против поляков. Описание 1665 года гласит, что «замок, построенный на скале, и обведенный вокруг стеной, пришел в полнейшее запустение».
Последний раз замок разрушили турки в 1672 году, когда захватили Подолье. После этого он уже не восстанавливался. В середине XVIII века Скальским старостой был Адам Тарло, который перестроил замок в свою резиденцию. Он отремонтировал стены и башню, а также возвел на территории замка двухэтажный дворец в стиле барокко. Дворец разделял детинец на две части: парадный и внутренний дворы. Между ними находился сквозной проезд, который располагался на первом этаже дворца. Дворец украшают белокаменные барокково-классицистические резьбы над окнами. Он имел большие сводчатые подвалы, которые и сегодня являются частично доступными.
С люстрации 1762 года следует, что резиденция Тарло была недолго. Через несколько лет во дворец попала молния и разрушила его. Так он и пустует два с половиной века. Следующие владельцы Скалы Голуховские не стали восстанавливать дворец и замок, а выстроили свою резиденцию на южной окраине города. С тех пор местные жители неспешно разбирают замковые развалины на стройматериал.
В австрийский период о замке в Скале (как и о других замках) никто не заботился. В начале ХХ века его руины использовались, как пограничная застава. Во время Первой мировой на территории замка были выкопаны окопы, которые позже поросли травой. Таким образом, прогуливаясь по замковому двору, надо внимательно смотреть под ноги.
Лучший вид на замок открывается с противоположного Хмельницкого берега. Чтобы насладиться этим видом, надо спуститься от замка по тропинке к Збручу и перейти его по кладке.