Der Name der Stadt Horb geht wortgeschichtlich zurück auf die Beschreibung des Ortes am Neckar als sumpfiges Gebiet. Erste schriftliche Erwähnung findet Horb in Gestalt des Edelfreien Sigefridus de Horwa, der laut dem Codex Hirsaugiensis um 1090 als Zeuge eines Rechtsgeschäftes in Erscheinung tritt. Als Keimzelle der Neckarstadt gilt die einstige Burg am östlichen Ende des Schüttebergausläufers - im Bereich des früheren Krankenhauses - über den Talniederungen von Grabenbach und Aischbach. Vermutlich hatten die Edelfreien von Horb dort ihren Sitz.
Bereits in der zweiten Hälfte des 12. Jahrhunderts werden die Herren von Horb in den Quellen aber nicht mehr genannt. Ihre Güter scheinen vor allem in den Besitz der Pfalzgrafen von Tübingen gekommen zu sein. Im ersten Drittel des 13. Jahrhunderts verlieh Pfalzgraf Rudolf II. der jungen Siedlung das Stadtrecht und es etablierte sich in Horb eine Seitenlinie der Tübinger Pfalzgrafen, die auf dieser Burg residierte.
Die Stadt kam zu Beginn des 14. Jahrhunderts durch Heirat an Graf Burkhard IV. von Hohenberg. Die Grafschaft Hohenberg gelangte mit ihrem Herrschafts- und Verwaltungszentrum Rottenburg 1381 durch Kauf an Herzog Leopold III. von Österreich. Unter der Herrschaft der Habsburger entwickelte sich Horb im 15. Jahrhundert besonders durch Tuchwebereien, Tuchhandel, Kunstgewerbe und Weinbau zu einer blühenden Stadt. Mit seinen zahlreichen Kirchen und Klöstern bildete Horb auch einen geistlichen Mittelpunkt.
Am 10. und 11. Juni 1498 geriet Horb zum Schauplatz der großen Politik. Durch das Einwirken König Maximilians I. unterschrieb hier der württembergische Herzog Eberhard II., der aufgrund seiner Willkürherrschaft bei der landständischen Regierung in Ungnade gefallen war, seine Abdankungsurkunde - den sogenannten Horber Vertrag. Auf dieses geschichtliche Ereignis beziehen sich heute noch die Horber Ritterspiele.
Mehrere Katastrophen suchten Horb in vorderösterreichischer Zeit heim. Die großen Stadtbrände von 1556 und 1725 sowie zwei sturmflutartige Unwetter 1578 und 1584 musste die Horber Bevölkerung ebenso überstehen wie Pest und 30-jährigen Krieg.
Nach dem Preßburger Frieden vom 26. Dezember 1805, der das Ende der österreichisch-hohenbergischen Herrschaft bedeutete, nahmen am 12. Januar 1806 württembergische Truppen Horb in Besitz. Bald darauf erhielt es den Status einer württembergischen Oberamtsstadt und konnte seinen Amtsbezirk um ein Vielfaches vergrößern. Die Stadt dehnte sich allmählich aus, Gewerbe und industrielle Unternehmen siedelten sich an. Ebenso entwickelte sich Horb ab circa 1860 zum Eisenbahnknotenpunkt. Nicht zuletzt bedingt durch die enge Lage der Stadt im Tal, setzte sich der beginnende wirtschaftliche Aufschwung im 20. Jahrhundert zunächst nur zögernd fort.
Ab 1930 entwickelte sich die moderne Stadt auch auf der nördlichen Anhöhe, dem heutigen Wohngebiet Hohenberg. Jedoch erst nach dem 2. Weltkrieg begann der eigentliche wirtschaftliche Aufschwung der Stadt. Das Oberamt Horb wurde 1934 zunächst in Kreis Horb umbenannt und avancierte 1938 zum Landkreis Horb, der unter anderem den Großteil des Gebietes des aufgelösten Kreises Sulz zugeschlagen bekam. Mit der Landkreisreform zum 1. Januar 1973 wurde das Horber Landratsamt aufgelöst. Ein Teil der ihm angehörenden Kommunen wurde dem neuen Landkreis Freudenstadt zugeordnet, dessen größte Stadt heute Horb ist.
Durch die Verwaltungs- und Gebietsreform, die 1975 abgeschlossen war, entwickelte sich Horb zu einer ausgesprochenen Flächenstadt mit damals 18 Stadtteilen. Im Jahr 1980 überschritt Horb die 20.000 Einwohnergrenze und erhielt am 1. Januar 1981 den Status einer "Großen Kreisstadt". Inzwischen ist die Einwohnerzahl auf über 25.000 angestiegen und durch den Zusammenschluss von Ober- und Untertalheim im Jahr 2004 hat Horb heute insgesamt 17 Stadtteile.