Le prime testimonianze di un complesso abitativo nel territorio di Rufina risalgono al IX secolo a.C., successivamente hanno abitato questi luoghi sia gli etruschi sia i romani.
In epoca alto medievale le sole tracce di insediamenti importanti nel territorio rufinese riguardano le frazioni di alta collina di Turicchi, Castiglioni (sede di un castello dei conti Guidi) e di Pomino (sede di una pieve millenaria dedicata a san Bartolomeo). Nell’XI secolo, quindi, la zona fa capo ai Conti Guidi mentre nel secolo successivo il controllo del feudo passa ai vescovi di Fiesole. Nel XIII secolo a questi ultimi viene riconosciuta la possibilità di formare la Contea di Turicchi diventandone i relativi conti. Tale diritto fu riconosciuto fino al XVIII secolo dopo che era stato avallato da Cosimo I de’ Medici. Sempre nel XIII secolo parte del territorio di Rufina è in possesso dei Cerchi e dei Donati.

I primi insediamenti documentati nell’area di Rufina risalgono alla fine del Seicento con l’insediamento di un convento di frati al Poggiolo; i frati costruirono argini, operarono una serie di bonifiche lungo il corso del fiume Sieve e incrementarono la coltivazione della vite. Successivamente la zona vide un’espansione demografica con l’edificazione di fattorie e ville padronali.

L’abitato di Rufina ebbe origine nel 1760 da un nucleo di case sorte nei pressi del ponte sul torrente Rufina, lungo la strada che collegava il Mugello e la Romagna Toscana con Firenze. Nel triennio seguente al 1783 è costruito il ponte sul Rufina che contribuì a sviluppare i collegamenti con Dicomano e San Godenzo. Il 30 giugno 1819, con il contributo della famiglia Casini, è consacrata la chiesa dedicata a san Martino; al santo era dedicata anche l’antichissima chiesa, secondo fonti storiche, presente nel luogo attorno al XIII secolo, di cui oggi non rimane alcuna traccia.

Rufina, fece parte dell’antica podesteria di Pontassieve e divenne comune autonomo con decreto luogotenenziale il 2 dicembre 1915 a seguito di un referendum sulla separazione dal comune di Pelago.

Nel corso della Seconda guerra mondiale, il 17 aprile 1944, in località Berceto presso la frazione di Pomino, truppe tedesche e fasciste della RSI nel corso di un rastrellamento catturarono e fucilarono immediatamente due partigiani, Guglielmo Tesi e Mauro Chiti, successivamente trucidando 9 civili colpevoli di averli ospitati.

Un primo stemma venne concesso al Comune con regio recreto del 13 ottobre 1927: partito: al 1° d’azzurro, all’aquila dal volo abbassato, posta su di un fascio littorio orizzontale, il tutto d’argento; nel 2° d’oro, a due tralci di vite fruttati di quattro, al naturale, decussati e ridecussati con una stella [a sei punte] d’argento, in alto sulla partizione. Questo stemma venne modificato una prima volta dopo la caduta del regime, togliendo il fascio littorio dalla prima partizione. Alla fine degli anni Cinquanta la figura dell’aquila venne sostituita da tre spighe di grano d’oro, legate d’argento, mantenendo il colore azzurro del campo, e la stella d’argento a sei punte venne modificata in una rossa a cinque punte.

Lo stemma attualmente in uso è stato concesso, assieme al gonfalone, con decreto del presidente della Repubblica del 4 giugno 1987.

Per la prima partizione venne assunto come riferimento storico il simbolo della contea di Turicchi, anticamente infeudata ai vescovi di Fiesole e successivamente inglobata nel comune.

Il gonfalone è costituito da un drappo di azzurro.