Nació en 9 Back Park Street, en Leeds, hijo de un policía retirado.
Grimshaw tuvo una educación bastante estable (su padre era policía, su madre regentaba una tienda de comestibles y ambos eran baptistas estrictos). Por lo tanto, como era de esperar, su primera carrera también fue estable, como un humilde empleado ferroviario más que como un artista. Esta vida joven sin complicaciones también incluyó un matrimonio con su prima Frances en 1856.
Sin embargo, a pesar de la desaprobación de sus padres, el espíritu creativo afloró gradualmente. Animado por su joven esposa, dejó su trabajo en Great Northern Railway a la edad de 24 años para convertirse en pintor. Aunque con la ayuda del patrocinio de la Sociedad Filosófica y Literaria de Leeds, fue en gran parte autodidacta. Primero vendió su trabajo a través de un librero local. Sin embargo, a principios de la década de 1860, había comenzado a exhibir sus cuadros más ampliamente y su reputación como pintor paisajista popular de escenas otoñales nocturnas y melancólicas creció rápidamente. Hoy está considerado como uno de los mejores, si no el mejor, intérprete de paisajes nocturnos del siglo XIX
Comenzó a exhibir en Leeds en la década de 1860 con naturalezas muertas minuciosamente observadas. En 1870, tuvo el éxito suficiente para alquilar una mansión del siglo XVII, tras la muerte de tres de sus hijos en su casa de Leeds. Lo llamó Castle by the Sea, encaramado en lo alto de un acantilado, tiene magníficas vistas de las bahías norte y sur. El nombre de su casa en Scarborough proviene de un poema de Longfellow. El traslado a la costa inspiró gran parte de la obra más atractiva del artista, a lo largo de su carrera siempre se sintió atraído por los barcos, el mar y los muelles.
En la década de 1870 experimentó con una técnica más suelta y con temas clásicos a la manera de Lawrence Alma-Tadema, temas históricos y damas contemporáneas a la manera de Tissot, estos últimos fueron particularmente exitosos. Pero el verdadero avance en ese momento fueron las escenas nocturnas, las 'luces de luna' con las que generalmente se le asocia hoy. A mediados de la década tomó una segunda casa en Scarborough, y hay muchas pinturas de paisajes marinos de noche. También viajó a Liverpool y Londres en busca de material y se diversificó una vez más en temas 'literarios'. Grimshaw pintó principalmente para mecenas de arte privados y exhibió solo 5 obras en la Royal Academy entre 1874 y 1886 y una en la Grosvenor Gallery. Las ciudades y muelles que pintó con mayor frecuencia fueron Glasgow, Liverpool, Leeds, y Scarborough.
El estilo y el tema de Grimshaw cambiaron poco durante su carrera; se esforzó constantemente por perfeccionar su propia visión muy individual. Estaba interesado en la fotografía y, a veces, usaba una cámara oscura para proyectar contornos sobre lienzo al óleo, lo que le permitía repetir composiciones varias veces. También mezcló arena y otros ingredientes con su pintura para obtener los efectos que deseaba. Aunque no estableció una escuela, las pinturas al óleo de Grimshaw fueron falsificadas e imitadas durante su vida. Aunque sus vistas de ciudades a la luz de la luna son sus obras más populares, también pintó paisajes, retratos, interiores, cuadros de hadas y temas neoclásicos..
Alrededor de 1880, Grimshaw sufrió una crisis financiera desconocida y se retiró, regresó a Leeds y aumentó su producción a unas cincuenta pinturas al año. Ciertos elementos de realismo social entran en sus pinturas por esa época, siendo la noche un buen momento para registrar formas de vida menos respetables. La producción de luces de luna continuó durante la década de 1880, particularmente de escenas callejeras y en los muelles, pero también hubo experimentos continuos. Intentó pintar sobre fotografías, sorprendiendo a algunos historiadores del arte moderno. Probó con pinturas mucho menos precisas, casi ingenuas, que reflejaban su amistad con esa otra criatura nocturna, Whistler, quien, en un raro brote de generosidad, había cedido a Grimshaw la prioridad en el género de la pintura al óleo 'luz de luna'.
Durante su período inicial, firmó con "J.A. Grimshaw", pero en 1867 abandonó el "John" y firmó como Atkinson Grimshaw. Por lo general, firmaba sus cuadros en la parte delantera y trasera. Dos de sus hijos, Arthur y Louis, también fueron pintores al óleo. Es difícil saber qué podría haber intentado a continuación este pintor innovador e ingenioso, si no hubiera muerto de cáncer a la edad de 57 años.
