Budynek do 1847 przeszedł kilka gruntownych modernizacji, których zadaniem było podniesienie wydajności i jakości produkcji. We wrześniu 1850 roku młyn spłonął. Został odbudowany, jednak 26 lat później kolejny pożar przerwał pomyślny rozwój zakładu. Wtedy to powstał istniejący do dziś budynek olejarni z czerwonej cegły, zdobiony neogotyckimi detalami, pierwotnie składający się z trzech części.

Podczas wojny budynek uległ częściowemu zniszczeniu. Ocalał masywny budynek produkcji. Po wojnie mieściła się tam ponownie olejarnia produkująca olej rzepakowy. W późniejszym czasie działała tam fabryka szczotek a ostatnio odlewnia metali kolorowych. Była ona czynna do połowy lat 90 XX wieku, kiedy to budynek został opuszczony.

Zatem budynek olejarni to szczególny zabytek wpisany nieodzownie w historię i architekturę miasta Szczecina. Dziś „Olejarnia” to relikt przeszłości, symbol zachodzących zmian i bardzo zniszczony budynek odchodzący powoli w zapomnienie. Niszczony przez nieubłagalny czas i ludzką obojętność ma dziś szanse ponownego powstania i ocalenia dzięki nowej duszy jaką jest inicjatywa Fundacji Balet. Pragnie by w budynku powstał Międzynarodowy Dom Sztuki w tym m.in: szkoła baletowa z internatem, teatr, galerie…, i aby to miejsce stało się kulturalną wizytówką Szczecina.