哈尔滨的历史与铁路是密切相关的。1898年以副局长兼副总工程师依格纳齐乌斯为首的东清铁路工程局全体工作人员，乘“海兰泡号”汽船，沿乌苏里江、黑龙江、松花江到达哈尔滨码头（今道里江畔九站附近）。东清铁路工程局从海参崴迁至哈尔滨，驻扎在香坊永发源烧锅院内开始正式办公，并在香坊西修建了火车站，命名为“哈尔滨站”，同时宣布中东铁路全线开工。由于哈尔滨站在西香坊区之内，所以当时整个西香坊最初就被称为“哈尔滨”或“哈尔滨区”。我想这大概就是“先有香坊，后有哈尔滨”的由来吧。

香坊火车站是座典型的俄式建筑，圆圆的红色屋顶，高大的门窗，米黄与白色相间外墙，墨绿色的窗户框，用一个再简单不过的词来形容就是“大大方方”。这座火车站至今已有百年的历史，值得庆幸的是，它居然逃脱了十年浩劫而安然无恙，基本保留了原始的风貌，所以也是热播的电视剧"夜幕下的哈尔滨"、“悬崖”主要场景之一！

同时也在九站修建了一座车站“松花江站”，这是一座临时性质的货运车站，位于紧贴着松花江边的大堤上，这样铺设的目的很清楚，就是便于将从俄国水运而来的铁路物资运到附近的铁路车辆厂去。据说现在的“江畔餐厅”，就是由此站改造而来。当时建有货运轨道线3条，与松花江码头的水路航运相连，成为哈尔滨的水陆联运码头。后由于水路码头逐渐淤浅，失去水陆联运的条件，码头站的功能也逐渐消失，最后停止使用。车站于1953年拆除，仅留下江畔餐厅，这栋极具俄罗斯风格的砖木结构建筑。

1903年7月14日，中东铁路工程局局长尤格维奇通电全路，宣布中东铁路完全建成。中东铁路干线从满洲里车站以西的国界起，经哈尔滨到绥芬河车站以东的国界止，全长1514.30公里；中东铁路南支线从哈尔滨车站中心起，至旅顺口车站线路终点止，全长974.90公里；中东铁路线路总长2489.20公里。中东铁路从1897年动工至1903年通车，历时6年，耗资3.75亿金卢布。同年哈尔滨站正式动工。

1904年，哈尔滨站站房竣工投入使用，秦家岗站更名哈尔滨站，也称总站或中央车站，是全线唯一的一等站。新站舍为新艺术风格，建筑面积2700平方米，中央大厅宽敞明亮，左侧为一、二等候车室和餐厅；右侧为售票室、三等候车室。同时原“哈尔滨站”改名“老哈尔滨站”，解放后又将“老哈尔滨站”改名“香坊站”。

哈尔滨“老票房子”是一座典型的俄国新艺术运动的产物，由俄国建筑师基特维奇设计。在这幢车站修建之前，作为临时的票房子仅仅是一两幢木板房，旅客大都是修建这条铁路的工程技术人员、护路的军人、工人和他们的家属，不卖票，仅凭证件就可以上火车了。所谓的车站站台，不过是胡乱铺着木板和石头的烂泥地，没有广播也没有钟敲，火车开车或靠站全凭两手乱舞的站长吹哨子加嗓子喊。开车或到站也没什么准点，一切都是“看情况”。老火车站建成后，它不仅是哈尔滨这座城市的正式门户，也是俄罗斯新艺术运动建筑艺术在哈尔滨落脚的一个重要的标志和始发点。所以，尽管我们心存极复杂的想法，它仍然是一幢有着纪念碑意义的老建筑。

随着哈站旅客运量不断上升，老站舍因无法适应客流需求，于1960年3月8日至28日拆除，令人惋惜。据说老站舍十分坚固，拆除时动用了炸药和坦克（撞墙）。同时在原址重建，当时只留下火车站前的苏联红军解放东北纪念碑。新站由主楼、东翼、西翼三部分的大型现代化站舍组成，规模和外形都近似北京火车站。但后期由于资金紧张，工程停工，当时成为笑谈（外地人戏称：哈尔滨一大怪，候车室两边盖）。

1972年5月 为迎接柬埔寨国家元首西哈努克亲王来哈为期6天的访问，有关部门在东、西两翼间的空白地带建起了一个连廊。同时，哈尔滨站进行第三次扩建工程，候车室面积增加一倍。

1988年 哈尔滨站进行了第四次修建改造，也就是已拆除的原哈站。新建主楼，两翼增加一层、重新装修，新建第三、第四候车室，新建两座高架天桥、室外通廊，新增两部自动扶梯。主楼铺装了大面积的茶色镜面玻璃、安装了大钟、兴建了与防洪纪念塔遥相呼应的半圆弧环状雨搭，完成后一直是哈市标志性景观。

1989年10月1日，经过三十年断断续续的施工，哈尔滨新站舍全部建成，建筑总面积2．8万平方米。

由于原哈尔滨站已使用逾20年之久，故存在多方面问题，如站台低矮、破损，列车接发能力不足，候车室面积过小且已经进入满负荷运转（年接待客流量已达到2800万人），主要站房南北距离过长导致旅客通行不便、北侧霁虹桥下净空不足导致列车通过能力下降等。为解决上述问题，哈尔滨市在2014年启动火车站改造计划，并于次年开始着手进行，2018年9月底前工程全部完工，目前火车站南站房及1-9站台，雨棚，高架候车室已开始拆除，建设。

新站房采用欧洲“新艺术运动”风格设计理念，是纯欧式建筑风格的站房，将还原百年哈站的历史风貌。工程已于2015年12月1日开工建设,主要包括新建南站房、北站房、高架站房、站台、雨棚等。目前，新建哈尔滨站北站房，已投入使用。