1929年6月，黄自放弃了美国锦绣的前程和优裕的物质生活，在游历了英、法、荷、意诸国后，于同年8月底带着对音乐教育事业的满腔热忱回到了阔别5年的祖国，时年25岁。回国后，黄自最初在上海沪江大学附属中学担任音乐教员。第二年，黄自接受了萧友梅的邀请，担任上海国立音专的教务主任和教员，当时的上海国立音乐专科学校刚刚改组，百废待兴，校长萧友梅求贤若渴，急需主管教务的人才。最初萧友梅本属意好友青主，后来听到黄自回国的消息便立即登门拜访，破格任用了年轻有为的黄自，并且极为倚重。从此，黄自与上海音专结下了难解之缘。

音专草创时期，教务繁重，规章制度混乱，教员也严重不足。身为教务主任的黄自，不仅要处理琐细的教务工作，还不得不承担了大量的教学任务，独当一面，工作极其繁忙。黄自的学生、上海音乐学院的老院长贺绿汀曾在回忆文章中写道，“黄自先生以二十五岁的青年，在上海音专担任繁重的教务工作外，还把全部理论作曲课包括共同课都由他一人包下，从初级和声及键盘和声、对位法、曲体学、配器法、音乐欣赏、音乐史一直到自由作曲他都教，他除了繁重的教学工作外，还从事各种音乐形式的音乐创作，甚至和他的学生共同编写中小学音乐教科书，创造大型的合唱曲、爱国歌曲、艺术歌曲以及电影音乐。”我们不禁为黄自先生扎实的专业功底、充沛的精力、优秀的行政能力、组织能力及他敏锐的创作才华而惊叹！

身为名人，免不了会有一些流言，即使像黄自这样谦虚谨慎的人也未能免俗，萧黄矛盾之说便是如此。“树欲静而风不止”，萧友梅与黄自，一个是上海国立音专的校长，一个是教务主任，是上海国立音专的两大举足轻重的人物。随着音专的发展，二人矛盾之说却愈演愈烈，特别是黄自因专心创作而辞去教务主任的职务后，一时甚嚣尘上，连外国人都知道了。有的说是黄自有野心，要当音专的校长；有的说是萧友梅拒不接受黄自提出的改革意见，以至黄自愤而辞去教务主任一职。那么萧黄矛盾之说到底是怎么回事呢？我国著名的音乐史学家廖辅叔认为，两人的矛盾更多的是由别人造成的，并举例说：一次，黄自家里来了一位胡姓客人，称会看相，接着讲起自己看相的故事。夫人汪颐年听得兴起，想到萧友梅常闹病，年纪也大了，便问他对萧先生的寿命如何估计？结果被有心人传布，等萧友梅听说时，已经被传为：汪颐年问胡姓看相的萧友梅什么时候死。类似的事件很多，“众口铄金，积毁销骨”，谎言说多了，也便被当作了真理。大家也就都认为萧黄二人有矛盾。其实，二人的关系颇为亲密，萧友梅可以说是黄自的伯乐。黄自逝世后，萧友梅在写给教育部的呈文中，还历数了黄自对音专的贡献，请求教育部准将黄自的薪水继续发给黄自的家属，直到聘书期满为止。而黄自为人又是极谦虚的，平易近人，对学生都不会苛责，对萧友梅更是尊重。“黄自有野心”一说根本是无稽之谈，更何况，以黄自的能力和声望，也不需如此，如果有，那也是对音乐的野心，对创作的野心！