坊間有關香港手語起源的記載甚少。較為詳盡的記載見於香港聾人福利促進會一九八七年出版的《香港手語源流發展》一書。這本書收錄了一些自一九四九年中國解放後香港聾校老師及社工的回憶軼事。據資料顯示，在六十年代創立的華僑聾啞學校，可算為現今的香港手語奠下了發展的基石。這所學校是由一群從南京、杭州及上海移民過來的聾人所創立的，他們一併帶來了屬於自己本鄉的中國手語方言。在同一時期，香港大概有七至十間為聾童而設的聾校或聾童會。這些機構的職工及老師中，有部份是從大陸移民過來的聾人，也有一些是本地的健聽人士，後者從前者身上學會了手語。當時大部份聾校或聾童會都採用手語作為教學語言，畢業的學生都能操流利的手語，因此香港手語亦逐步發展起來。但時至今日，基於聾童數目下降和政府推行的融合教育政策，香港目前只剩下一所聾童學校，它奉行以口語為主的教學語言政策，但有限度地納入手語爲教學語言。故此，能操手語的聾人正逐步減少。

　　總括來說，香港手語初期的發展在一定程度上是受到南京、杭州及上海手語的影響。Woodward (1995) 研究指出，香港手語及上海手語的基本詞彙有大約百分之七十七的同源語。這些年來，香港手語詞彙一直保留著跨語言影響的痕跡，例如：有一些香港手語詞彙源自中國手語、台灣手語和中文文法手語 (signed Chinese)。不過，跨語言的影響是否都出現在句法的層面上，仍有待語言學家考究。

　　語言常被稱為人類的天賦，但究竟什麼才是聾人的語言?他們所發出的聲音是否反映他們對語言方面的知識？他們所做出的一連串手語是不是反映了背後已形成了語言的知識呢？這一連串手語往往被誤以為是一些身體姿勢，又或是一種物件或事件的圖像性表達方法。另外，一般語言學的研究均指出健聽兒童學習口語是輕而易舉的，那麼聾童又如何跟健聽孩童一樣獲得這被認為是天賦的語言？手語是否能像口語一樣反映人類自然語言的語法結構？這一連串問題，當今的手語研究已有證據顯示其實「手語」是人類語言通過另外一個渠道來表達和接收的方法。這一連串手形符號標誌着語言的特質，可以被適當地描述為「語言」──「用手表達的語言」

　　過去三、四十年的手語研究加深了人們對手語本質的了解。基於近期手語語言學的研究成果，那些認為手語並不是自然及真正語言的錯誤想法現已一掃而空。這些研究作出了以下的結論：

• 手語並非一些有局限性的面部表情及手部動作，亦非純粹用身體姿勢來表達的溝通系統。
• 手語作為自然語言的地位並不低於口語。
• 手語也反映了人類語言的天賦，是聾童所獲得的自然人類語言，就如健聽兒童獲得口語一樣。
• 手語能夠在不同的社會環境，如學校、教堂、會議中發揮其語言性的溝通功用。

　　然而，本網頁不是要推廣一套標準的、有代表性的香港手語；相反，我們認為變體是自然的語言現象，在搜集手語資料的過程中，我們儘量將這些變體記錄下來，所以讀者不時會找到意思相同但打法不同的手語。