Tercüme odası ismi Osmanlı İmparatorluğu'nda Bab'ı Ali Tercüme Odası ya da Bab'ı Ali Tercüme Kalemi olarak bilinmekteydi.Tercüman kadrosunun eğitim görüp yetiştirildiği ve diğer devletlerle olan yazışmaların yapıldığı yerdir.Osmanlı İmparatorluğu'nun yıkılışına kadar hizmet veren bu kurum 1821 yılında kurulmuştur ve 1871 yılında Dış İşleri Bakanlığı'na bağlanmıştır.Kuruluşu ise Rum tercümanların Yunan İsyanı'nda Yunan tarafı tutmasıyla mecburen yapılmıştır.Müslüman ve Türk memurlara dil öğretmek ve tercüme işinin yapılması için kurulmuştur.Tanzimat döneminin yüksek seviyedeki memurları ve bir takım aydınlar Tercüme Odası çatısında yetişmişlerdir.
Osmanlı Tercüme Odası'nın ilk tercümanı Yahya Naci Efendi'dir.Kurulduğunda ufak bir ekiple klasik bir devlet dairesi görünümünde olan Tercüme Odası zamanla 75 80 çalışana ulaşarak devletin diplomatik faaliyetlerinde önemli bir noktaya gelmiştir.İlk tercümanı Ahmet Vefik Paşa`nın dedesi olan Yahya Naci Efendi daha sonra da meşhur baş hoca İshak Efendi Tercüme Odası'nın başına getirilmiştir. Osmanlı İmparatorluğu yapısından dolayı itibari birden çok ırkı , kültürü , etnik yapıyı ve de dolayısıyla bir çok dili bünyesinde barındırıyordu.Bu karmaşık yapının , sorunları , anlaşmaları hukuki işlemleri için Tercüme Odası'na çokca iş düşmekteydi.Temelde diplomasi yazışmaları yapan bunun yanı sıra gümrük, pasaport, maarif, telgrafçılık gibi Fransızca bilgisi gerektiren her durumda görev yapmıştır. Halil Esrar Efendi'nin ölümü üzerine 1835'te Tercüme Odası'nın başına Tecelli Efendi geldi.Bu dönemde Tercüme Odası'nın görevlerinin üzerine Osmanlı İmparatorluğu'nun ilk resmi gazetesi olan Takvim-i Vekayi'nin Fransızca'ya çevrilmesi de eklendi. 1837'de Ali Efendi, Tecelli Efendi'nin yerine Divan-ı Humayun tercümanı oldu.1856 yılında da Kırım Savaşı nedeniyle Dış İşleri Bakanlığı'na gelen İngilizce belgeler üzerine Tercüme Odası İngilizce çevirilere de başladı.
Tercüme Odası'nın dil yapısına da birçok etkisi oldu.Özellikle Tanzimat Devri'nde Türk dilini ve düşüncesini şekillendirmeye başladı.Tercüme Odası'nın çevirmenlerinin çalışmaları sonucunda Türkçe'ye yabancı dilden teknik terimlerin yanında deyim ve sözcükler girmeye başladı.Bu dönemde Türkçe'nin günlük dil kullanımı ve üslubu da değişmeye başladı.Tercüme Odası'nın etkisiyle geniş , ağdalı cümleler yerine kısa ve sade cümleler kullanılmaya başlandı.Devletin son dönemlerine kadar etkili bir şekilde çalışan Tercüme OdasıTürkiye Cumhuriyeti tercüme odalarının da temelini oluşturmuştur. Osmanlı İmparatorluğu döneminde günlük ve yazı diline etkilerinin yanında tercüme yöntemleri konusunda da günümüz çevirmen ve tercümanlarına bir kaynak olmuşlardır .