Родился 30 июня (12 июля) 1894 г. в Одессе в еврейской семье. Фамилия писателя при рождении — Бобель. Его отец владел магазином в Одессе, затем семья на десять лет переехала в Николаев. Бабель учится сперва в Николаевском, а затем — вновь в Одесском коммерческом училище. Окончив его, он поступает в 1911 г. в Киевский коммерческий институт.
В детстве Бабель получил религиозное воспитание, изучал Талмуд. Позднее он много будет писать об окружавшем его в юности еврейском укладе и образе жизни. Первые литературные опыты Бабель предпринимает на французском языке. В быту же он с детства свободно общался на русском, идише и украинском.
В студенческие годы состоялась первая публикация Бабеля — рассказ «Старый Шлойме». Также студентом он встречается с Евгенией Гронфайн, на которой женится в 1919 г. В 1916 г. Бабель получает разрешение жить в Петрограде и учиться в Психоневрологическом институте. Он знакомится с Максимом Горьким, тот печатает два рассказа молодого писателя в своем журнале. Уже в 1917 г. Бабель оставляет учебу, он призван в армию и служит на румынском фронте, но вскоре дезертирует — в России произошла Октябрьская революция.
Период жизни Бабеля во время Гражданской войны плохо изучен и частью мистифицирован писателем. Известно, что он меняет несколько работ, в том числе — переводчика с французского в иностранном отделе ЧК. Бабель продолжает писать рассказы, статьи, журналистские очерки. Он знакомится с Михаилом Кольцовым и по его рекомендации отправляется военным корреспондентом в 1-ю Конную армию Семена Буденного. С кавалеристами писатель в 1920 г. участвует в Советско-Польской войне на территории Украины. Бабель ведет походный дневник, большей частью не сохранившийся. Жестокость войны производит на него оглушающее впечатление, в дальнейшем он посвятит этой теме десятки рассказов.
Вернувшись, Бабель продолжает работать журналистом, живет в Одессе, путешествует по России и Грузии. В начале 1920-х гг. он начинает работу над рассказами, вошедшими позднее в циклы «Одесские рассказы» и «Конармия». Писатель быстро становится знаменитым, о нем говорят как о ярчайшем представителе новых советских литераторов. Критики отмечают экспрессивный, оригинальный язык Бабеля, экзотичность его героев, мастерство образов и деталей. Конармейский цикл вызвал злобу со стороны Буденного, Ворошилова и некоторых других представителей власти за «негероическое» описание Красной армии и Гражданской войны. За Бабеля вступается Горький.
В 1924 г., после смерти отца и эмиграции матери с сестрой, Бабель переезжает в Москву. Через год жена писателя Евгения покидает советскую Россию. С 1927 г. Бабель несколько раз посещает семью во Франции, но сам отказывается эмигрировать. В 1929 г. у писателя рождается во Франции дочь Наталья (будущий литературовед Натали Браун). Также у него были дети от Тамары Кашириной — сын Эммануил Иванов, художник, — и от второй жены Антонины Пирожковой — дочь Лидия.
В 1925 г. Бабель увлекается сценарной работой. Сперва он делает киноинсценировку своего рассказа «Соль», по которой снимается двадцатиминутный фильм. Тогда же, в 1925 г., писатель создает титры для немого фильма Александра Грановского «Еврейское счастье». Затем Сергей Эйзенштейн предлагает Бабелю написать сценарий «Беня Крик». Эйзенштейн, ранее собиравшийся делать фильм по «Конармии», высоко оценивал прозу Бабеля, считая, что его приемы могут обогатить язык кино. Писатель увлеченно работает над сценарием, который режиссер планирует ставить в Одессе параллельно с «Броненосцем Потемкиным». Осуществить этот замысел оказалось невозможно, и фильм по сценарию Бабеля ставит театральный режиссер Владимир Вильнер. Получившейся картиной писатель остался недоволен. Сценарий «Бени Крика» опубликован как отдельное произведение в 1926 г.
В то же время Бабель по заказу Еврейского камерного театра перерабатывает для кино роман Шолом-Алейхема «Блуждающие звезды». Через два года выходят фильмы «Джимми Хиггинс» (по Энтони Синклеру) и «Китайская мельница» по сценариям Бабеля.
В 1927 г. Бабель вместе с другими популярными литераторами участвует в создании коллективного романа «Большие пожары». Тогда же написана и поставлена во МХАТе пьеса «Закат». В начале 1930-х гг. издаются сборником «Одесские рассказы», переиздана «Конармия». 1930 г. писатель собирает материалы для романа «Великая Криница» — о коллективизации на Украине. По сохранившимся свидетельствам, насильственное преобразование деревень в колхозы шокирует Бабеля. При его жизни из ненаписанного романа была напечатана первая глава «Гапа Гужва».
В 1930-е гг. Бабель публикуется все реже, его резкое и трагическое описание Гражданской войны, а также маргинального быта, контрастировали с официальной мифологией. Бабель продолжает писать «в стол».
Бабель много работает с редактурой чужих сценариев, в том числе участвует в написании сценария «Цирка» Григория Александрова. В 1935 г. он, певец Одессы, пишет и наговаривает закадровый текст советско-французского документального фильма о городе («Одесса» Жана Лодса). Сценарии же самого Бабеля больше не ставятся.
Последний раз писатель непосредственно участвует в киноработе, когда Эйзенштейн приглашает его написать новый сценарий к почти отснятому уже «Бежину лугу» — фильму о коллективизации, вдохновленному историей убийства Павлика Морозова. Бабель сочиняет диалоги и пытается выправить драматургию, но в 1937 г. все материалы картины «Бежин луг» были уничтожены, а Эйзенштейн и его соавторы обвинены в «формализме».
В 1937 г. Бабель пишет киноинсценировку романа «Как закалялась сталь» Николая Островского для Юлии Солнцевой, жены Александра Довженко. Фрагменты сценария были опубликованы в 1938 г. Перед арестом Бабель закончил сценарий «Старая площадь, 4» — о летчиках-испытателях.
В мае 1939 г. Бабель был арестован, обвинен в террористической деятельности и шпионаже — в том числе ему вменяли разглашение секретов советской военной авиации, о которой он писал сценарий. Бабеля расстреляли в январе 1940 года и похоронили в общей могиле.
Бабель был реабилитирован в 1954 г., в 1957 г. вышло первое собрание сочинений писателя. Большая часть его архива не сохранилась. Следователи конфисковали по крайней мере 11 папок с законченными произведениями, их судьба по-прежнему неизвестна.
Андрей Гореликов