Чем разбить гигантский txt файл? - Форум успешных вебмастеров - GoFuckBiz.com - Страница 2
 
 
Форум успешных вебмастеров - GoFuckBiz.com

  Форум успешных вебмастеров - GoFuckBiz.com > Бизнес-решения > Скрипты, программы и технические решения
Дата
USD/RUB88.4375
BTC/USD68049.7798
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии.

Закрытая тема
Опции темы Опции просмотра
Старый 16.01.2015, 02:28
Start Post: Чем разбить гигантский txt файл? 
  #11
SAW
Senior Member
 
Аватар для SAW
 
Регистрация: 25.04.2008
Сообщений: 157
Бабло: $63770
По умолчанию

Имею файл на 54Гб в txt формате. Нужно назбить на более мелкие файлы. Чем это можно сделать?
SAW вне форума  
Старый 16.01.2015, 03:14   #12
antonanet
Вот так.
 
Регистрация: 03.10.2008
Сообщений: 354
Бабло: $80608
По умолчанию

TextPipe Pro

хотя хз, может просто тупо не хватать оперетивки...
antonanet вне форума  
Старый 16.01.2015, 04:12   #13
7make
Senior Member
 
Аватар для 7make
 
Регистрация: 02.07.2011
Сообщений: 731
Бабло: $196220
По умолчанию

выкладывай файл..разобьем..
7make вне форума  
Старый 16.01.2015, 08:10   #14
chesser
автоматизирую интернеты
 
Аватар для chesser
 
Регистрация: 05.07.2009
Адрес: chesser.ru
Сообщений: 3,348
Бабло: $470735
По умолчанию

https://ru.wikipedia.org/wiki/Split - ему все равно какие объемы бить

split -b=100m file.txt
__________________
USA и NL серверы и VPS | wiki | блог | Drupal | NginxТДС
Ave, Google, morituri te salutant! © chesser
chesser вне форума  
Старый 16.01.2015, 09:34   #15
Kopch
Senior Member
 
Регистрация: 19.03.2009
Сообщений: 541
Бабло: $128130
По умолчанию

Тоже недавно искал... В итоге разбил прогой GSplit 3
Kopch вне форума  
Старый 16.01.2015, 09:59   #16
Strannic
Strannic.org
 
Аватар для Strannic
 
Регистрация: 15.12.2010
Сообщений: 2,028
Бабло: $508160
По умолчанию

под виндой tеxtpipepro. Резал им базы и по больше.
__________________
No cyber wars and all wars... (Strannic)
Strannic вне форума  
Старый 16.01.2015, 10:14   #17
krob
Senior Member
 
Аватар для krob
 
Регистрация: 29.04.2011
Сообщений: 379
Бабло: $111700
По умолчанию

Зенку предлагали уже?

предлагаю разбивку файлов дешево и быстро
0.3$ за 1 мигабайт исходного файла
велком в ЛС
krob вне форума  
Старый 16.01.2015, 11:30   #18
TextSupplier
Senior Member
 
Регистрация: 28.09.2013
Сообщений: 510
Бабло: $74655
По умолчанию

textpipe
TextSupplier вне форума  
Старый 16.01.2015, 14:21   #19
wiam
Member
 
Аватар для wiam
 
Регистрация: 10.06.2008
Сообщений: 76
Бабло: $21324
По умолчанию

split -l 1000000 filename.txt

где 1000000 - кол-во строк в будущих файлах
wiam вне форума  
Старый 16.01.2015, 14:52   #20
sim0n
zenno.pro
 
Аватар для sim0n
 
Регистрация: 29.05.2014
Сообщений: 957
Бабло: $138858
По умолчанию

Цитата:
Сообщение от wiam Посмотреть сообщение
split -l 1000000 filename.txt

где 1000000 - кол-во строк в будущих файлах
кстати утилиты с линукса давно импортированы на винду,поищите в гугле
я так удалял дубли в файле 50+ гб на 4 гб оперативки

по крайней мере sort точно есть)
sim0n вне форума  
Старый 16.01.2015, 15:36   #21
SAW
Senior Member
 
Аватар для SAW
 
Регистрация: 25.04.2008
Сообщений: 157
Бабло: $63770
ТС -->
автор темы ТС По умолчанию

Тотал командер разбил файл но на непонятный формат - как это истравить? А TextPipe Pro даже не открыл.
SAW вне форума  
Закрытая тема