https://blog.jetoile.fr/tags/parquet.html Recent content in Parquet on Jetoile Hugo -- gohugo.io en-us <a href='http://creativecommons.org/licenses/by/4.0/' rel='license'><img alt='Licence Creative Commons' src='https://blog.jetoile.fr/images/creative_common88x31.png' style='border-width:0'/></a> Mon, 28 Nov 2016 11:15:19 +0100 https://blog.jetoile.fr/2016/11/sqoop-et-parquet-mode-demploi.html Mon, 28 Nov 2016 11:15:19 +0100 https://blog.jetoile.fr/2016/11/sqoop-et-parquet-mode-demploi.html <p><img src="https://blog.jetoile.fr/images/apache_Sqoop_logo.png" alt="left-small"> Dans le monde du <em>BigData</em> (en l&rsquo;occurence avec Hadoop), il est parfois utile de pouvoir importer le contenu d&rsquo;une base de données dans son Datalake.</p> <p>Pour ce faire, <a href="http://sqoop.apache.org/">Apache Sqoop</a> est une des alternatives pour le faire (peut être pas la meilleure mais bon&hellip;).</p> <p>En effet, Sqoop permet d&rsquo;importer (et exporter également) les données d&rsquo;une base de données dans :</p> <ul> <li>hdfs au format <em>plain text</em>, sequencefile, avro ou parquet</li> <li>hive</li> <li>hbase</li> </ul> <p>En outre, il permet d&rsquo;avoir un mode incrémental afin de gérer le mode delta.</p> <p>Cependant, comme on le verra dans cet article, Sqoop n&rsquo;est pas aussi trivial qu&rsquo;il peut le paraitre.</p> <p>C&rsquo;est ce qui sera détaillé dans cet article : à savoir une sorte de mini retour d&rsquo;expérience&hellip; et heureux en plus ;)</p>