fritzkink
2023-12-27 706019354bab81fc3f01995caf1ae1a2dfa346cf
tools/python-integrate-project
@@ -69,13 +69,6 @@
[[ -d "$BASE_DIR" ]] || usage "Directory $BASE_DIR not found"
# Get data from pypi
PYPI_PROJECT=$($CURL "$APIURL/$PROJECT/json")
if (($? != 0)) || [[ -z "$PYPI_PROJECT" ]] ; then
   printf "FATAL: Failed to get data from pypi\n" >&2
   exit 1
fi
# Distribution match project
DISTRIBUTION="$PROJECT"
@@ -96,7 +89,6 @@
# Prepare the directory
[[ -z "$DIRECTORY" ]] && DIRECTORY="python/$DISTRIBUTION"
DIR="$BASE_DIR/$DIRECTORY"
rm -rf "$DIR"/*
mkdir -p "$DIR"
cd "$DIR"
git restore --staged . > /dev/null 2>&1
@@ -107,6 +99,8 @@
VERSION=
HOMEPAGE=
DOWNLOAD_URL=
LICENSE_FILE=
SUMMARY=
# Execute hook-begin snippet
if [[ -f "$CONF" ]] ; then
@@ -117,6 +111,17 @@
# Version specified as option takes precedence
[[ -n "$OPT_VERSION" ]] && VERSION="$OPT_VERSION"
# Get data from PyPI if needed
if [[ -z "$VERSION" || -z "$HOMEPAGE" || -z "$SUMMARY" ]] ; then
   PYPI_PROJECT=$($CURL "$APIURL/$PROJECT/json")
   if (($? != 0)) || [[ -z "$PYPI_PROJECT" ]] ; then
      printf 'WARNING: Failed to get data for project %s from PyPI\n' "$PROJECT" >&2
      PYPI_PROJECT=
   fi
fi
# Find the latest version if not already provided
if [[ -z "$VERSION" ]] ; then
@@ -186,6 +191,9 @@
fi
# Remove everything that is not in git
rm -rf *
git checkout . > /dev/null 2>&1
# Remove everything from git (except known patches, files, history, and $CONF)
[[ -f "$CONF" ]] && grep "^%patch%" "$CONF" | while read TAG PATCH ; do rm -f "patches/$PATCH" ; done
[[ -f "$CONF" ]] && grep "^%file%" "$CONF" | while read TAG FILE ; do rm -f "files/$FILE" ; done
@@ -205,13 +213,16 @@
# Makefile template
GENERATE_CMD="\$WS_TOOLS/$THIS"
[[ "$DIRECTORY" != "python/$DISTRIBUTION" ]] && GENERATE_CMD="$GENERATE_CMD -d $DIRECTORY"
GENERATE_CMD="$GENERATE_CMD $PROJECT"
(
cat $WS_TOP/transforms/copyright-template | sed -e '/^$/,$d'
cat <<EOF
#
# This file was automatically generated using the following command:
#   \$WS_TOOLS/$THIS $PROJECT
#   $GENERATE_CMD
#
BUILD_STYLE = pyproject
@@ -257,7 +268,21 @@
sed -i -e 's/sha256:TODO/sha256:'"$SHA256"'/g' Makefile
git add Makefile
# Unpack sources
# Unpack sources and apply patches
! $GMAKE patch > /dev/null 2>&1 && printf "FATAL: 'gmake patch' failed!\n" >&2 && exit 1
# Refresh patches
if $GMAKE refresh-patches > /dev/null 2>&1 ; then
   git add patches 2>/dev/null
else
   printf "ERROR: 'gmake refresh-patches' failed!\n" >&2
   git checkout patches 2>/dev/null
fi
# Cleanup after patch refresh
$GMAKE clobber > /dev/null 2>&1
# Prepare sources
! $GMAKE prep > /dev/null 2>&1 && printf "FATAL: 'gmake prep' failed!\n" >&2 && exit 1
SOURCE_DIR=$($GMAKE print-value-SOURCE_DIR)
COMPONENT_SUBDIR=$($GMAKE print-value-COMPONENT_SUBDIR)
@@ -268,12 +293,14 @@
   sed -i -e 's/^\(BUILD_STYLE = \).*$/\1setup.py/' Makefile
fi
# Get summary
SUMMARY=$(printf "%s" "$PYPI_PROJECT" | /usr/bin/jq -r '.info.summary')
if (($? != 0)) || [[ -z "$SUMMARY" || "$SUMMARY" == "null" ]] ; then
   printf "WARNING: Failed to get summary for project %s from pypi\n" "$PROJECT" >&2
   SUMMARY=$(get_PKGINFO_entry "Summary")
   [[ -z "$SUMMARY" ]] && SUMMARY="TODO"
# Get summary if not already provided
if [[ -z "$SUMMARY" ]] ; then
   SUMMARY=$(printf "%s" "$PYPI_PROJECT" | /usr/bin/jq -r '.info.summary')
   if (($? != 0)) || [[ -z "$SUMMARY" || "$SUMMARY" == "null" ]] ; then
      printf "WARNING: Failed to get summary for project %s from pypi\n" "$PROJECT" >&2
      SUMMARY=$(get_PKGINFO_entry "Summary")
      [[ -z "$SUMMARY" ]] && SUMMARY="TODO"
   fi
fi
# Summary needs to be sanitized
SUMMARY="${SUMMARY//\`/\\\\\`}"
@@ -297,7 +324,7 @@
LICENSE=
LICFILE=
for f in $(get_PKGINFO_entry "License-File") LICENSE LICENSE.rst LICENSE.txt ; do
for f in $LICENSE_FILE $(get_PKGINFO_entry "License-File") LICENSE LICENSE.rst LICENSE.txt ; do
   [[ -f "$SOURCE_DIR$COMPONENT_SUBDIR/$f" ]] || continue
   LICFILE="$f"
@@ -440,6 +467,8 @@
   LC_ALL=C sort -u history > history.new
   mv history.new history
   git add history
   awk '$NF == "noincorporate" {printf("WARNING: Unincorporated package: %s\n", $1)}' < history >&2
fi